Titolo: Validare un MMM: preferire un modello utilizzabile a una previsione seducente.
Titolo:
Validare un MMM: preferire un modello utilizzabile a una previsione seducente.
Descrizione:
Griglia di validazione MMM: previsione fuori campione, plausibilità, stabilità, calibrazione sperimentale e idoneità decisionale.
Risposta:
Un Marketing Mix Model non è valido perché riproduce bene le vendite storiche. Deve prevedere correttamente periodi non usati, produrre effetti plausibili, restare stabile a perturbazioni ragionevoli, avvicinarsi agli esperimenti disponibili e sostenere la decisione prevista senza estrapolazione eccessiva.
Metodo e decisione:
Controllare definizioni, variazione, rotture, join, costi, calendari e copertura. Misurare errore, bias e copertura degli intervalli sulle settimane non usate. Falsificare meccanismi con placebo temporali, periodi rimossi e finestre adstock modificate, cercando cambi di segno o rango. Calibrare con esperimenti e dichiarare decisioni consentite, canali troppo incerti e intervallo di spesa osservato. Accettare, restringere o rifiutare il modello tramite cinque famiglie diagnostiche e soglie bloccanti prima dell’allocazione.
Esempio calcolato:
Il modello A ha MAPE 5,9% ma attribuisce effetto negativo alla ricerca brand, varia del 48% con la finestra e sovrastima un geo-test del 45%. Il modello B ha MAPE 6,8%, segni plausibili, variazione 14% e scarto di calibrazione 9%. A guadagna 0,9 punti predittivi ma fallisce tre diagnosi bloccanti. B copre 11 settimane su 12 nel suo intervallo all’80% e mantiene lo stesso ranking di allocazione nell’83% delle varianti. Usare B per pianificazione vincolata e A solo per indagare la specifica, mai per spostare budget.
Limiti:
Un buon risultato fuori campione non garantisce identificazione causale delle contribuzioni. Canali poco variabili o sempre attivi sono difficili da separare. Anche la prova di calibrazione ha limiti di perimetro e incertezza.