Validare un MMM: preferire un modello utilizzabile a una previsione seducente.
Prove direttamente verificabili
Fonti primarie per verificare le affermazioni chiave.
- Meridian, diagnostica del modello (si apre in una nuova scheda)
Convergenza, adattamento, convalida e limiti delle metriche predittive.
- Meridian, valutare l’adattamento e i risultati (si apre in una nuova scheda)
Separazione tra adattamento predittivo e validità causale.
Stato della prova
Che cosa non è stato riprodotto.
L'addestramento e la valutazione fuori campione della fonte sono stati rifatti, e restituiscono i valori che pubblica: R² di addestramento di 0,949, R² di holdout di 0,843, RMSE di holdout di 0,53 M, sulla suddivisione annunciata di 96 settimane di apprendimento e 13 di valutazione. Ciò che è verificato qui sono dunque le sue misure di prestazione predittiva — né la struttura causale che avanza, che non è emersa dall'addestramento, né i tre metodi con cui si confronta.
Cosa occorre distinguere
Tre condizioni prima di ogni calcolo.
Predizione fuori campione
Riservare un periodo o usare una validazione temporale mobile. Un adattamento in campione elevato può semplicemente riprodurre stagionalità e tendenza.
Plausibilità strutturale
Esaminare segni, ritardi, saturazione, scomposizione e contributo. Un eccellente MAPE non autorizza un effetto media negativo inspiegabile o una curva che cresce senza limite.
Validazione decisionale
Testare se la classifica degli scenari resta stabile quando prior, finestre, variabili di controllo e periodi cambiano ragionevolmente.
Metodo
Organizzare la validazione come una serie di porte
- 01Controllare i dati
Verificare definizioni, variazione, rotture, join, costi, calendari e copertura prima di interpretare i coefficienti.
- 02Testare la generalizzazione
Misurare errore, distorsione e copertura degli intervalli su settimane che il modello non ha utilizzato.
- 03Falsificare i meccanismi
Introdurre placebo temporale, togliere periodi, modificare le finestre di adstock e cercare i cambiamenti di segno o di rango.
- 04Calibrare e delimitare l’uso
Confrontare con gli esperimenti e dichiarare le decisioni autorizzate, i canali troppo incerti e l’intervallo di spesa osservato.
Due modelli, una sola validazione difendibile
Il modello A prevede leggermente meglio ma fallisce su segni, stabilità e calibrazione. Il modello B è meno spettacolare e più utilizzabile.
| Diagnosi | Soglia | Modello A | Modello B |
|---|---|---|---|
| MAPE fuori campione | < 10 % | 5,9 % | 6,8 % |
| Copertura intervallo 80 % | 70–90 % | 58,3 % | 91,7 % |
| Segni plausibili | 100 % | 80 % | 100 % |
| Variazione tra specifiche | < 25 % | 48 % | 14 % |
| Scarto dalla calibrazione | < 20 % | 45 % | 9 % |
| Classifica di allocazione stabile | > 75 % | 54 % | 83 % |
Scegliere il 6,8 % di errore anziché il 5,9 %
Il modello A ottiene il 5,9 % di MAPE, ma attribuisce un effetto negativo alla ricerca di marca, varia del 48 % secondo la finestra e sovrastima un test geografico del 45 %. Il modello B ottiene il 6,8 % di MAPE, segni plausibili, una variazione del 14 % e uno scarto di calibrazione del 9 %.
Il guadagno predittivo di A è di 0,9 punto, ma tre diagnosi decisionali superano le soglie bloccanti. B copre 11 settimane su 12 nel suo intervallo all’80 % e conserva la stessa classifica di allocazione nell’83 % delle varianti.
Adottare B per la pianificazione sotto vincolo e riservare A a un’indagine di specificazione, senza usarlo per spostare il budget.
Condizioni di accettazione
Le condizioni per agire.
- 01
Un periodo non utilizzato misura errore, distorsione e copertura.
- 02
Segni, ritardi e saturazione sono plausibili o spiegati esplicitamente.
- 03
I risultati sono stabili su più specificazioni ragionevoli.
- 04
La calibrazione sperimentale e l’intervallo d’uso sono pubblicati.
Limiti
Ciò che questa analisi non dimostra.
- Un buon risultato fuori campione non garantisce l’identificazione causale dei contributi.
- I canali poco variabili o sempre attivi restano difficili da separare.
- La calibrazione non corregge automaticamente una cattiva struttura dei dati.
Riferimenti
Opere citate.
- Jin, Y. et al. (2017), « Bayesian Methods for Media Mix Modeling with Carryover and Shape Effects ».
- Chan, D. & Perry, M. (2017), « Challenges and Opportunities in Media Mix Modeling ».
- Gelman, A. et al. (2013), Bayesian Data Analysis.