Marketing Mix Modeling: specificare la decisione prima di stimare il modello.
Prove direttamente verificabili
Fonti primarie per verificare le affermazioni chiave.
- Documentazione ufficiale di Google Meridian (si apre in una nuova scheda)
Flusso di lavoro MMM, dati, modellazione, analisi e ottimizzazione.
Stato della prova
Che cosa non è stato riprodotto.
Il set di dati e il generatore della fonte sono stati controllati, e il modello dell'articolo è stato addestrato interamente. Riproduce i tre valori di prestazione che pubblica — R² di addestramento di 0,949, R² di holdout di 0,843, RMSE di holdout di 0,53 M — sugli stessi dati e sulla stessa suddivisione (190 regioni, 109 settimane, 13 canali, di cui 13 settimane riservate alla valutazione). La struttura causale che l'articolo mette in avanti, invece, non ne emerge: il grafo ottenuto non distingue alcuna relazione fra canali. I tre metodi con cui l'articolo si confronta non sono stati rifatti.
Cosa occorre distinguere
Tre condizioni prima di ogni calcolo.
Estimando economico
Il bersaglio deve corrispondere al valore da ottimizzare: vendite nette, margine, nuovi clienti o contributo. Il modello precisa se gli effetti sono incrementali, medi o marginali e come sono trattati i costi media.
Identificabilità
Variazione, collinearità, supporto, numero di osservazioni e fattori di confondimento determinano ciò che il modello può separare. Un coefficiente plausibile sotto un prior forte non è informazione interamente prodotta dai dati.
Validazione decisionale
L’errore predittivo non basta. Occorre controllare segno, ordine di grandezza, stabilità, scomposizione, pendenza marginale e performance di un’allocazione retrospettiva, poi calibrare con esperimenti compatibili.
Metodo
Scrivere e far rispettare il contratto del modello
- 01Inquadrare la decisione
Definire budget, canali, unità, periodi, scenari, vincoli e frequenza di aggiornamento; scrivere le decisioni vietate, in particolare estrapolazioni fuori dal supporto o una lettura creativa troppo fine.
- 02Auditare il segnale
Testare variazione, correlazioni, rotture, dati mancanti, prezzo, promozioni, distribuzione, stagionalità ed eventi; costruire una matrice di identificabilità prima di ogni stima.
- 03Stimare e sfidare
Confrontare più specificazioni, prior e finestre; esaminare residui, contributi, adstock, saturazione e parametri; rifiutare le compensazioni economicamente impossibili anche se la previsione migliora.
- 04Calibrare e governare
Confrontare le stime con esperimenti o quasi esperimenti compatibili; pubblicare intervalli, dominio d’uso, registro delle versioni, scarti rispetto alle prove e la decisione di validazione per livello di esposizione.
Il contratto di decisione di un MMM
Otto campi collegano decisione, dati, modello, validazione e guardrail; ogni campo possiede una porta di accettazione.
Budget, leve, orizzonte
superataContributo marginale
superataCorrelazione video–ricerca
condizionalePrevisione + decisione
superataGeo test compatibile
superata−15 % / +20 % osservato
bloccanteRevisione trimestrale
superataPilota circoscritto
sceltaUn modello predittivo con il 7 % di errore fallisce nell’allocazione
Un MMM su 156 settimane prevede le vendite con il 7 % di MAPE. Raccomanda di spostare 400 k€ dal video alla ricerca. Video e ricerca di marca hanno una correlazione di 0,82; il budget video non è mai stato inferiore a 250 k€ per trimestre.
Sotto la specificazione A, il ROAS video è 0,9 e la ricerca 3,4. Sotto un prior di adstock più lungo e una calibrazione geografica, il video è 1,8 ± 0,7 e la ricerca 1,9 ± 0,5. La raccomandazione di −400 k€ colloca il video a 120 k€, fuori dal supporto. Uno scenario limitato a −120 k€ produce 96 k€ di guadagno atteso con un intervallo da −18 k€ a +205 k€; il rimpianto massimo è di 130 k€.
La MAPE non valida l’allocazione iniziale. Il contratto vieta la riduzione fuori dal supporto e trasforma lo spostamento in un test da 120 k€. La decisione è «pilota con guardrail», non «ottimizzare automaticamente».
Condizioni di accettazione
Le condizioni per agire.
- 01
Il contratto nomina la decisione, l’estimando e il dominio d’uso.
- 02
L’identificabilità è valutata prima dell’interpretazione dei coefficienti.
- 03
Validazione predittiva e validazione decisionale sono separate.
- 04
Ogni raccomandazione fuori dal supporto diventa un test delimitato.
Limiti
Ciò che questa analisi non dimostra.
- I dati aggregati separano difficilmente attività sincronizzate.
- I prior possono stabilizzare senza creare informazione nuova.
- I cambiamenti strutturali riducono la trasportabilità delle curve storiche.
Riferimenti
Opere citate.
- Jin, Y. et al. (2017), « Bayesian Methods for Media Mix Modeling with Carryover and Shape Effects », Google Research.
- Chan, D. & Perry, M. (2017), « Challenges and Opportunities in Media Mix Modeling », Google Research.
- Brodersen, K. H. et al. (2015), « Inferring Causal Impact Using Bayesian Structural Time-Series Models », Annals of Applied Statistics, 9(1), 247–274.