Un MMM bayesiano rende visibili le ipotesi e probabilistiche le decisioni.
Prove direttamente verificabili
Fonti primarie per verificare le affermazioni chiave.
- Meridian, introduzione ai prior (si apre in una nuova scheda)
Ruolo dei prior, regolarizzazione e aggiornamento bayesiano.
Stato della prova
Che cosa non è stato riprodotto.
Il modello dell'articolo è stato riaddestrato e riproduce le misure di prestazione che pubblica. Nessuna inferenza bayesiana è stata tuttavia eseguita: il modello dell'articolo non è bayesiano, e il metodo bayesiano con cui si confronta non è stato rifatto. I calcoli di prior e posteriori presentati in questa pagina non sono dunque riprodotti.
Cosa occorre distinguere
Tre condizioni prima di ogni calcolo.
Prior tracciabile
Ogni prior indica fonte, popolazione, periodo, scala e ragione del trasporto. Gli esperimenti interni prevalgono sui benchmark generici; i limiti fisici ed economici regolarizzano senza inventare una precisione eccessiva.
Identificabilità prima del calcolo
Un campionatore performante non separa due canali perfettamente correlati. Variazione, stagionalità, supporto, collinearità e cambi di definizione sono diagnosticati prima di scegliere la famiglia di prior.
Decisione a posteriori
La media di un ROAS non basta. Calcolare probabilità di redditività, rischio di perdita, distribuzione delle curve marginali e rimpianto delle allocazioni. La regola dipende dall’avversione al rischio e dalla reversibilità.
Metodo
Costruire un MMM bayesiano governabile
- 01Specificare il processo generatore
Definire risultato, controlli, tendenza, stagione, adstock, saturazione, interazioni e livello gerarchico; collegare ogni componente a un’ipotesi di business verificabile.
- 02Elicitare i prior
Convertire esperimenti, studi, benchmark comparabili e vincoli in distribuzioni; pubblicare quantili plausibili anziché una precisione arbitraria e prevedere un prior debole di riferimento.
- 03Adattare e diagnosticare
Controllare convergenza, dimensione efficace, autocorrelazione, divergenze e predizione a posteriori; testare il recupero su dati simulati e la capacità di riprodurre i periodi tenuti da parte.
- 04Calibrare e decidere
Confrontare le posteriori con gli esperimenti, condurre analisi di sensibilità ai prior e simulare le decisioni; autorizzare un’allocazione solo se resta accettabile nelle varianti credibili.
Dalla conoscenza a priori alla decisione a posteriori
Tre canali combinano prior e dati; la regola finale riguarda una probabilità di redditività, non un coefficiente puntuale.
Il prior evita un falso ROAS di 4,1 su un canale collineare
I dati settimanali danno al video un ROAS molto instabile di 4,1 ± 3,0, perché la sua spesa segue la stagione. Un esperimento precedente comparabile stima 1,8 ± 0,5. Il prior adottato è 1,9 ± 0,8, per restare più ampio dell’esperimento.
Con un’approssimazione normale, la precisione del prior è 1/0,8² = 1,5625 e la precisione dei dati 1/3² = 0,1111. Media a posteriori: (1,9 × 1,5625 + 4,1 × 0,1111) ÷ 1,6736 = 2,05. Deviazione standard a posteriori: √(1/1,6736) = 0,77. La probabilità di un ROAS superiore alla soglia 1,6 è di circa il 72 %.
Il canale non è esteso al massimo: il 72 % resta sotto la porta dell’80 %. Un esperimento geografico è finanziato per aumentare l’informazione prima della prossima allocazione.
Condizioni di accettazione
Le condizioni per agire.
- 01
Fonti, scale e trasporto dei prior sono documentati.
- 02
Convergenza, predizione e recupero dei parametri sono verificati.
- 03
Le decisioni usano probabilità di soglia e rischio di perdita.
- 04
Più prior credibili e una calibrazione sperimentale sono confrontati.
Limiti
Ciò che questa analisi non dimostra.
- Un prior preciso può dominare dati poco informativi.
- La convergenza numerica non garantisce né causalità né buona specificazione.
- Le posteriori restano condizionali alle variabili, trasformazioni e dati scelti.
Riferimenti
Opere citate.
- Gelman, A. et al. (2013), Bayesian Data Analysis, 3rd ed.
- Jin, Y. et al. (2017), « Bayesian Methods for Media Mix Modeling with Carryover and Shape Effects », Google Research.
- Vehtari, A., Gelman, A. & Gabry, J. (2017), « Practical Bayesian Model Evaluation Using Leave-One-Out Cross-Validation », Statistics and Computing.