Scegliere un metodo di marketing per estimando, bias e decisione.
Cosa occorre distinguere
Tre condizioni prima di ogni calcolo.
Oggetto stimato
Un ROAS attribuito, un lift sperimentale e un contributo MMM non designano la stessa quantità. Numeratore, denominatore, finestra, popolazione e controfattuale sono scritti prima di confrontare i risultati.
Identificazione prima della precisione
Un intervallo stretto attorno a uno stimatore distorto non costituisce un’evidenza forte. Randomizzazione, discontinuità, variazione esogena o ipotesi di controllo definiscono ciò che è identificabile; la dimensione campionaria determina poi la precisione.
Decisione compatibile
Un metodo può essere eccellente per rilevare un’anomalia e inadeguato per allocare un budget annuale. Frequenza, granularità e dominio di trasporto devono corrispondere al ritmo e al perimetro della decisione.
Metodo
Dalla domanda di business al dispositivo di evidenza
- 01Scrivere l’estimando
Specificare trattamento, risultato, unità, popolazione, comparatore e orizzonte — per esempio l’effetto medio incrementale di una campagna video nazionale sulle vendite nette settimanali per otto settimane presso le famiglie eleggibili.
- 02Mappare i bias
Elencare selezione, targeting, stagionalità, anticipazione, interferenza, misurazione incompleta e cambiamento di composizione, e valutare quali il disegno elimina, riduce o lascia intatti.
- 03Confrontare fattibilità e risoluzione
Valutare costo, tempi, potenza, granularità e frequenza di ripetizione; un esperimento troppo piccolo può essere meno utile di un quasi-esperimento robusto, e un MMM può illuminare il portafoglio ma non una creatività precisa.
- 04Pianificare la triangolazione
Associare un metodo principale e un’evidenza di calibrazione, e definire in anticipo come trattare una divergenza — rivedere perimetro, ipotesi, trasporto o calendario, senza mediare automaticamente.
La mappa estimando–metodo–distorsione
Sei metodi sono confrontati su controfattuale, grana, orizzonte, distorsione dominante e decisione che possono davvero sostenere.
| Metodo | Oggetto stimato | Controfattuale | Decisione | Identificazione |
|---|---|---|---|---|
| Attribuzione | Ripartizione | Regola | Esecuzione | bassa |
| Test A/B | Effetto medio | Randomizzazione | Prodotto / prezzo | forte |
| Geo test | Effetto aggregato | Aree di controllo | Media | forte |
| Quasi-esp. | Effetto locale | Variazione esogena | Politica | medio |
| MMM | Contributo | Modello condizionale | Portafoglio | medio |
| Indagine | Dichiarazione | Risposta | Diagnosi | bassa |
Tre ROAS rispondono a tre domande diverse
Una campagna di ricerca mostra un ROAS attribuito di 6,2. Un test di pausa su aree comparabili stima un ROAS incrementale di 1,8 ± 0,6. Il MMM annuale attribuisce al canale un ROAS di 2,4 ± 0,9, inclusa una parte degli effetti ritardati.
L’attribuzione ripartisce 620 k€ di vendite osservate per 100 k€ di spesa. Il test stima 180 k€ di vendite che non sarebbero avvenute, con un intervallo da 120 k€ a 240 k€. Il MMM stima 240 k€ su un orizzonte più lungo, ma confonde parzialmente ricerca di marca e attività video. Con un margine del 35 %, il contributo incrementale centrale del test è 63 k€, cioè 0,63 € per euro speso.
Il ROAS 6,2 resta utile per governare le query e la qualità del traffico; non giustifica l’incremento di budget. Il test sostiene la decisione marginale immediata e il MMM illumina l’equilibrio annuale. La divergenza diventa un’ipotesi di sinergia da testare.
Condizioni di accettazione
Le condizioni per agire.
- 01
L’estimando è formulato prima della scelta del metodo.
- 02
Il bias dominante e il controfattuale sono pubblicati con il risultato.
- 03
La decisione resta nel dominio osservato o giustifica il suo trasporto.
- 04
Una divergenza tra metodi attiva una diagnosi, mai una media automatica.
Limiti
Ciò che questa analisi non dimostra.
- Nessuna mappa sostituisce l’esame del disegno e dei dati reali.
- Il miglior metodo teorico può essere ineseguibile o insufficientemente potente.
- Gli effetti si trasportano raramente senza ipotesi tra segmenti, periodi e intensità.
Riferimenti
Opere citate.
- Hernán, M. A. & Robins, J. M. (2020), Causal Inference: What If.
- Imbens, G. W. & Rubin, D. B. (2015), Causal Inference for Statistics, Social, and Biomedical Sciences.
- Pearl, J. & Mackenzie, D. (2018), The Book of Why.