Incrementalità: stimare ciò che non sarebbe avvenuto senza l’azione.
Prove direttamente verificabili
Fonti primarie per verificare le affermazioni chiave.
- Lewis e Rao (2015), Quarterly Journal of Economics (si apre in una nuova scheda)
Potenza e limiti economici degli esperimenti pubblicitari.
- Holland (1986), Statistics and Causal Inference (si apre in una nuova scheda)
Quadro causale e distinzione tra associazione ed effetto.
Stato della prova
Che cosa non è stato riprodotto.
I calcoli di potenza e di dimensione del campione della fonte sono stati rifatti senza sostituzioni: 6 degli 8 valori che pubblica sono ritrovati alla cifra, gli altri 2 all'1,2 % e all'1,9 % — uno scarto dell'ordine della tolleranza che il suo stesso metodo dichiara, su un calcolo che comporta una parte di casualità. I suoi dati di campagna, le sue figure e i suoi risultati empirici non sono invece mai stati pubblicati: non possono essere rifatti né da noi né da nessuno.
Cosa occorre distinguere
Tre condizioni prima di ogni calcolo.
Estimando prima del metodo
Definire risultato, popolazione, trattamento, comparatore e orizzonte. «Misurare l’impatto» è insufficiente: effetto medio sui raggiungibili, effetto del budget nazionale ed effetto sui nuovi clienti sono tre quantità diverse.
Assenza di azione credibile
Una tendenza prima-dopo è un controfattuale solo se nient’altro modifica il risultato. Stagionalità, selezione degli esposti e campagne simultanee vanno neutralizzate o modellate.
Uso limitato dalla prova
Un test locale può autorizzare un dispiegamento simile, ma non necessariamente un’allocazione annuale. L’estrapolazione va separata dall’identificazione.
Metodo
Costruire una misura che autorizzi una decisione
- 01Scrivere il controfattuale
Descrivere concretamente cosa accade all’unità senza azione: nessun messaggio, budget abituale, prezzo precedente o altro canale.
- 02Scegliere l’unità di assegnazione
Individuo, punto vendita, area o periodo secondo il rischio di contaminazione e il livello di esecuzione.
- 03Dimensionare l’incertezza
Calcolare l’effetto minimo rilevabile e verificare che la decisione resti utile anche se l’intervallo è ampio.
- 04Preregistrare l’uso
Fissare metrica, esclusioni, durata, analisi e regola di decisione prima di osservare i risultati.
La matrice dei controfattuali
Quattro famiglie di metodi sono confrontate su ciò che identificano, sulle loro ipotesi e sulle decisioni che possono realmente sostenere.
| Metodo | Granularità | Controfattuale | Identificazione | Decisione adatta |
|---|---|---|---|---|
| Test individuale | Individuo | Randomizzato | Molto alta | Attivazione mirata |
| Test geografico | Area | Aree comparabili | Alta | Media aggregati |
| Differenze nelle differenze | Unità × tempo | Tendenze parallele | Condizionale | Prezzo o canale |
| Controllo sintetico | Mercato | Combinazione di controlli | Condizionale | Rollout locale |
| MMM | Settimana / area | Struttura modellata | Dipende dal modello | Portafoglio annuale |
È quello il cui controfattuale, granularità e orizzonte corrispondono alla decisione reale.
Un ROAS attribuito di 4 per un ROAS incrementale di 1,3
Una campagna spende 100.000 € e la piattaforma le attribuisce 400.000 € di vendite. Un gruppo comparabile non esposto avrebbe generato 270.000 € sulla stessa popolazione.
Vendite incrementali: 400.000 − 270.000 = 130.000 €. ROAS incrementale: 1,3. Con il 45 % di margine lordo, il contributo prima dei costi creativi è di soli 58.500 €, inferiore alla spesa.
La campagna cattura vendite esistenti. Ridurre o ridefinire il target anziché amplificarlo sulla base del ROAS attribuito.
Condizioni di accettazione
Le condizioni per agire.
- 01
Popolazione, trattamento, risultato, comparatore e orizzonte sono scritti.
- 02
Il metodo tratta esplicitamente selezione, contaminazione e cambiamenti simultanei.
- 03
L’intervallo di incertezza è convertito in decisione economica.
- 04
L’estrapolazione oltre il test è documentata separatamente.
Limiti
Ciò che questa analisi non dimostra.
- Un esperimento mal eseguito può essere meno credibile di un buon quasi esperimento.
- Gli effetti rari o deboli richiedono campioni a volte incompatibili con il calendario.
- L’effetto medio può nascondere un’eterogeneità importante tra segmenti o aree.
Riferimenti
Opere citate.
- Imbens, G. W. & Rubin, D. B. (2015), Causal Inference.
- Kohavi, R., Tang, D. & Xu, Y. (2020), Trustworthy Online Controlled Experiments.
- Gordon, B. R. et al. (2019), Marketing Science.