Test geografico: appaiare i mercati prima di spostare il budget.
Prove direttamente verificabili
Fonti primarie per verificare le affermazioni chiave.
- Google Research, Measuring Ad Effectiveness Using Geo Experiments (si apre in una nuova scheda)
Progettazione e interpretazione degli esperimenti geografici.
- Google Research, Robust Causal Inference with Paired Geo Experiments (si apre in una nuova scheda)
Stima robusta dell’iROAS e sensibilità alle ipotesi.
Cosa occorre distinguere
Tre condizioni prima di ogni calcolo.
Unità senza fughe
La geografia deve limitare esposizione media, spostamenti, bacini di utenza e spillover digitali tra trattamento e controllo. Un confine amministrativo non è sempre un confine comportamentale.
Pre-tendenza comparabile
Le coppie devono evolvere insieme prima del test su risultato, distribuzione, prezzo ed eventi rilevanti. Una forte correlazione media non basta se gli scarti derivano.
Potenza decisionale
L’effetto minimo rilevabile va confrontato con la soglia economica. Un test incapace di distinguere +4 % da zero non può decidere una scelta redditizia già a +2 %.
Metodo
Progettare un test geografico che possa davvero concludere
- 01Definire l’effetto utile
Scrivere risultato, orizzonte, popolazione e l’uplift minimo che ripaga il costo di campagna; quel valore diventa l’obiettivo di potenza.
- 02Costruire le coppie
Appaiare i mercati per livello, tendenza, stagionalità, distribuzione, prezzo e mix concorrenziale, e riservare i periodi atipici ai test di robustezza.
- 03Assegnare e stabilizzare
Randomizzare il trattamento all’interno delle coppie, congelare il calendario, controllare le altre leve e sorvegliare le fughe di esposizione durante il test.
- 04Analizzare la differenza
Stimare lo scarto trattato-controllo, il suo intervallo, le pre-tendenze e i placebo, e riportare anche il costo per unità incrementale e i mercati influenti.
Dodici coppie di mercati comparabili
Le coppie sono ordinate per somiglianza pre-test. La potenza dipende dalla varianza delle differenze all’interno delle coppie, non solo dal numero di aree.
Dodici coppie rilevano un effetto di circa 3,9 %
La deviazione standard storica delle differenze all’interno delle coppie è del 4,8 %. Il piano mantiene dodici coppie, un rischio bilaterale del 5 % e una potenza obiettivo dell’80 %.
Approssimazione dell’effetto minimo rilevabile = (1,96 + 0,84) × 4,8 % ÷ √12 = 3,88 %. Il guadagno economico minimo atteso è del 3,2 %.
Il test resta leggermente sottodimensionato per la soglia economica. Occorre aggiungere coppie, prolungare il periodo o ridurre la varianza con covariate pre-test.
Condizioni di accettazione
Le condizioni per agire.
- 01
La soglia economica è definita prima del calcolo di potenza.
- 02
Le coppie hanno livelli e pre-tendenze stabili su più periodi.
- 03
L’assegnazione all’interno delle coppie è randomizzata e documentata.
- 04
Fughe, cambiamenti distributivi ed eventi locali sono sorvegliati.
Limiti
Ciò che questa analisi non dimostra.
- Un numero ridotto di mercati rende l’inferenza sensibile a una coppia influente.
- Gli effetti stimati potrebbero non trasportarsi alle città molto grandi o alle aree non testate.
- Le campagne nazionali, i media senza targeting geografico e gli spostamenti possono contaminare il controllo.
Riferimenti
Opere citate.
- Vaver, J. & Koehler, J. (2011), « Measuring Ad Effectiveness Using Geo Experiments ».
- Kerman, J., Wang, P. & Vaver, J. (2017), « Estimating Ad Effectiveness Using Geo Experiments in a Time-Based Regression Framework ».
- Imbens, G. W. & Rubin, D. B. (2015), Causal Inference for Statistics, Social, and Biomedical Sciences.