Un test geografico confronta aree trattate con aree che rappresentano la loro traiettoria senza campagna.
Un test geografico confronta aree trattate con aree che rappresentano la loro traiettoria senza campagna. La credibilità dipende meno dal numero di regioni che dalla somiglianza pre-test, dalla stabilità del trattamento, dall'assenza di contaminazione e dalla potenza sufficiente a rilevare l'effetto utile.
Decisione e metodo.
Lanciate solo se la geografia permette un controfattuale stabile e l'effetto minimo rilevabile è inferiore al guadagno necessario. Definite risultato, orizzonte, popolazione e uplift minimo che ripaga la campagna. Appaiate mercati per livello, trend, stagionalità, distribuzione, prezzo e concorrenza; riservate periodi atipici alla robustezza. Randomizzate entro le coppie, fissate calendario, controllate altri leve e monitorate fughe. Stimate differenza trattato-controllo, intervallo, pre-trend, placebo, costo per unità incrementale e mercati influenti.
Esempio calcolato.
La deviazione standard storica nelle coppie è 4,8%, con 12 coppie, rischio bilaterale 5% e potenza obiettivo 80%. Effetto minimo rilevabile ≈ (1,96 + 0,84) × 4,8% ÷ √12 = 3,88%. Il guadagno economico minimo è 3,2%. Il test è leggermente sottodimensionato: aggiungete coppie, prolungate periodo o riducete varianza con covariate pre-test.
Controlli e limiti.
Definite soglia economica prima della potenza, richiedete livelli e pre-trend stabili, documentate randomizzazione e monitorate fughe, variazioni distributive ed eventi locali. Pochi mercati rendono l'inferenza sensibile; risultati possono non trasferirsi; campagne nazionali, media non geotargettizzati e spostamenti contaminano il controllo.
Risorse e fonti.
Scaricare il dataset dei mercati appaiati. Correlato: formalizzare il controfattuale, interpretare l'incrementalità, calibrare modello con test, confrontare protocolli. Fonti: Vaver & Koehler (2011); Kerman, Wang & Vaver (2017); Imbens & Rubin (2015).