Sperimentazione di marketing: scegliere un protocollo che risponda alla decisione.
Stato della prova
Che cosa non è stato riprodotto.
I calcoli di potenza e di dimensione del campione della fonte sono stati rifatti senza sostituzioni: 6 degli 8 valori che pubblica sono ritrovati alla cifra, gli altri 2 all'1,2 % e all'1,9 % — uno scarto dell'ordine della tolleranza che il suo stesso metodo dichiara, su un calcolo che comporta una parte di casualità. I dati di campagna di Liu, Bettaney e Chamberlain, le loro figure e i loro risultati empirici non sono invece mai stati pubblicati: non possono essere rifatti né da noi né da nessuno.
Cosa occorre distinguere
Tre condizioni prima di ogni calcolo.
Partire dalla decisione
Il protocollo dipende dal cambiamento considerato, dalla sua unità di applicazione e dalla soglia che modificherebbe l’azione. Una metrica disponibile non basta a definire l’esperimento.
Proteggere il controfattuale
Il gruppo di confronto deve rappresentare ciò che sarebbe accaduto senza l’intervento. Contaminazione, spostamenti di budget e cambiamenti simultanei indeboliscono quel confronto.
Prescrivere l’interpretazione
Popolazione, metrica, orizzonte, esclusioni e la regola continuare, fermare o approfondire sono scritte prima di leggere i risultati.
Metodo
Scegliere un esperimento in quattro controlli
- 01Definire l’unità di assegnazione
Individuare il livello più piccolo a cui l’azione può essere applicata senza fuga importante: individuo, account, punto vendita, area o periodo.
- 02Valutare la randomizzazione
Se l’assegnazione casuale è fattibile e stabile, usare un test controllato; altrimenti documentare la regola di assegnazione e le ipotesi necessarie a un quasi esperimento.
- 03Misurare potenza e contaminazione
Fissare effetto minimo utile, variabilità, numero di unità, durata e rischi di diffusione tra gruppi. Un esperimento sottodimensionato non diventa probante con il solo tempo.
- 04Collegare il risultato all’azione
Confrontare l’intervallo osservato con la soglia di decisione. Un risultato impreciso richiede una nuova misura o una decisione prudente, non una certezza artificiale.
La matrice di preselezione dei protocolli
Cinque situazioni rendono visibili il protocollo candidato, il suo orizzonte e i prerequisiti che bloccano ogni conclusione causale se mancano.
| Unità | Randomizzazione | Contaminazione | Protocollo candidato | Prerequisito fail-closed | Orizzonte |
|---|---|---|---|---|---|
| Individuo o account | Sì | Basso | Test randomizzato | Unità assegnabili e spillover controllato | Pre-test, test e follow-up |
| Area o negozio | Sì, a grappoli | Media | Geo test | Abbastanza aree comparabili e pre-periodo stabile | Pre-periodo, test e follow-up |
| Rollout pianificato | No | Misurabile | Differenze nelle differenze | Gruppo non trattato e tendenze parallele documentate | Pre-periodo sufficiente e follow-up |
| Mercato unico | No | Alta | Controllo sintetico | Pool di donatori credibile e adattamento pre-trattamento sufficiente | Pre-periodo lungo e follow-up |
| Nessun confronto | No | Sconosciuta | Misurazione descrittiva | Nessun controfattuale difendibile | Solo osservazione |
Questa matrice preseleziona una famiglia di protocollo. Non sostituisce né il calcolo di potenza, né la diagnosi delle ipotesi, né la revisione del piano di analisi.
Un geo-test di sei settimane non prova automaticamente un’estensione nazionale
Esempio illustrativo: un’attivazione è dispiegata in 12 aree test e confrontata con 12 aree di controllo. Il fatturato settimanale medio prima del test è di 200 k€ per gruppo. Lo scarto settimanale medio osservato durante il test è di 12 k€, con un intervallo settimanale da −4 k€ a 28 k€.
Il punto centrale rappresenta 12.000 ÷ 200.000 = 6 %. L’intervallo attraversa lo zero e include effetti molto diversi per la decisione. Il valore centrale non basta quindi ad autorizzare una generalizzazione.
Il risultato resta indeterminato. La decisione è prolungare o ridisegnare il test se l’effetto minimo utile giustifica il costo, anziché estendere l’attivazione sulla sola stima centrale.
Condizioni di accettazione
Le condizioni per agire.
- 01
L’unità di assegnazione corrisponde alla leva realmente controllabile.
- 02
Il confronto, le esclusioni e la metrica sono definiti prima del risultato.
- 03
Il rischio di contaminazione e i cambiamenti simultanei sono documentati.
- 04
La decisione usa un intervallo e una soglia di business, mai il solo punto centrale.
Limiti
Ciò che questa analisi non dimostra.
- Un esperimento locale non garantisce lo stesso effetto su un’altra popolazione o periodo.
- Le piattaforme possono applicare meccanismi di apprendimento che collegano i gruppi.
- Un quasi esperimento dipende da ipotesi non interamente testabili.
- L’assenza di differenza rilevata non prova l’assenza di ogni effetto.
Riferimenti
Opere citate.
- Google Ads, funzionamento e monitoraggio degli esperimenti, documentazione ufficiale (si apre in una nuova scheda)
- Google Ads, esperimenti Performance Max e misurazione dell’incrementalità (si apre in una nuova scheda)
- Liu, Bettaney e Chamberlain, Designing Experiments to Measure Incrementality on Facebook, articolo completo, 2018 (si apre in una nuova scheda)
- Callaway e Sant’Anna, Difference-in-Differences with Multiple Time Periods, articolo completo (si apre in una nuova scheda)
- Abadie, Using Synthetic Controls: Feasibility, Data Requirements, and Methodological Aspects, articolo completo (si apre in una nuova scheda)