Il protocollo giusto non è il più sofisticato: crea un confronto credibile al livello in cui l'azione può essere appl…
Il protocollo giusto non è il più sofisticato: crea un confronto credibile al livello in cui l'azione può essere applicata. La randomizzazione individuale va bene con esposizione controllabile e interferenza bassa. Un geo-test risponde meglio a un'attivazione territoriale. Una quasi-esperienza può documentare un rollout non randomizzato, ma la conclusione dipende da ipotesi più forti. Senza unità comparabile, misura preliminare e regola decisionale, risultato resta descrittivo.
Decisione e metodo.
Scegliete il protocollo più semplice che identifichi l'effetto utile alla decisione e rifiutate conclusione causale se le condizioni di confronto non sono verificabili. Partite da cambiamento previsto, unità applicazione e soglia che cambierebbe azione. Identificate il livello minimo di assegnazione senza fuga rilevante: individuo, account, negozio, zona o periodo. Se assegnazione casuale stabile è possibile, usate test controllato; altrimenti documentate regola e ipotesi. Fissate effetto minimo utile, variabilità, numero unità, durata e rischio diffusione. Scrivete popolazione, metrica, orizzonte, esclusioni e regola continua/stop/approfondisci prima dei risultati. Confrontate intervallo osservato con soglia.
Esempio calcolato.
Caso illustrativo: attivazione in 12 zone test contro 12 controllo. Ricavo settimanale medio prima: 200.000 € per gruppo. Differenza media settimanale: 12.000 €, intervallo −4.000 a 28.000 €. Stima centrale: 12.000 ÷ 200.000 = 6%. L'intervallo attraversa zero e include effetti molto diversi; il punto non autorizza generalizzazione nazionale. Risultato indeterminato: prolungate o ridisegnate il test se effetto minimo utile giustifica il costo.
Controlli e limiti.
Unità assegnazione corrisponde a leva controllabile; confronto, esclusioni e metrica sono definiti prima; documentate contaminazione e cambiamenti simultanei; decisione usa intervallo e soglia business, mai solo punto. Esperimento locale non garantisce stesso effetto altrove; piattaforme possono collegare gruppi con apprendimento; quasi-esperienza dipende da ipotesi parzialmente non testabili; assenza di differenza rilevata non prova assenza di ogni effetto.
Risorse e fonti.
Scaricare il selettore di protocollo. Correlato: definire incrementalità, progettare geo-test, triangolare prove, confrontare famiglie di misura. Fonti: Google Ads Experiments; incrementalità Performance Max; Liu, Bettaney & Chamberlain (2018); Callaway & Sant’Anna; Abadie.