Test di prezzo: dimensionare un esperimento che possa concludere.
Stato della prova
Che cosa non è stato riprodotto.
Il calcolo didattico sintetico è verificato dalla specifica, dalla fixture e da Python. La fonte metodologica Kohavi et al. è archiviata e i suoi estratti sono verificati, ma i suoi risultati, la sua randomizzazione, i suoi meccanismi di interferenza e le sue implementazioni non sono riprodotti.
Cosa occorre distinguere
Tre condizioni prima di ogni calcolo.
Soglia economica
Un nuovo prezzo può perdere conversione e aumentare comunque la contribuzione. Il tasso minimo accettabile è la contribuzione attuale per visitatore divisa per il margine candidato.
Unità di assegnazione
Assegnare per cliente, account, area o negozio in base al rischio di vedere più prezzi. Un’assegnazione per sessione espone il test a confronti e cambi di gruppo.
Potenza prima della durata
La durata deriva dal numero di unità necessarie, dal traffico idoneo e dal ciclo decisionale. Interrompere quando il risultato appare favorevole aumenta i falsi positivi.
Metodo
Progettare un test di prezzo dal margine alla decisione
- 01Calcolare il tasso soglia
Misurare contribuzione corrente per visitatore e margine unitario candidato. Il loro rapporto fornisce la conversione minima che preserva il valore di breve periodo.
- 02Scegliere l’effetto utile
Fissare lo scarto minimo che cambierebbe davvero la decisione, poi definire rischi alfa e beta ed eventuale correzione per test multipli.
- 03Dimensionare e assegnare
Calcolare il campione per gruppo, prevedere le esclusioni prima del test e stabilizzare prezzo, promozione, assortimento e comunicazione durante l’esperimento.
- 04Decidere sulla contribuzione
Riportare conversione, margine, contribuzione per visitatore, mix, annullamento e intervallo. La non significatività non prova l’equivalenza.
La curva effetto rilevabile – dimensione del campione
Più piccola è la differenza di conversione da rilevare, maggiore è il campione necessario. L’obiettivo è legato alla soglia di contributo e non scelto per comodità.
Circa 7.360 visitatori per gruppo per rilevare 1,5 punti
La conversione di riferimento è 12 %. Il test mira a una differenza di 1,5 punti, rischio bilaterale del 5 % e potenza dell’80 %. Il margine passa da 30 € a 36 €.
Approssimazione: n = 2 × (1,96 + 0,84)² × 0,12 × 0,88 ÷ 0,015² = 7.359 per gruppo. La conversione soglia economica è 12 % × 30 ÷ 36 = 10 %.
Il test è in grado di rilevare un calo di 1,5 punti, inferiore al calo massimo di 2 punti. Richiede circa 14.720 visitatori idonei, al netto delle esclusioni predefinite.
Condizioni di accettazione
Le condizioni per agire.
- 01
La soglia di conversione economica viene calcolata prima del test.
- 02
L’unità di assegnazione impedisce allo stesso cliente di vedere più prezzi.
- 03
Dimensione, durata, esclusioni e regola di arresto vengono preregistrate.
- 04
La decisione si basa su contribuzione e intervallo, non sulla sola conversione.
Limiti
Ciò che questa analisi non dimostra.
- Un test breve misura male effetti di riacquisto, reputazione o rinnovo.
- I clienti possono condividere prezzi tra gruppi e modificare il comportamento.
- L’approssimazione deve essere sostituita da simulazione per metriche complesse.
Riferimenti
Opere citate.
- Kohavi, R., Tang, D., Xu, Y. et al. (2020), «Online randomized controlled experiments at scale», Trials 21, 150 (CC BY 4.0) — testo integrale. (si apre in una nuova scheda)
- Kohavi, R., Tang, D. & Xu, Y. (2020), Trustworthy Online Controlled Experiments.
- Imbens, G. W. & Rubin, D. B. (2015), Causal Inference for Statistics, Social, and Biomedical Sciences.
- Deng, A., Lu, J. & Chen, S. (2016), « Continuous Monitoring of A/B Tests without Pain », KDD.