Prueba de precio: dimensionar un experimento que pueda concluir.
Estado de la evidencia
Qué no se ha reproducido.
El cálculo didáctico sintético está verificado por la especificación, la fixture y Python. La fuente metodológica Kohavi et al. está archivada y sus extractos están verificados, pero sus resultados, su aleatorización, sus mecanismos de interferencia y sus implementaciones no se reproducen.
Qué hay que distinguir
Tres condiciones antes de cualquier cálculo.
Umbral económico
Un precio nuevo puede perder conversión y aun así aumentar la contribución. La tasa mínima aceptable es la contribución actual por visitante dividida por el margen candidato.
Unidad de asignación
Asignar por cliente, cuenta, zona o tienda según el riesgo de ver varios precios. Una asignación por sesión expone la prueba a comparaciones y cambios de grupo.
Potencia antes que duración
La duración se deriva del número de unidades necesarias, del tráfico elegible y del ciclo de decisión. Detenerse cuando el resultado parece favorable aumenta los falsos positivos.
Método
Diseñar una prueba de precio desde el margen hasta la decisión
- 01Calcular la tasa umbral
Medir la contribución actual por visitante y el margen unitario candidato. Su relación da la conversión mínima que preserva el valor a corto plazo.
- 02Elegir el efecto útil
Fijar la diferencia mínima que cambiaría realmente la decisión y definir después los riesgos alfa y beta y, si procede, la corrección por pruebas múltiples.
- 03Dimensionar y asignar
Calcular la muestra por grupo, prever las exclusiones antes de la prueba y estabilizar precio, promoción, surtido y comunicación durante el experimento.
- 04Decidir sobre la contribución
Informar conversión, margen, contribución por visitante, mix, cancelación e intervalo. La no significación no demuestra la equivalencia.
La curva efecto detectable – tamaño de muestra
Cuanto menor sea la diferencia de conversión que se quiere detectar, mayor será la muestra necesaria. El objetivo se vincula al umbral de contribución y no se elige por conveniencia.
Aproximadamente 7.360 visitantes por grupo para detectar 1,5 puntos
La conversión base es 12 %. La prueba busca una diferencia de 1,5 puntos, riesgo bilateral del 5 % y potencia del 80 %. El margen pasa de 30 € a 36 €.
Aproximación: n = 2 × (1,96 + 0,84)² × 0,12 × 0,88 ÷ 0,015² = 7.359 por grupo. La conversión umbral económica es 12 % × 30 ÷ 36 = 10 %.
La prueba puede detectar una caída de 1,5 puntos, inferior a la caída máxima de 2 puntos. Requiere unos 14.720 visitantes elegibles, fuera de exclusiones previstas.
Condiciones de aceptación
Lo que debe cumplirse para actuar.
- 01
Calcular el umbral de conversión económico antes de la prueba.
- 02
La unidad de asignación impide que un mismo cliente vea varios precios.
- 03
Tamaño, duración, exclusiones y regla de parada se prerregistran.
- 04
La decisión se basa en contribución e intervalo, no solo en conversión.
Límites
Lo que este análisis no demuestra.
- Una prueba corta mide mal recompra, reputación o renovación.
- Los clientes pueden compartir precios entre grupos y modificar su conducta.
- La aproximación debe sustituirse por simulación en métricas complejas.
Referencias
Trabajos citados.
- Kohavi, R., Tang, D., Xu, Y. et al. (2020), «Online randomized controlled experiments at scale», Trials 21, 150 (CC BY 4.0) — texto íntegro. (se abre en una pestaña nueva)
- Kohavi, R., Tang, D. & Xu, Y. (2020), Trustworthy Online Controlled Experiments.
- Imbens, G. W. & Rubin, D. B. (2015), Causal Inference for Statistics, Social, and Biomedical Sciences.
- Deng, A., Lu, J. & Chen, S. (2016), « Continuous Monitoring of A/B Tests without Pain », KDD.