El protocolo correcto no es el más sofisticado: crea comparación creíble al nivel donde puede afectarse la acción.
El protocolo correcto no es el más sofisticado: crea comparación creíble al nivel donde puede afectarse la acción. La aleatorización individual sirve con exposición controlable e interferencia baja. Un geo-test responde mejor a activación territorial. Una cuasi-experiencia puede documentar despliegue no aleatorio, pero su conclusión depende de supuestos más fuertes. Sin unidad comparable, medición previa y regla de decisión, resultado sigue descriptivo.
Decisión y método.
Elija el protocolo más simple que identifique efecto útil a la decisión y rechace conclusión causal si condiciones de comparación no son verificables. Parta del cambio previsto, unidad de aplicación y umbral que modificaría acción. Identifique menor nivel de asignación sin fuga importante: individuo, cuenta, tienda, zona o período. Si asignación aleatoria estable es viable, use test controlado; si no, documente regla y supuestos. Fije efecto mínimo útil, variabilidad, número de unidades, duración y riesgo de difusión. Escriba población, métrica, horizonte, exclusiones y regla continuar/parar/profundizar antes de resultados. Compare intervalo observado con umbral: imprecisión exige nueva medida o decisión prudente.
Ejemplo calculado.
Caso ilustrativo: activación en 12 zonas test contra 12 control. Ingreso semanal medio previo: 200.000 € por grupo. Diferencia media semanal: 12.000 €, intervalo de −4.000 a 28.000 €. Punto central: 12.000 ÷ 200.000 = 6%. Intervalo cruza cero e incluye efectos decisionales muy distintos; estimación central no autoriza generalización nacional. Resultado indeterminado: prolongue o rediseñe test si efecto mínimo útil justifica coste.
Controles y límites.
Unidad de asignación corresponde a palanca controlable; comparación, exclusiones y métrica se definen antes; documente contaminación y cambios simultáneos; decisión usa intervalo y umbral negocio, nunca solo punto. Experimento local no garantiza efecto en otra población o período; plataformas pueden vincular grupos por aprendizaje; cuasi-experiencia depende de supuestos parcialmente no comprobables; ausencia de diferencia detectada no prueba ausencia de todo efecto.
Recursos y fuentes.
Descargar selector de protocolo. Relacionado: definir incrementalidad, diseñar geo-test, triangular pruebas, comparar familias de medida. Fuentes: Experimentos Google Ads; incrementalidad Performance Max; Liu, Bettaney y Chamberlain (2018); Callaway y Sant’Anna; Abadie.