Experimentación de marketing: elegir un protocolo que responda a la decisión.
Estado de la evidencia
Qué no se ha reproducido.
Los cálculos de potencia y de tamaño de muestra de la fuente se han repetido sin sustitución: 6 de los 8 valores que publica se reproducen con exactitud, los otros 2 con un margen de 1,2 % y 1,9 % — una diferencia del orden de la tolerancia que su propio método declara, en un cálculo que incluye azar. Los datos de campaña de Liu, Bettaney y Chamberlain, sus figuras y sus resultados empíricos, en cambio, nunca se han publicado: no pueden repetirse, ni por nosotros ni por nadie.
Qué hay que distinguir
Tres condiciones antes de cualquier cálculo.
Partir de la decisión
El protocolo depende del cambio considerado, de su unidad de aplicación y del umbral que modificaría la acción. Una métrica disponible no basta para definir el experimento.
Proteger el contrafactual
El grupo de comparación debe representar lo que habría ocurrido sin la intervención. Contaminación, desplazamientos de presupuesto y cambios simultáneos fragilizan esa comparación.
Preescribir la interpretación
Población, métrica, horizonte, exclusiones y la regla continuar, detener o profundizar se escriben antes de leer los resultados.
Método
Elegir un experimento en cuatro controles
- 01Definir la unidad de asignación
Identificar el nivel más pequeño al que la acción puede aplicarse sin fuga mayor: individuo, cuenta, tienda, zona o periodo.
- 02Evaluar la aleatorización
Si la asignación aleatoria es factible y estable, usar un test controlado; si no, documentar la regla de asignación y las hipótesis necesarias para un cuasiexperimento.
- 03Medir potencia y contaminación
Fijar efecto mínimo útil, variabilidad, número de unidades, duración y riesgos de difusión entre grupos. Un experimento infradimensionado no se vuelve probatorio solo con el tiempo.
- 04Vincular el resultado a la acción
Comparar el intervalo observado con el umbral de decisión. Un resultado impreciso pide una nueva medición o una decisión prudente, no una certeza artificial.
La matriz de preselección de los protocolos
Cinco situaciones hacen visibles el protocolo candidato, su horizonte y los prerrequisitos que bloquean toda conclusión causal si faltan.
| Unidad | Aleatorización | Contaminación | Protocolo candidato | Requisito fail-closed | Horizonte |
|---|---|---|---|---|---|
| Individuo o cuenta | Sí | Bajo | Test aleatorizado | Unidades asignables y fugas controladas | Pretest, test y seguimiento |
| Zona o tienda | Sí, por conglomerados | Media | Test geográfico | Suficientes zonas comparables y preperiodo estable | Preperiodo, test y seguimiento |
| Despliegue planificado | No | Medible | Diferencias en diferencias | Grupo no tratado y tendencias paralelas documentadas | Preperiodo suficiente y seguimiento |
| Mercado único | No | Alta | Control sintético | Grupo de donantes creíble y ajuste pretratamiento suficiente | Preperiodo largo y seguimiento |
| Ninguna comparación | No | Desconocida | Medición descriptiva | Ningún contrafactual defendible | Solo observación |
Esta matriz preselecciona una familia de protocolo. No sustituye ni el cálculo de potencia, ni el diagnóstico de las hipótesis, ni la revisión del plan de análisis.
Un geotest de seis semanas no prueba automáticamente una extensión nacional
Ejemplo ilustrativo: una activación se despliega en 12 zonas de test y se compara con 12 zonas de control. La facturación semanal media antes del test es de 200 k€ por grupo. La diferencia semanal media observada durante el test es de 12 k€, con un intervalo semanal de −4 k€ a 28 k€.
El punto central representa 12.000 ÷ 200.000 = 6 %. El intervalo atraviesa cero e incluye efectos muy diferentes para la decisión. El valor central no basta por tanto para autorizar una generalización.
El resultado sigue indeterminado. La decisión es prolongar o rediseñar el test si el efecto mínimo útil justifica el coste, en lugar de extender la activación solo sobre la estimación central.
Condiciones de aceptación
Lo que debe cumplirse para actuar.
- 01
La unidad de asignación corresponde a la palanca realmente controlable.
- 02
La comparación, las exclusiones y la métrica se definen antes del resultado.
- 03
El riesgo de contaminación y los cambios simultáneos están documentados.
- 04
La decisión usa un intervalo y un umbral de negocio, nunca el solo punto central.
Límites
Lo que este análisis no demuestra.
- Un experimento local no garantiza el mismo efecto en otra población o periodo.
- Las plataformas pueden aplicar mecanismos de aprendizaje que vinculan los grupos.
- Un cuasiexperimento depende de hipótesis que no son enteramente comprobables.
- La ausencia de diferencia detectada no prueba la ausencia de todo efecto.
Referencias
Trabajos citados.
- Google Ads, funcionamiento y seguimiento de los experimentos, documentación oficial (se abre en una pestaña nueva)
- Google Ads, experimentos Performance Max y medición de la incrementalidad (se abre en una pestaña nueva)
- Liu, Bettaney y Chamberlain, Designing Experiments to Measure Incrementality on Facebook, artículo completo, 2018 (se abre en una pestaña nueva)
- Callaway y Sant’Anna, Difference-in-Differences with Multiple Time Periods, artículo completo (se abre en una pestaña nueva)
- Abadie, Using Synthetic Controls: Feasibility, Data Requirements, and Methodological Aspects, artículo completo (se abre en una pestaña nueva)