Incrementalidad: estimar lo que no habría ocurrido sin la acción.
Pruebas directamente verificables
Fuentes primarias para comprobar las afirmaciones clave.
- Lewis y Rao (2015), Quarterly Journal of Economics (se abre en una pestaña nueva)
Potencia y límites económicos de los experimentos publicitarios.
- Holland (1986), Statistics and Causal Inference (se abre en una pestaña nueva)
Marco causal y distinción entre asociación y efecto.
Estado de la evidencia
Qué no se ha reproducido.
Los cálculos de potencia y de tamaño de muestra de la fuente se han repetido sin sustitución: 6 de los 8 valores que publica se reproducen con exactitud, los otros 2 con un margen de 1,2 % y 1,9 % — una diferencia del orden de la tolerancia que su propio método declara, en un cálculo que incluye azar. Sus datos de campaña, sus figuras y sus resultados empíricos, en cambio, nunca se han publicado: no pueden repetirse, ni por nosotros ni por nadie.
Qué hay que distinguir
Tres condiciones antes de cualquier cálculo.
Estimando antes que método
Definir resultado, población, tratamiento, comparador y horizonte. «Medir el impacto» es insuficiente: efecto medio sobre los alcanzables, efecto del presupuesto nacional y efecto sobre nuevos clientes son tres cantidades diferentes.
Ausencia de acción creíble
Una tendencia antes-después solo es un contrafactual si nada más modifica el resultado. La estacionalidad, la selección de los expuestos y las campañas simultáneas deben neutralizarse o modelizarse.
Uso limitado por la prueba
Un test local puede autorizar un despliegue similar, pero no necesariamente una asignación anual. La extrapolación debe separarse de la identificación.
Método
Construir una medición que autorice una decisión
- 01Escribir el contrafactual
Describir concretamente lo que ocurre con la unidad sin acción: ningún mensaje, presupuesto habitual, precio anterior u otro canal.
- 02Elegir la unidad de asignación
Individuo, tienda, zona o periodo según el riesgo de contaminación y el nivel de ejecución.
- 03Dimensionar la incertidumbre
Calcular el efecto mínimo detectable y verificar que la decisión sigue siendo útil aunque el intervalo sea amplio.
- 04Preinscribir el uso
Fijar métrica, exclusiones, duración, análisis y regla de decisión antes de observar los resultados.
La matriz de los contrafactuales
Cuatro familias de métodos se comparan por lo que identifican, sus hipótesis y las decisiones que pueden realmente sostener.
| Método | Granularidad | Contrafactual | Identificación | Decisión adecuada |
|---|---|---|---|---|
| Test individual | Individuo | Aleatorizado | Muy alta | Activación segmentada |
| Test geográfico | Zona | Zonas comparables | Alta | Medios agregados |
| Diferencias en diferencias | Unidad × tiempo | Tendencias paralelas | Condicional | Precio o canal |
| Control sintético | Mercado | Combinación de controles | Condicional | Despliegue local |
| MMM | Semana / zona | Estructura modelizada | Depende del modelo | Cartera anual |
Es aquel cuyo contrafactual, granularidad y horizonte corresponden a la decisión real.
Un ROAS atribuido de 4 para un ROAS incremental de 1,3
Una campaña gasta 100.000 € y la plataforma le atribuye 400.000 € de ventas. Un grupo comparable no expuesto habría generado 270.000 € sobre la misma población.
Ventas incrementales: 400.000 − 270.000 = 130.000 €. ROAS incremental: 1,3. Con un 45 % de margen bruto, la contribución antes de costes creativos es de solo 58.500 €, inferior al gasto.
La campaña capta ventas existentes. Reducir o redefinir el objetivo en lugar de amplificarlo sobre la base del ROAS atribuido.
Condiciones de aceptación
Lo que debe cumplirse para actuar.
- 01
Población, tratamiento, resultado, comparador y horizonte están escritos.
- 02
El método trata explícitamente selección, contaminación y cambios simultáneos.
- 03
El intervalo de incertidumbre se convierte en decisión económica.
- 04
La extrapolación más allá del test se documenta por separado.
Límites
Lo que este análisis no demuestra.
- Un experimento mal ejecutado puede ser menos creíble que un buen cuasiexperimento.
- Los efectos raros o débiles exigen muestras a veces incompatibles con el calendario.
- El efecto medio puede ocultar una heterogeneidad importante entre segmentos o zonas.
Referencias
Trabajos citados.
- Imbens, G. W. & Rubin, D. B. (2015), Causal Inference.
- Kohavi, R., Tang, D. & Xu, Y. (2020), Trustworthy Online Controlled Experiments.
- Gordon, B. R. et al. (2019), Marketing Science.