Test geográfico: emparejar mercados antes de mover el presupuesto.
Pruebas directamente verificables
Fuentes primarias para comprobar las afirmaciones clave.
- Google Research, Measuring Ad Effectiveness Using Geo Experiments (se abre en una pestaña nueva)
Diseño e interpretación de experimentos geográficos.
- Google Research, Robust Causal Inference with Paired Geo Experiments (se abre en una pestaña nueva)
Estimación robusta del iROAS y sensibilidad a los supuestos.
Qué hay que distinguir
Tres condiciones antes de cualquier cálculo.
Unidad sin fugas
La geografía debe limitar exposición de medios, desplazamientos, zonas de influencia y spillovers digitales entre tratamiento y control. Una frontera administrativa no siempre es una frontera de comportamiento.
Pretendencia comparable
Los pares deben evolucionar juntos antes del test en resultado, distribución, precio y acontecimientos importantes. Una correlación media elevada no basta si las diferencias derivan.
Potencia decisional
El efecto mínimo detectable debe compararse con el umbral económico. Un test incapaz de distinguir +4 % de cero no puede resolver una decisión rentable ya desde +2 %.
Método
Diseñar un test geográfico que pueda concluir realmente
- 01Definir el efecto útil
Escribir el resultado, el horizonte, la población y el uplift mínimo que devuelve el coste de campaña; ese valor se convierte en el objetivo de potencia.
- 02Construir los pares
Emparejar mercados por nivel, tendencia, estacionalidad, distribución, precio y mix competitivo, y reservar los periodos atípicos a pruebas de robustez.
- 03Asignar y estabilizar
Aleatorizar el tratamiento dentro de los pares, congelar el calendario, controlar las demás palancas y vigilar las fugas de exposición durante el test.
- 04Analizar la diferencia
Estimar la brecha tratado-control, su intervalo, las pretendencias y los placebos, e informar también del coste por unidad incremental y de los mercados influyentes.
Doce pares de mercados comparables
Los pares se ordenan por similitud previa a la prueba. La potencia depende de la varianza de las diferencias dentro de los pares, no solo del número de zonas.
Doce pares detectan un efecto de aproximadamente 3,9 %
La desviación típica histórica de las diferencias dentro de los pares es del 4,8 %. El plan conserva doce pares, un riesgo bilateral del 5 % y una potencia objetivo del 80 %.
Aproximación del efecto mínimo detectable = (1,96 + 0,84) × 4,8 % ÷ √12 = 3,88 %. La ganancia económica mínima esperada es del 3,2 %.
El test sigue estando ligeramente infradimensionado para el umbral económico. Hay que añadir pares, prolongar el periodo o reducir la varianza mediante covariables previas al test.
Condiciones de aceptación
Lo que debe cumplirse para actuar.
- 01
El umbral económico se define antes del cálculo de potencia.
- 02
Los pares tienen niveles y pretendencias estables durante varios periodos.
- 03
La asignación dentro de los pares es aleatorizada y documentada.
- 04
Fugas, cambios de distribución y acontecimientos locales se vigilan.
Límites
Lo que este análisis no demuestra.
- Un número reducido de mercados hace la inferencia sensible a un par influyente.
- Los efectos estimados pueden no transportarse a las ciudades muy grandes ni a las zonas no probadas.
- Las campañas nacionales, los medios sin segmentación geográfica y los desplazamientos pueden contaminar el control.
Referencias
Trabajos citados.
- Vaver, J. & Koehler, J. (2011), « Measuring Ad Effectiveness Using Geo Experiments ».
- Kerman, J., Wang, P. & Vaver, J. (2017), « Estimating Ad Effectiveness Using Geo Experiments in a Time-Based Regression Framework ».
- Imbens, G. W. & Rubin, D. B. (2015), Causal Inference for Statistics, Social, and Biomedical Sciences.