Calibración MMM: acercar el modelo a un experimento pertinente.
Pruebas directamente verificables
Fuentes primarias para comprobar las afirmaciones clave.
- Meridian, configuración y calibración del modelo (se abre en una pestaña nueva)
Priors, periodos de calibración y especificación del modelo.
Qué hay que distinguir
Tres condiciones antes de cualquier cálculo.
Compatibilidad de estimando
Un test mide a menudo una variación local y marginal mientras que el MMM estima un rendimiento medio histórico. Gasto, periodo, población, resultado y transformación deben cotejarse.
Incertidumbre conservada
El test posee error de muestreo, contaminación y transporte. La calibración debe ponderar su precisión y añadir la incertidumbre de extrapolación, no imponer una constante.
Validación fuera de la calibración
Un experimento usado para calibrar no puede servir por sí solo para validar el modelo. Conservar periodos, zonas o pruebas separados para verificar la generalización.
Método
Calibrar un coeficiente MMM sin borrar las diferencias
- 01Escribir los dos estimandos
Documentar tratamiento, contrafactual, población, resultado, horizonte y escala del MMM y del experimento; rechazar la calibración si la desviación no puede corregirse.
- 02Transformar la escala
Convertir el efecto experimental en la variable y la transformación del modelo: ventas incrementales, iROAS, elasticidad o coeficiente de respuesta.
- 03Combinar las precisiones
Usar una verosimilitud, un prior informativo o una penalización cuya fuerza refleje varianza experimental y transportabilidad; publicar el modelo no calibrado.
- 04Probar la propagación
Verificar predicción, residuos, contribuciones, curvas de respuesta y asignación. Una buena calibración local no debe degradar otros canales o periodos.
Antes, experimento, después: el intervalo calibrado
La estimación observacional amplia se acerca a un test más preciso. El resultado posterior conserva una incertidumbre en lugar de copiar la cifra experimental.
La prueba estrecha la estimación sin sustituir el modelo: desviación típica posterior 0,23.
JSONDescargar el cálculo de calibración↓El iROAS pasa de 2,40 a 1,44 sin ser forzado a 1,30
El MMM no calibrado estima 2,40 con una desviación típica de 0,65. Un experimento compatible estima 1,30 con 0,25, transporte incluido. Ambas estimaciones se tratan como normales e independientes.
Precisiones: 1 ÷ 0,65² = 2,37 y 1 ÷ 0,25² = 16. Media combinada = (2,40 × 2,37 + 1,30 × 16) ÷ 18,37 = 1,44. Desviación típica posterior = √(1 ÷ 18,37) = 0,23.
El test domina sin borrar completamente la información histórica. La asignación se recalcula sobre 1,44 con un intervalo aproximado de 0,98 a 1,90.
Condiciones de aceptación
Lo que debe cumplirse para actuar.
- 01
Los estimandos del test y del MMM se comparan línea por línea.
- 02
La incertidumbre de transporte se añade al error experimental.
- 03
El modelo no calibrado sigue publicado como punto de comparación.
- 04
Predicción, contribuciones y asignación se revalidan tras la calibración.
Límites
Lo que este análisis no demuestra.
- Un experimento local puede representar mal la saturación nacional.
- Unos tests seleccionados porque son favorables crean un sesgo de calibración.
- La independencia entre experimento y datos MMM puede ser imperfecta.
Referencias
Trabajos citados.
- Chan, D. & Perry, M. (2017), « Challenges and Opportunities in Media Mix Modeling ».
- Vaver, J. & Koehler, J. (2011), « Measuring Ad Effectiveness Using Geo Experiments ».
- Sun, Y. et al. (2017), « Geo-Level Bayesian Hierarchical Media Mix Modeling ».