Validar un MMM: preferir un modelo utilizable a una previsión seductora.
Pruebas directamente verificables
Fuentes primarias para comprobar las afirmaciones clave.
- Meridian, diagnósticos del modelo (se abre en una pestaña nueva)
Convergencia, ajuste, validación y límites de las métricas predictivas.
- Meridian, evaluar el ajuste y los resultados (se abre en una pestaña nueva)
Separación entre ajuste predictivo y validez causal.
Estado de la evidencia
Qué no se ha reproducido.
El entrenamiento y la evaluación fuera de muestra de la fuente se han repetido, y devuelven los valores que publica: R² de entrenamiento de 0,949, R² de holdout de 0,843, RMSE de holdout de 0,53 M, sobre el reparto anunciado de 96 semanas de aprendizaje y 13 de evaluación. Lo que se verifica aquí son por tanto sus medidas de rendimiento predictivo — ni la estructura causal que propone, que no se ha obtenido del entrenamiento, ni los tres métodos con los que se compara.
Qué hay que distinguir
Tres condiciones antes de cualquier cálculo.
Predicción fuera de muestra
Reservar un periodo o usar una validación temporal rodante. Un ajuste dentro de muestra elevado puede simplemente reproducir estacionalidad y tendencia.
Plausibilidad estructural
Examinar signos, plazos, saturación, descomposición y contribución. Un excelente MAPE no autoriza un efecto de medios negativo inexplicable ni una curva que crece sin límite.
Validación decisional
Probar si la clasificación de los escenarios permanece estable cuando priors, ventanas, variables de control y periodos cambian razonablemente.
Método
Organizar la validación como una serie de puertas
- 01Controlar los datos
Verificar definiciones, variación, rupturas, uniones, costes, calendarios y cobertura antes de interpretar los coeficientes.
- 02Probar la generalización
Medir error, sesgo y cobertura de los intervalos sobre semanas que el modelo no ha utilizado.
- 03Falsar los mecanismos
Introducir placebo temporal, retirar periodos, modificar las ventanas de adstock y buscar los cambios de signo o de rango.
- 04Calibrar y acotar el uso
Comparar con los experimentos y declarar las decisiones autorizadas, los canales demasiado inciertos y el rango de gasto observado.
Dos modelos, una sola validación defendible
El modelo A predice ligeramente mejor pero falla en signos, estabilidad y calibración. El modelo B es menos espectacular y más utilizable.
| Diagnóstico | Umbral | Modelo A | Modelo B |
|---|---|---|---|
| MAPE fuera de muestra | < 10 % | 5,9 % | 6,8 % |
| Cobertura del intervalo 80 % | 70–90 % | 58,3 % | 91,7 % |
| Signos plausibles | 100 % | 80 % | 100 % |
| Variación entre especificaciones | < 25 % | 48 % | 14 % |
| Desviación de la calibración | < 20 % | 45 % | 9 % |
| Clasificación de asignación estable | > 75 % | 54 % | 83 % |
Elegir un 6,8 % de error en lugar de un 5,9 %
El modelo A obtiene un 5,9 % de MAPE, pero atribuye un efecto negativo a la búsqueda de marca, varía un 48 % según la ventana y sobreestima una prueba geográfica un 45 %. El modelo B obtiene un 6,8 % de MAPE, signos plausibles, una variación del 14 % y una desviación de calibración del 9 %.
La ganancia predictiva de A es de 0,9 punto, pero tres diagnósticos decisionales superan los umbrales bloqueantes. B cubre 11 semanas de 12 en su intervalo al 80 % y conserva la misma clasificación de asignación en el 83 % de las variantes.
Retener B para la planificación bajo restricciones y reservar A a una investigación de especificación, sin usarlo para desplazar el presupuesto.
Condiciones de aceptación
Lo que debe cumplirse para actuar.
- 01
Un periodo no utilizado mide error, sesgo y cobertura.
- 02
Signos, plazos y saturación son plausibles o explicados explícitamente.
- 03
Los resultados son estables ante varias especificaciones razonables.
- 04
La calibración experimental y el rango de uso se publican.
Límites
Lo que este análisis no demuestra.
- Un buen resultado fuera de muestra no garantiza la identificación causal de las contribuciones.
- Los canales poco variables o siempre activos siguen siendo difíciles de separar.
- La calibración no corrige automáticamente una mala estructura de datos.
Referencias
Trabajos citados.
- Jin, Y. et al. (2017), « Bayesian Methods for Media Mix Modeling with Carryover and Shape Effects ».
- Chan, D. & Perry, M. (2017), « Challenges and Opportunities in Media Mix Modeling ».
- Gelman, A. et al. (2013), Bayesian Data Analysis.