Marketing Mix Modeling: especificar la decisión antes de estimar el modelo.
Pruebas directamente verificables
Fuentes primarias para comprobar las afirmaciones clave.
- Documentación oficial de Google Meridian (se abre en una pestaña nueva)
Flujo de trabajo MMM, datos, modelización, análisis y optimización.
Estado de la evidencia
Qué no se ha reproducido.
El conjunto de datos y el generador de la fuente se han controlado, y el modelo del artículo se ha entrenado por completo. Reproduce los tres valores de rendimiento que publica — R² de entrenamiento de 0,949, R² de holdout de 0,843, RMSE de holdout de 0,53 M — sobre los mismos datos y el mismo reparto (190 regiones, 109 semanas, 13 canales, de las cuales 13 semanas reservadas para la evaluación). La estructura causal que el artículo destaca, en cambio, no se obtiene: el grafo logrado no distingue ninguna relación entre canales. Los tres métodos con los que el artículo se compara no se han repetido.
Qué hay que distinguir
Tres condiciones antes de cualquier cálculo.
Estimando económico
El objetivo debe corresponder al valor que hay que optimizar: ventas netas, margen, nuevos clientes o contribución. El modelo precisa si los efectos son incrementales, medios o marginales y cómo se tratan los costes de medios.
Identificabilidad
Variación, colinealidad, soporte, número de observaciones y factores de confusión determinan lo que el modelo puede separar. Un coeficiente plausible bajo un prior fuerte no es información enteramente producida por los datos.
Validación decisional
El error predictivo no basta. Hay que controlar signo, orden de magnitud, estabilidad, descomposición, pendiente marginal y rendimiento de una asignación retrospectiva, y calibrar después con experimentos compatibles.
Método
Escribir y hacer respetar el contrato del modelo
- 01Encuadrar la decisión
Definir presupuesto, canales, unidades, periodos, escenarios, restricciones y frecuencia de actualización; escribir las decisiones prohibidas, en particular extrapolaciones fuera del soporte o una lectura creativa demasiado fina.
- 02Auditar la señal
Probar variación, correlaciones, rupturas, datos faltantes, precio, promociones, distribución, estacionalidad y eventos; construir una matriz de identificabilidad antes de cualquier estimación.
- 03Estimar y desafiar
Comparar varias especificaciones, priors y ventanas; examinar residuos, contribuciones, adstock, saturación y parámetros; rechazar las compensaciones económicamente imposibles aunque la predicción mejore.
- 04Calibrar y gobernar
Cotejar las estimaciones con experimentos o cuasiexperimentos compatibles; publicar intervalos, dominio de uso, registro de versiones, desviaciones respecto a las pruebas y la decisión de validación por nivel de exposición.
El contrato de decisión de un MMM
Ocho campos vinculan decisión, datos, modelo, validación y guardarraíles; cada campo posee una puerta de aceptación.
Presupuesto, palancas, horizonte
superadaContribución marginal
superadaCorrelación vídeo–búsqueda
condicionalPredicción + decisión
superadaTest geográfico compatible
superada−15 % / +20 % observado
bloqueanteRevisión trimestral
superadaPiloto acotado
elegidaUn modelo predictivo con un 7 % de error fracasa en la asignación
Un MMM sobre 156 semanas prevé las ventas con un 7 % de MAPE. Recomienda desplazar 400 k€ de vídeo hacia búsqueda. El vídeo y la búsqueda de marca tienen una correlación de 0,82; el presupuesto de vídeo nunca ha sido inferior a 250 k€ por trimestre.
Bajo la especificación A, el ROAS de vídeo es 0,9 y el de búsqueda 3,4. Bajo un prior de adstock más largo y una calibración geográfica, vídeo es 1,8 ± 0,7 y búsqueda 1,9 ± 0,5. La recomendación de −400 k€ sitúa el vídeo en 120 k€, fuera del soporte. Un escenario limitado a −120 k€ produce 96 k€ de ganancia esperada con un intervalo de −18 k€ a +205 k€; el arrepentimiento máximo es de 130 k€.
La MAPE no valida la asignación inicial. El contrato prohíbe la bajada fuera del soporte y transforma el desplazamiento en una prueba de 120 k€. La decisión es «piloto con guardarraíl», no «optimizar automáticamente».
Condiciones de aceptación
Lo que debe cumplirse para actuar.
- 01
El contrato nombra la decisión, el estimando y el dominio de uso.
- 02
La identificabilidad se evalúa antes de la interpretación de los coeficientes.
- 03
Validación predictiva y validación decisional están separadas.
- 04
Toda recomendación fuera del soporte se convierte en una prueba acotada.
Límites
Lo que este análisis no demuestra.
- Los datos agregados separan difícilmente actividades sincronizadas.
- Los priors pueden estabilizar sin crear información nueva.
- Los cambios estructurales reducen la transportabilidad de las curvas históricas.
Referencias
Trabajos citados.
- Jin, Y. et al. (2017), « Bayesian Methods for Media Mix Modeling with Carryover and Shape Effects », Google Research.
- Chan, D. & Perry, M. (2017), « Challenges and Opportunities in Media Mix Modeling », Google Research.
- Brodersen, K. H. et al. (2015), « Inferring Causal Impact Using Bayesian Structural Time-Series Models », Annals of Applied Statistics, 9(1), 247–274.