Título: Validar un MMM: preferir un modelo utilizable a una previsión seductora.
Título:
Validar un MMM: preferir un modelo utilizable a una previsión seductora.
Descripción:
Marco de validación MMM: predicción fuera de muestra, plausibilidad, estabilidad, calibración experimental y aptitud decisional.
Respuesta:
Un Marketing Mix Model no es válido porque reproduzca ventas históricas. Debe predecir períodos no usados, producir efectos plausibles, mantenerse estable ante perturbaciones razonables, acercarse a experimentos disponibles y apoyar la decisión prevista sin extrapolación excesiva.
Método y decisión:
Comprobar definiciones, variación, rupturas, uniones, costes, calendarios y cobertura. Medir error, sesgo y cobertura de intervalos en semanas no usadas. Falsar mecanismos con placebos temporales, períodos retirados y ventanas de adstock modificadas, buscando cambios de signo o rango. Calibrar con experimentos y declarar decisiones autorizadas, canales demasiado inciertos y rango de gasto observado. Aceptar, restringir o rechazar según cinco familias diagnósticas, con umbrales bloqueantes antes de asignar presupuesto.
Ejemplo calculado:
Modelo A logra MAPE 5,9% pero atribuye efecto negativo a búsqueda de marca, varía 48% según ventana y sobreestima geo-test 45%. Modelo B logra 6,8%, signos plausibles, variación 14% y diferencia de calibración 9%. A gana 0,9 punto predictivo pero supera tres umbrales bloqueantes. B cubre 11 de 12 semanas en intervalo 80% y mantiene mismo ranking de asignación en 83% de variantes. Retener B para planificación con restricciones y reservar A para investigar especificación, sin mover presupuesto.
Límites:
Un buen resultado fuera de muestra no garantiza identificación causal. Canales con poca variación o siempre activos son difíciles de separar. La calibración también tiene límites de alcance e incertidumbre.