Titel: MMM validieren: ein nutzbares Modell einer verlockenden Prognose vorziehen.
Titel:
MMM validieren: ein nutzbares Modell einer verlockenden Prognose vorziehen.
Beschreibung:
Validierungsraster für MMM: Prognose außerhalb der Stichprobe, Plausibilität, Stabilität, experimentelle Kalibrierung und Entscheidungstauglichkeit.
Antwort:
Ein Marketing Mix Model ist nicht deshalb valide, weil es historische Verkäufe gut reproduziert. Es muss ungenutzte Zeiträume korrekt prognostizieren, plausible Effekte liefern, bei vernünftigen Störungen stabil bleiben, zu verfügbaren Experimenten passen und die beabsichtigte Entscheidung ohne übermäßige Extrapolation stützen.
Methode und Entscheidung:
Zuerst Definitionen, Variation, Brüche, Joins, Kosten, Kalender und Abdeckung prüfen. Fehler, Bias und Intervallabdeckung auf ungenutzten Wochen messen. Mechanismen mit zeitlichen Placebos, ausgelassenen Perioden und geänderten Adstock-Fenstern falsifizieren und Vorzeichen- oder Rangänderungen suchen. Mit Experimenten kalibrieren und erlaubte Entscheidungen, zu unsichere Kanäle und beobachteten Ausgabenbereich deklarieren. Modell über fünf Diagnosefamilien mit blockierenden Schwellen akzeptieren, beschränken oder ablehnen.
Rechenbeispiel:
Modell A hat 5,9 % MAPE, weist Marken-Suche einen negativen Effekt zu, variiert bei Fensterwechsel um 48 % und überschätzt einen Geotest um 45 %. Modell B hat 6,8 % MAPE, plausible Vorzeichen, 14 % Variation und 9 % Kalibrierungsabweichung. A gewinnt 0,9 Prognosepunkte, verletzt aber drei blockierende Diagnosen. B deckt 11 von 12 Wochen im 80%-Intervall ab und behält in 83 % der Varianten dieselbe Allokationsrangfolge. B für eingeschränkte Planung verwenden, A nur zur Spezifikationsuntersuchung und nie zur Budgetverschiebung.
Grenzen:
Gute Out-of-sample-Prognose garantiert keine kausale Identifikation. Wenig variable oder dauerhaft aktive Kanäle sind schwer zu trennen. Kalibrierungsevidenz hat selbst Umfangs- und Unsicherheitsgrenzen.