Ein MMM validieren: ein nutzbares Modell einer verführerischen Prognose vorziehen.
Direkt überprüfbare Belege
Primärquellen zur Prüfung der zentralen Aussagen.
- Meridian, Modelldiagnostik (öffnet in einem neuen Tab)
Konvergenz, Anpassung, Validierung und Grenzen prädiktiver Kennzahlen.
- Meridian, Anpassung und Ergebnisse bewerten (öffnet in einem neuen Tab)
Trennung zwischen prädiktiver Anpassung und kausaler Validität.
Stand des Nachweises
Was nicht reproduziert wurde.
Das Training und die Out-of-Sample-Auswertung der Quelle wurden wiederholt und ergeben die von ihr veröffentlichten Werte: Trainings-R² von 0,949, Holdout-R² von 0,843, Holdout-RMSE von 0,53 Mio., auf der angekündigten Aufteilung von 96 Lernwochen und 13 Auswertungswochen. Geprüft sind hier also ihre Vorhersageleistungsmaße — weder die kausale Struktur, die sie vorbringt und die sich aus dem Training nicht ergeben hat, noch die drei Methoden, mit denen sie sich vergleicht.
Was zu unterscheiden ist
Drei Bedingungen vor jeder Berechnung.
Out-of-Sample-Prognose
Eine Periode reservieren oder eine rollierende zeitliche Validierung verwenden. Eine hohe In-Sample-Anpassung kann schlicht Saisonalität und Trend reproduzieren.
Strukturelle Plausibilität
Vorzeichen, Verzögerungen, Sättigung, Zerlegung und Beitrag prüfen. Ein exzellenter MAPE erlaubt keinen unerklärlichen negativen Medieneffekt und keine unbegrenzt wachsende Kurve.
Entscheidungsvalidierung
Prüfen, ob die Rangfolge der Szenarien stabil bleibt, wenn Priors, Fenster, Kontrollvariablen und Perioden sich vernünftig ändern.
Methode
Die Validierung als Folge von Toren organisieren
- 01Die Daten kontrollieren
Definitionen, Variation, Brüche, Verknüpfungen, Kosten, Kalender und Abdeckung prüfen, bevor die Koeffizienten interpretiert werden.
- 02Die Verallgemeinerung testen
Fehler, Verzerrung und Intervallabdeckung an Wochen messen, die das Modell nicht verwendet hat.
- 03Die Mechanismen falsifizieren
Ein zeitliches Placebo einführen, Perioden entfernen, die Adstock-Fenster verändern und nach Vorzeichen- oder Rangwechseln suchen.
- 04Kalibrieren und die Nutzung begrenzen
Mit den Experimenten vergleichen und die zugelassenen Entscheidungen, die zu unsicheren Kanäle und die beobachtete Ausgabenspanne erklären.
Zwei Modelle, eine einzige vertretbare Validierung
Modell A sagt leicht besser voraus, scheitert aber an Vorzeichen, Stabilität und Kalibrierung. Modell B ist weniger spektakulär und besser nutzbar.
| Diagnose | Schwelle | Modell A | Modell B |
|---|---|---|---|
| Out-of-Sample-MAPE | < 10 % | 5,9 % | 6,8 % |
| Abdeckung 80-%-Intervall | 70–90 % | 58,3 % | 91,7 % |
| Plausible Vorzeichen | 100 % | 80 % | 100 % |
| Variation zwischen Spezifikationen | < 25 % | 48 % | 14 % |
| Abweichung von der Kalibrierung | < 20 % | 45 % | 9 % |
| Stabile Allokationsrangfolge | > 75 % | 54 % | 83 % |
6,8 % Fehler statt 5,9 % wählen
Modell A erreicht 5,9 % MAPE, schreibt der Markensuche aber einen negativen Effekt zu, schwankt je nach Fenster um 48 % und überschätzt einen Geo-Test um 45 %. Modell B erreicht 6,8 % MAPE, plausible Vorzeichen, eine Schwankung von 14 % und eine Kalibrierungsabweichung von 9 %.
Der prognostische Gewinn von A beträgt 0,9 Punkt, doch drei Entscheidungsdiagnosen überschreiten die blockierenden Schwellen. B deckt 11 von 12 Wochen in seinem 80-%-Intervall ab und behält in 83 % der Varianten dieselbe Allokationsrangfolge.
B für die Planung unter Restriktionen wählen und A einer Spezifikationsuntersuchung vorbehalten, ohne es zur Budgetverschiebung zu nutzen.
Voraussetzungen
Was erfüllt sein muss, um zu handeln.
- 01
Eine nicht verwendete Periode misst Fehler, Verzerrung und Abdeckung.
- 02
Vorzeichen, Verzögerungen und Sättigung sind plausibel oder ausdrücklich erklärt.
- 03
Die Ergebnisse sind über mehrere vernünftige Spezifikationen stabil.
- 04
Die experimentelle Kalibrierung und die Nutzungsspanne werden veröffentlicht.
Grenzen
Was diese Analyse nicht belegt.
- Ein gutes Out-of-Sample-Ergebnis garantiert nicht die kausale Identifikation der Beiträge.
- Kanäle mit geringer Variation oder dauerhafter Aktivierung bleiben schwer trennbar.
- Die Kalibrierung korrigiert eine schlechte Datenstruktur nicht automatisch.
Quellenangaben
Zitierte Literatur.
- Jin, Y. et al. (2017), „Bayesian Methods for Media Mix Modeling with Carryover and Shape Effects“.
- Chan, D. & Perry, M. (2017), „Challenges and Opportunities in Media Mix Modeling“.
- Gelman, A. et al. (2013), Bayesian Data Analysis.