MMM-Kalibrierung: das Modell einem relevanten Experiment annähern.
Direkt überprüfbare Belege
Primärquellen zur Prüfung der zentralen Aussagen.
- Meridian, Modellkonfiguration und Kalibrierung (öffnet in einem neuen Tab)
Priors, Kalibrierungszeiträume und Modellspezifikation.
Was zu unterscheiden ist
Drei Bedingungen vor jeder Berechnung.
Estimand-Kompatibilität
Ein Test misst oft eine lokale, marginale Variation, während das MMM einen historischen Durchschnittsertrag schätzt. Ausgabe, Periode, Population, Ergebnis und Transformation müssen abgeglichen werden.
Bewahrte Unsicherheit
Der Test trägt Stichprobenfehler, Kontamination und Übertragung. Die Kalibrierung muss seine Präzision gewichten und die Extrapolationsunsicherheit hinzufügen, keine Konstante auferlegen.
Validierung außerhalb der Kalibrierung
Ein zur Kalibrierung genutztes Experiment kann nicht allein zur Validierung des Modells dienen. Getrennte Perioden, Gebiete oder Tests bewahren, um die Verallgemeinerung zu prüfen.
Methode
Einen MMM-Koeffizienten kalibrieren, ohne die Unterschiede zu löschen
- 01Beide Estimands schreiben
Behandlung, Kontrafaktum, Population, Ergebnis, Horizont und Skala für MMM und Experiment dokumentieren; die Kalibrierung ablehnen, wenn die Abweichung nicht korrigiert werden kann.
- 02Die Skala transformieren
Den experimentellen Effekt in die Variable und die Transformation des Modells überführen — inkrementelle Verkäufe, iROAS, Elastizität oder Antwortkoeffizient.
- 03Die Präzisionen verbinden
Eine Likelihood, einen informativen Prior oder eine Strafe verwenden, deren Stärke experimentelle Varianz und Übertragbarkeit widerspiegelt; das nicht kalibrierte Modell veröffentlichen.
- 04Die Fortpflanzung testen
Prognose, Residuen, Beiträge, Antwortkurven und Allokation prüfen. Eine gute lokale Kalibrierung darf andere Kanäle oder Perioden nicht verschlechtern.
Vorher, Experiment, nachher: das kalibrierte Intervall
Die weite beobachtende Schätzung wird einem präziseren Test angenähert. Das posteriore Ergebnis behält eine Unsicherheit, statt die experimentelle Zahl zu kopieren.
Der Test schärft die Schätzung, ohne das Modell zu ersetzen: Posterior-Standardabweichung 0,23.
JSONDie Kalibrierungsrechnung herunterladen↓Der iROAS geht von 2,40 auf 1,44, ohne auf 1,30 gezwungen zu werden
Das nicht kalibrierte MMM schätzt 2,40 mit einer Standardabweichung von 0,65. Ein kompatibles Experiment schätzt 1,30 mit 0,25, Übertragung eingeschlossen. Beide Schätzungen werden als normal und unabhängig behandelt.
Präzisionen: 1 ÷ 0,65² = 2,37 und 1 ÷ 0,25² = 16. Kombinierter Mittelwert = (2,40 × 2,37 + 1,30 × 16) ÷ 18,37 = 1,44. Posteriore Standardabweichung = √(1 ÷ 18,37) = 0,23.
Der Test dominiert, ohne die historische Information vollständig zu löschen. Die Allokation wird auf 1,44 neu berechnet, mit einem ungefähren Intervall von 0,98 bis 1,90.
Voraussetzungen
Was erfüllt sein muss, um zu handeln.
- 01
Die Estimands von Test und MMM werden Zeile für Zeile verglichen.
- 02
Die Übertragungsunsicherheit wird dem experimentellen Fehler hinzugefügt.
- 03
Das nicht kalibrierte Modell bleibt als Vergleichspunkt veröffentlicht.
- 04
Prognose, Beiträge und Allokation werden nach der Kalibrierung erneut validiert.
Grenzen
Was diese Analyse nicht belegt.
- Ein lokales Experiment kann die nationale Sättigung schlecht abbilden.
- Tests, die ausgewählt werden, weil sie günstig sind, erzeugen eine Kalibrierungsverzerrung.
- Die Unabhängigkeit zwischen Experiment und MMM-Daten kann unvollkommen sein.
Quellenangaben
Zitierte Literatur.
- Chan, D. & Perry, M. (2017), „Challenges and Opportunities in Media Mix Modeling“.
- Vaver, J. & Koehler, J. (2011), „Measuring Ad Effectiveness Using Geo Experiments“.
- Sun, Y. et al. (2017), „Geo-Level Bayesian Hierarchical Media Mix Modeling“.