Eine Marketingmethode nach Estimand, Bias und Entscheidung wählen.
Was zu unterscheiden ist
Drei Bedingungen vor jeder Berechnung.
Geschätztes Objekt
Ein attribuierter ROAS, ein experimenteller Lift und ein MMM-Beitrag bezeichnen nicht dieselbe Größe. Zähler, Nenner, Fenster, Population und Kontrafaktum werden festgehalten, bevor Ergebnisse verglichen werden.
Identifikation vor Präzision
Ein enges Intervall um einen verzerrten Schätzer ist kein starker Nachweis. Randomisierung, Diskontinuität, exogene Variation oder Kontrollannahmen definieren, was identifizierbar ist; die Stichprobengröße bestimmt danach die Präzision.
Kompatible Entscheidung
Eine Methode kann hervorragend eine Anomalie erkennen und ungeeignet sein, ein Jahresbudget zu allozieren. Frequenz, Granularität und Übertragungsbereich müssen zum Rhythmus und zum Perimeter der Entscheidung passen.
Methode
Von der Fachfrage zum Nachweisdesign
- 01Den Estimand schreiben
Behandlung, Ergebnis, Einheit, Population, Vergleichsgröße und Horizont spezifizieren — zum Beispiel der durchschnittliche inkrementelle Effekt einer nationalen Videokampagne auf den wöchentlichen Nettoumsatz über acht Wochen bei berechtigten Haushalten.
- 02Die Verzerrungen kartieren
Selektion, Targeting, Saisonalität, Antizipation, Interferenz, unvollständige Messung und Kompositionsänderung auflisten und bewerten, welche das Design beseitigt, reduziert oder unberührt lässt.
- 03Machbarkeit und Auflösung vergleichen
Kosten, Vorlaufzeit, Power, Granularität und Wiederholfrequenz bewerten; ein zu kleines Experiment kann weniger nützlich sein als ein robustes Quasi-Experiment, und ein MMM kann das Portfolio erhellen, aber keine einzelne Kreation.
- 04Die Triangulation planen
Eine Hauptmethode mit einem Kalibrierungsnachweis verbinden und vorab festlegen, wie eine Abweichung behandelt wird — Perimeter, Annahmen, Übertragung oder Zeitplan überprüfen, ohne automatisch zu mitteln.
Die Karte Estimand–Methode–Verzerrung
Sechs Methoden werden nach Kontrafaktischem, Granularität, Horizont, dominanter Verzerrung und der Entscheidung verglichen, die sie tatsächlich tragen können.
| Methode | Geschätztes Objekt | Kontrafaktum | Entscheidung | Identifikation |
|---|---|---|---|---|
| Attribution | Aufteilung | Regel | Umsetzung | gering |
| A/B-Test | Durchschnittlicher Effekt | Randomisierung | Produkt / Preis | stark |
| Geo-Test | Aggregierter Effekt | Kontrollgebiete | Medien | stark |
| Quasi-Exp. | Lokaler Effekt | Exogene Variation | Politik | mittel |
| MMM | Beitrag | Bedingtes Modell | Portfolio | mittel |
| Befragung | Selbstauskunft | Antwort | Diagnose | gering |
Drei ROAS beantworten drei verschiedene Fragen
Eine Suchkampagne zeigt einen attribuierten ROAS von 6,2. Ein Pausentest in vergleichbaren Gebieten schätzt einen inkrementellen ROAS von 1,8 ± 0,6. Das Jahres-MMM schreibt dem Kanal einen ROAS von 2,4 ± 0,9 zu, einschließlich eines Teils der verzögerten Effekte.
Die Attribution verteilt 620 T€ beobachteten Umsatz auf 100 T€ Ausgaben. Der Test schätzt 180 T€ Umsatz, der nicht stattgefunden hätte, mit einem Intervall von 120 T€ bis 240 T€. Das MMM schätzt 240 T€ über einen längeren Horizont, verwechselt aber teilweise Markensuche und Videoaktivität. Bei 35 % Marge beträgt der zentrale inkrementelle Beitrag des Tests 63 T€, also 0,63 € je ausgegebenem Euro.
Der ROAS 6,2 bleibt nützlich, um Suchanfragen und Traffic-Qualität zu steuern; er rechtfertigt das Budgetinkrement nicht. Der Test stützt die unmittelbare Grenzentscheidung, das MMM erhellt das Jahresgleichgewicht. Die Abweichung wird zu einer Synergiehypothese, die zu testen ist.
Voraussetzungen
Was erfüllt sein muss, um zu handeln.
- 01
Der Estimand wird vor der Methodenwahl formuliert.
- 02
Der dominante Bias und das Kontrafaktum werden mit dem Ergebnis veröffentlicht.
- 03
Die Entscheidung bleibt im beobachteten Bereich oder begründet ihre Übertragung.
- 04
Eine Abweichung zwischen Methoden löst eine Diagnose aus, niemals einen automatischen Mittelwert.
Grenzen
Was diese Analyse nicht belegt.
- Keine Karte ersetzt die Prüfung des tatsächlichen Designs und der Daten.
- Die beste theoretische Methode kann undurchführbar oder unzureichend powered sein.
- Effekte übertragen sich selten ohne Annahmen zwischen Segmenten, Perioden und Intensitäten.
Quellenangaben
Zitierte Literatur.
- Hernán, M. A. & Robins, J. M. (2020), Causal Inference: What If.
- Imbens, G. W. & Rubin, D. B. (2015), Causal Inference for Statistics, Social, and Biomedical Sciences.
- Pearl, J. & Mackenzie, D. (2018), The Book of Why.