Inkrementalität: schätzen, was ohne die Maßnahme nicht geschehen wäre.
Direkt überprüfbare Belege
Primärquellen zur Prüfung der zentralen Aussagen.
- Lewis und Rao (2015), Quarterly Journal of Economics (öffnet in einem neuen Tab)
Power und wirtschaftliche Grenzen von Werbeexperimenten.
- Holland (1986), Statistics and Causal Inference (öffnet in einem neuen Tab)
Kausaler Rahmen und Unterscheidung zwischen Zusammenhang und Effekt.
Stand des Nachweises
Was nicht reproduziert wurde.
Die Power- und Stichprobenberechnungen der Quelle wurden ohne Ersatz wiederholt: 6 der 8 von ihr veröffentlichten Werte werden ziffergenau reproduziert, die anderen 2 auf 1,2 % und 1,9 % — eine Abweichung in der Größenordnung der Toleranz, die ihre eigene Methode angibt, bei einer Berechnung mit Zufallsanteil. Ihre Kampagnendaten, ihre Abbildungen und ihre empirischen Ergebnisse wurden hingegen nie veröffentlicht: sie können weder von uns noch von anderen wiederholt werden.
Was zu unterscheiden ist
Drei Bedingungen vor jeder Berechnung.
Estimand vor Methode
Ergebnis, Population, Behandlung, Vergleichsmaßstab und Horizont definieren. „Die Wirkung messen" genügt nicht: durchschnittlicher Effekt auf die Erreichbaren, Effekt des nationalen Budgets und Effekt auf Neukunden sind drei verschiedene Größen.
Glaubwürdiges Ausbleiben der Maßnahme
Ein Vorher-Nachher-Trend ist nur dann ein Kontrafaktum, wenn nichts anderes das Ergebnis verändert. Saisonalität, Selektion der Exponierten und gleichzeitige Kampagnen müssen neutralisiert oder modelliert werden.
Vom Beleg begrenzte Nutzung
Ein lokaler Test kann einen ähnlichen Rollout zulassen, aber nicht zwingend eine Jahresallokation. Die Extrapolation muss von der Identifikation getrennt werden.
Methode
Eine Messung aufbauen, die eine Entscheidung erlaubt
- 01Das Kontrafaktum schreiben
Konkret beschreiben, was mit der Einheit ohne Maßnahme geschieht: keine Botschaft, gewohntes Budget, vorheriger Preis oder ein anderer Kanal.
- 02Die Zuweisungseinheit wählen
Individuum, Filiale, Gebiet oder Periode, je nach Kontaminationsrisiko und Ausführungsebene.
- 03Die Unsicherheit dimensionieren
Den minimal erkennbaren Effekt berechnen und prüfen, dass die Entscheidung auch bei breitem Intervall nützlich bleibt.
- 04Die Nutzung vorab registrieren
Kennzahl, Ausschlüsse, Dauer, Analyse und Entscheidungsregel festlegen, bevor die Ergebnisse beobachtet werden.
Die Matrix der Kontrafakten
Vier Methodenfamilien werden danach verglichen, was sie identifizieren, welche Annahmen sie treffen und welche Entscheidungen sie wirklich stützen können.
| Methode | Granularität | Kontrafaktum | Identifikation | Passende Entscheidung |
|---|---|---|---|---|
| Individualtest | Individuum | Randomisiert | Sehr hoch | Gezielte Aktivierung |
| Geo-Test | Gebiet | Vergleichbare Gebiete | Hoch | Aggregierte Medien |
| Differenz von Differenzen | Einheit × Zeit | Parallele Trends | Bedingt | Preis oder Kanal |
| Synthetische Kontrolle | Markt | Kombination von Kontrollen | Bedingt | Lokaler Rollout |
| MMM | Woche / Gebiet | Modellierte Struktur | Hängt vom Modell ab | Jahresportfolio |
Es ist die, deren Kontrafaktum, Granularität und Horizont zur tatsächlichen Entscheidung passen.
Ein zugerechneter ROAS von 4 bei einem inkrementellen ROAS von 1,3
Eine Kampagne gibt 100.000 € aus und die Plattform rechnet ihr 400.000 € Verkäufe zu. Eine vergleichbare nicht exponierte Gruppe hätte auf derselben Population 270.000 € erzeugt.
Inkrementelle Verkäufe: 400.000 − 270.000 = 130.000 €. Inkrementeller ROAS: 1,3. Bei 45 % Bruttomarge beträgt der Beitrag vor Kreativkosten nur 58.500 € und liegt damit unter der Ausgabe.
Die Kampagne greift bestehende Verkäufe ab. Die Zielgruppe verkleinern oder neu definieren, statt sie auf Basis des zugerechneten ROAS zu verstärken.
Voraussetzungen
Was erfüllt sein muss, um zu handeln.
- 01
Population, Behandlung, Ergebnis, Vergleichsmaßstab und Horizont sind aufgeschrieben.
- 02
Die Methode behandelt Selektion, Kontamination und gleichzeitige Änderungen ausdrücklich.
- 03
Das Unsicherheitsintervall wird in eine wirtschaftliche Entscheidung überführt.
- 04
Die Extrapolation über den Test hinaus wird gesondert dokumentiert.
Grenzen
Was diese Analyse nicht belegt.
- Ein schlecht ausgeführtes Experiment kann weniger glaubwürdig sein als ein gutes Quasi-Experiment.
- Seltene oder schwache Effekte verlangen Stichproben, die mitunter mit dem Kalender unvereinbar sind.
- Der durchschnittliche Effekt kann eine erhebliche Heterogenität zwischen Segmenten oder Gebieten verdecken.
Quellenangaben
Zitierte Literatur.
- Imbens, G. W. & Rubin, D. B. (2015), Causal Inference.
- Kohavi, R., Tang, D. & Xu, Y. (2020), Trustworthy Online Controlled Experiments.
- Gordon, B. R. et al. (2019), Marketing Science.