Marketingexperiment: ein Protokoll wählen, das die Entscheidung beantwortet.
Stand des Nachweises
Was nicht reproduziert wurde.
Die Power- und Stichprobenberechnungen der Quelle wurden ohne Ersatz wiederholt: 6 der 8 von ihr veröffentlichten Werte werden ziffergenau reproduziert, die anderen 2 auf 1,2 % und 1,9 % — eine Abweichung in der Größenordnung der Toleranz, die ihre eigene Methode angibt, bei einer Berechnung mit Zufallsanteil. Die Kampagnendaten von Liu, Bettaney und Chamberlain, ihre Abbildungen und ihre empirischen Ergebnisse wurden hingegen nie veröffentlicht: sie können weder von uns noch von anderen wiederholt werden.
Was zu unterscheiden ist
Drei Bedingungen vor jeder Berechnung.
Von der Entscheidung ausgehen
Das Protokoll hängt von der erwogenen Änderung, ihrer Anwendungseinheit und der Schwelle ab, die das Handeln ändern würde. Eine verfügbare Kennzahl genügt nicht, um das Experiment zu definieren.
Das Kontrafaktum schützen
Die Vergleichsgruppe muss darstellen, was ohne die Intervention geschehen wäre. Kontamination, Budgetverschiebungen und gleichzeitige Änderungen schwächen diesen Vergleich.
Die Interpretation vorab schreiben
Population, Kennzahl, Horizont, Ausschlüsse und die Regel fortfahren, stoppen oder vertiefen werden vor dem Lesen der Ergebnisse geschrieben.
Methode
Ein Experiment in vier Kontrollen wählen
- 01Die Zuweisungseinheit definieren
Die kleinste Ebene identifizieren, auf der die Maßnahme ohne große Leckage angewandt werden kann — Individuum, Konto, Filiale, Gebiet oder Periode.
- 02Die Randomisierung bewerten
Ist die zufällige Zuweisung machbar und stabil, einen kontrollierten Test verwenden; andernfalls die Zuweisungsregel und die für ein Quasi-Experiment nötigen Annahmen dokumentieren.
- 03Power und Kontamination messen
Minimalen nützlichen Effekt, Variabilität, Zahl der Einheiten, Dauer und Diffusionsrisiken zwischen den Gruppen festlegen. Ein unterdimensioniertes Experiment wird allein mit der Zeit nicht beweiskräftig.
- 04Das Ergebnis mit der Handlung verbinden
Das beobachtete Intervall mit der Entscheidungsschwelle vergleichen. Ein unpräzises Ergebnis verlangt eine neue Messung oder eine vorsichtige Entscheidung, keine künstliche Gewissheit.
Die Vorauswahlmatrix der Protokolle
Fünf Situationen machen das Kandidatenprotokoll, seinen Horizont und die Voraussetzungen sichtbar, die jede kausale Schlussfolgerung blockieren, wenn sie fehlen.
| Einheit | Randomisierung | Kontamination | Kandidatenprotokoll | Fail-closed-Voraussetzung | Horizont |
|---|---|---|---|---|---|
| Individuum oder Konto | Ja | Gering | Randomisierter Test | Zuweisbare Einheiten und beherrschter Spillover | Vortest, Test und Nachverfolgung |
| Gebiet oder Filiale | Ja, geclustert | Mittel | Geo-Test | Genug vergleichbare Gebiete und stabile Vorperiode | Vorperiode, Test und Nachverfolgung |
| Geplanter Rollout | Nein | Messbar | Differenz von Differenzen | Unbehandelte Gruppe und dokumentierte parallele Trends | Ausreichende Vorperiode und Nachverfolgung |
| Einzelmarkt | Nein | Hoch | Synthetische Kontrolle | Glaubwürdiger Spenderpool und ausreichende Vorbehandlungsanpassung | Lange Vorperiode und Nachverfolgung |
| Kein Vergleich | Nein | Unbekannt | Deskriptive Messung | Kein vertretbares Kontrafaktum | Nur Beobachtung |
Diese Matrix wählt eine Protokollfamilie vor. Sie ersetzt weder die Poweranalyse noch die Prüfung der Annahmen noch die Überprüfung des Analyseplans.
Ein sechswöchiger Geo-Test beweist nicht automatisch eine nationale Ausweitung
Illustratives Beispiel: Eine Aktivierung wird in 12 Testgebieten ausgerollt und mit 12 Kontrollgebieten verglichen. Der durchschnittliche Wochenumsatz vor dem Test beträgt 200 T€ je Gruppe. Die während des Tests beobachtete durchschnittliche Wochendifferenz beträgt 12 T€, mit einem Wochenintervall von −4 T€ bis 28 T€.
Der zentrale Punkt entspricht 12.000 ÷ 200.000 = 6 %. Das Intervall überschreitet null und enthält für die Entscheidung sehr unterschiedliche Effekte. Der zentrale Wert genügt daher nicht, um eine Verallgemeinerung zuzulassen.
Das Ergebnis bleibt unbestimmt. Die Entscheidung lautet, den Test zu verlängern oder neu zu entwerfen, wenn der minimale nützliche Effekt die Kosten rechtfertigt, statt die Aktivierung allein auf der zentralen Schätzung auszuweiten.
Voraussetzungen
Was erfüllt sein muss, um zu handeln.
- 01
Die Zuweisungseinheit entspricht dem wirklich steuerbaren Hebel.
- 02
Vergleich, Ausschlüsse und Kennzahl werden vor dem Ergebnis definiert.
- 03
Das Kontaminationsrisiko und die gleichzeitigen Änderungen sind dokumentiert.
- 04
Die Entscheidung nutzt ein Intervall und eine fachliche Schwelle, niemals allein den zentralen Punkt.
Grenzen
Was diese Analyse nicht belegt.
- Ein lokales Experiment garantiert nicht denselben Effekt auf einer anderen Population oder Periode.
- Plattformen können Lernmechanismen anwenden, die die Gruppen verbinden.
- Ein Quasi-Experiment hängt von Annahmen ab, die nicht vollständig testbar sind.
- Das Fehlen eines erkannten Unterschieds beweist nicht das Fehlen jeder Wirkung.
Quellenangaben
Zitierte Literatur.
- Google Ads, Funktionsweise und Nachverfolgung von Experimenten, offizielle Dokumentation (öffnet in einem neuen Tab)
- Google Ads, Performance-Max-Experimente und Messung der Inkrementalität (öffnet in einem neuen Tab)
- Liu, Bettaney und Chamberlain, Designing Experiments to Measure Incrementality on Facebook, vollständiger Artikel, 2018 (öffnet in einem neuen Tab)
- Callaway und Sant’Anna, Difference-in-Differences with Multiple Time Periods, vollständiger Artikel (öffnet in einem neuen Tab)
- Abadie, Using Synthetic Controls: Feasibility, Data Requirements, and Methodological Aspects, vollständiger Artikel (öffnet in einem neuen Tab)