Das richtige Protokoll ist nicht das komplexeste, sondern schafft einen glaubwürdigen Vergleich auf der Ebene, auf de…
Das richtige Protokoll ist nicht das komplexeste, sondern schafft einen glaubwürdigen Vergleich auf der Ebene, auf der die Aktion beeinflusst wird. Individuelle Randomisierung passt bei kontrollierbarer Exposition und schwacher Interferenz. Ein Geo-Test passt zu territorialer Aktivierung. Eine Quasi-Experiment kann nicht-randomisierten Rollout dokumentieren, doch ihre Schlussfolgerung beruht auf stärkeren Annahmen. Ohne vergleichbare Einheit, Vormessung und Entscheidungsregel bleibt das Ergebnis deskriptiv.
Entscheidung und Methode.
Das einfachste Protokoll wählen, das den für die Entscheidung nützlichen Effekt identifiziert, und kausale Schlüsse verweigern, wenn Vergleichsbedingungen nicht prüfbar sind. Von geplanter Änderung, Anwendungseinheit und Handlungsschwelle ausgehen. Kleinste Zuweisungsebene ohne große Leakage bestimmen: Individuum, Account, Geschäft, Zone oder Zeitraum. Ist stabile Zufallszuweisung möglich, kontrollierten Test nutzen; sonst Zuweisungsregel und Annahmen dokumentieren. Mindestnutzeneffekt, Variabilität, Einheitenanzahl, Dauer und Diffusionsrisiko festlegen. Population, Metrik, Horizont, Ausschlüsse und Fortsetzen-/Stopp-/Vertiefungsregel vor Ergebnis schreiben. Beobachtetes Intervall mit Schwelle vergleichen.
Rechenbeispiel.
Illustrativ wird Aktivierung in 12 Testzonen gegen 12 Kontrollzonen eingesetzt. Durchschnittlicher Wochenumsatz davor: 200.000 € je Gruppe. Beobachtete wöchentliche Mittelwertdifferenz: 12.000 €, Intervall −4.000 bis 28.000 €. Punktschätzer: 12.000 ÷ 200.000 = 6 %. Intervall kreuzt Null und enthält sehr verschiedene Entscheidungseffekte; Zentralwert erlaubt keine nationale Generalisierung. Ergebnis ist unbestimmt: Test verlängern oder neu gestalten, wenn Mindestnutzen Kosten rechtfertigt.
Prüfungen und Grenzen.
Zuweisungseinheit entspricht steuerbarem Hebel; Vergleich, Ausschlüsse und Metrik stehen vor Ergebnis; Kontamination und gleichzeitige Änderungen dokumentieren; Entscheidung mit Intervall und Business-Schwelle, nie nur Punktwert. Lokales Experiment garantiert keinen Effekt anderswo; Plattformlernen kann Gruppen verbinden; Quasi-Experiment beruht auf teilweise untestbaren Annahmen; kein entdeckter Unterschied beweist keinen vollständigen Nulleffekt.
Ressourcen und Quellen.
Protokollselektor herunterladen. Weiterführend: Inkrementalität definieren, Geo-Test entwerfen, Evidenz triangulieren, Messfamilien vergleichen. Quellen: Google Ads Experiments; Performance-Max-Inkrementalität; Liu, Bettaney & Chamberlain (2018); Callaway & Sant’Anna; Abadie.