Preistest: ein Experiment dimensionieren, das entscheiden kann.
Stand des Nachweises
Was nicht reproduziert wurde.
Die synthetische didaktische Berechnung ist durch die Spezifikation, die Fixture und Python geprüft. Die methodische Quelle Kohavi et al. ist archiviert und ihre Auszüge sind geprüft, aber ihre Ergebnisse, ihre Randomisierung, ihre Interferenzmechanismen und ihre Implementierungen sind nicht reproduziert.
Was zu unterscheiden ist
Drei Bedingungen vor jeder Berechnung.
Wirtschaftliche Schwelle
Ein neuer Preis kann Konversion verlieren und trotzdem den Deckungsbeitrag erhöhen. Die minimal akzeptable Rate ist der aktuelle Deckungsbeitrag je Besucher geteilt durch die Kandidatenmarge.
Zuweisungseinheit
Nach Kunde, Konto, Gebiet oder Geschäft zuweisen, je nach Risiko, mehrere Preise zu sehen. Eine Zuweisung nach Sitzung setzt den Test Vergleichen und Gruppenwechseln aus.
Power vor Dauer
Die Dauer folgt aus der Zahl benötigter Einheiten, dem berechtigten Traffic und dem Entscheidungszyklus. Abzubrechen, sobald ein Ergebnis günstig wirkt, erhöht falsch-positive Befunde.
Methode
Einen Preistest von der Marge bis zur Entscheidung konzipieren
- 01Die Schwellenrate berechnen
Aktuellen Deckungsbeitrag je Besucher und Kandidaten-Stückmarge messen. Ihr Verhältnis ergibt die Mindestkonversion, die den kurzfristigen Wert erhält.
- 02Den nützlichen Effekt wählen
Den kleinsten Unterschied festlegen, der die Entscheidung tatsächlich ändern würde, dann Alpha- und Beta-Risiko sowie eine etwaige Korrektur für Mehrfachtests definieren.
- 03Dimensionieren und zuweisen
Die Stichprobe je Gruppe berechnen, Ausschlüsse vor dem Test festlegen und Preis, Aktion, Sortiment und Kommunikation während des Experiments stabil halten.
- 04Über den Deckungsbeitrag entscheiden
Konversion, Marge, Deckungsbeitrag je Besucher, Mix, Stornierung und Intervall berichten. Nicht-Signifikanz ist kein Beweis für Gleichwertigkeit.
Die Kurve nachweisbarer Effekt – Stichprobengröße
Je kleiner der nachzuweisende Konversionsunterschied, desto größer der Stichprobenbedarf. Das Ziel ist an die Beitragsschwelle gebunden und nicht nach Bequemlichkeit gewählt.
Ungefähr 7.360 Besucher je Gruppe, um 1,5 Punkte zu erkennen
Die Ausgangskonversion beträgt 12 %. Der Test zielt auf 1,5 Punkte Unterschied, zweiseitiges Risiko von 5 % und 80 % Power. Die Marge steigt von 30 € auf 36 €.
Näherung: n = 2 × (1,96 + 0,84)² × 0,12 × 0,88 ÷ 0,015² = 7.359 je Gruppe. Die wirtschaftliche Konversionsschwelle lautet 12 % × 30 ÷ 36 = 10 %.
Der Test erkennt einen Rückgang von 1,5 Punkten, unterhalb des maximalen Rückgangs von 2 Punkten. Er benötigt etwa 14.720 berechtigte Besucher außerhalb vorab definierter Ausschlüsse.
Voraussetzungen
Was erfüllt sein muss, um zu handeln.
- 01
Die wirtschaftliche Konversionsschwelle wird vor dem Test berechnet.
- 02
Die Zuweisungseinheit verhindert, dass ein Kunde mehrere Preise sieht.
- 03
Größe, Dauer, Ausschlüsse und Abbruchregel werden vorab registriert.
- 04
Die Entscheidung beruht auf Deckungsbeitrag und Intervall, nicht allein auf Konversion.
Grenzen
Was diese Analyse nicht belegt.
- Ein kurzer Test misst Wiederkauf-, Reputations- und Verlängerungseffekte schlecht.
- Kunden können Preise zwischen Gruppen teilen und ihr Verhalten ändern.
- Für komplexe Kennzahlen muss die Näherung durch Simulation ersetzt werden.
Quellenangaben
Zitierte Literatur.
- Kohavi, R., Tang, D., Xu, Y. et al. (2020), „Online randomized controlled experiments at scale“, Trials 21, 150 (CC BY 4.0) — Volltext. (öffnet in einem neuen Tab)
- Kohavi, R., Tang, D. & Xu, Y. (2020), Trustworthy Online Controlled Experiments.
- Imbens, G. W. & Rubin, D. B. (2015), Causal Inference for Statistics, Social, and Biomedical Sciences.
- Deng, A., Lu, J. & Chen, S. (2016), „Continuous Monitoring of A/B Tests without Pain“, KDD.