Geo-Test: Märkte matchen, bevor das Budget verschoben wird.
Direkt überprüfbare Belege
Primärquellen zur Prüfung der zentralen Aussagen.
- Google Research, Measuring Ad Effectiveness Using Geo Experiments (öffnet in einem neuen Tab)
Konzeption und Interpretation geografischer Experimente.
- Google Research, Robust Causal Inference with Paired Geo Experiments (öffnet in einem neuen Tab)
Robuste iROAS-Schätzung und Sensitivität gegenüber Annahmen.
Was zu unterscheiden ist
Drei Bedingungen vor jeder Berechnung.
Einheit ohne Leckage
Die Geografie muss Medienexposition, Reisebewegungen, Einzugsgebiete und digitale Spillover zwischen Behandlung und Kontrolle begrenzen. Eine Verwaltungsgrenze ist nicht immer eine Verhaltensgrenze.
Vergleichbarer Vortrend
Die Paare müssen sich vor dem Test bei Ergebnis, Distribution, Preis und wichtigen Ereignissen gemeinsam entwickeln. Eine hohe durchschnittliche Korrelation genügt nicht, wenn die Abstände driften.
Entscheidungspower
Der minimale detektierbare Effekt muss mit der wirtschaftlichen Schwelle verglichen werden. Ein Test, der +4 % nicht von null unterscheiden kann, kann keine Entscheidung treffen, die schon ab +2 % rentabel ist.
Methode
Einen Geo-Test entwerfen, der wirklich schließen kann
- 01Den nützlichen Effekt definieren
Ergebnis, Horizont, Population und den minimalen Uplift schreiben, der die Kampagnenkosten zurückzahlt; dieser Wert wird zum Power-Ziel.
- 02Die Paare bilden
Märkte nach Niveau, Trend, Saisonalität, Distribution, Preis und Wettbewerbsmix matchen und atypische Perioden für Robustheitstests reservieren.
- 03Zuweisen und stabilisieren
Die Behandlung innerhalb der Paare randomisieren, den Zeitplan einfrieren, die übrigen Hebel kontrollieren und Expositionslecks während des Tests überwachen.
- 04Die Differenz analysieren
Den Abstand zwischen Behandlung und Kontrolle, sein Intervall, die Vortrends und die Placebos schätzen und zusätzlich die Kosten je inkrementeller Einheit sowie die einflussreichen Märkte berichten.
Zwölf Paare vergleichbarer Märkte
Die Paare sind nach Ähnlichkeit vor dem Test geordnet. Die Power hängt von der Varianz der Differenzen innerhalb der Paare ab, nicht nur von der Zahl der Gebiete.
Zwölf Paare erkennen einen Effekt von etwa 3,9 %
Die historische Standardabweichung der Differenzen innerhalb der Paare beträgt 4,8 %. Der Plan behält zwölf Paare, ein zweiseitiges Risiko von 5 % und eine Ziel-Power von 80 %.
Näherung des minimalen detektierbaren Effekts = (1,96 + 0,84) × 4,8 % ÷ √12 = 3,88 %. Der minimal erwartete wirtschaftliche Gewinn beträgt 3,2 %.
Der Test bleibt für die wirtschaftliche Schwelle leicht unterdimensioniert. Es müssen Paare ergänzt, die Periode verlängert oder die Varianz über Vortest-Kovariaten gesenkt werden.
Voraussetzungen
Was erfüllt sein muss, um zu handeln.
- 01
Die wirtschaftliche Schwelle wird vor der Power-Berechnung definiert.
- 02
Die Paare haben über mehrere Perioden stabile Niveaus und Vortrends.
- 03
Die Zuweisung innerhalb der Paare ist randomisiert und dokumentiert.
- 04
Lecks, Distributionsänderungen und lokale Ereignisse werden überwacht.
Grenzen
Was diese Analyse nicht belegt.
- Eine kleine Zahl von Märkten macht die Inferenz empfindlich gegenüber einem einflussreichen Paar.
- Die geschätzten Effekte lassen sich womöglich nicht auf sehr große Städte oder ungetestete Gebiete übertragen.
- Nationale Kampagnen, Medien ohne geografisches Targeting und Reisebewegungen können die Kontrolle kontaminieren.
Quellenangaben
Zitierte Literatur.
- Vaver, J. & Koehler, J. (2011), „Measuring Ad Effectiveness Using Geo Experiments“.
- Kerman, J., Wang, P. & Vaver, J. (2017), „Estimating Ad Effectiveness Using Geo Experiments in a Time-Based Regression Framework“.
- Imbens, G. W. & Rubin, D. B. (2015), Causal Inference for Statistics, Social, and Biomedical Sciences.