Estimand avant méthode
Définir résultat, population, traitement, comparateur et horizon. « Mesurer l’impact » est insuffisant : effet moyen sur les exposables, effet du budget national et effet sur nouveaux clients sont trois quantités différentes.
Incrémentalité : estimer ce qui n’aurait pas eu lieu sans l’action.
DÉCISION SOUTENUEChoisir la méthode minimale capable de produire un contrefactuel compatible avec le grain, le mécanisme, le délai et le risque de la décision.
Preuves directement vérifiables
Sources primaires pour contrôler les affirmations clés.
- Lewis et Rao (2015), Quarterly Journal of Economics (ouvre un nouvel onglet)
Puissance et limites économiques des expériences publicitaires.
- Holland (1986), Statistics and Causal Inference (ouvre un nouvel onglet)
Cadre causal et distinction entre association et effet.
État de la preuve
Ce qui n’a pas été reproduit.
Les calculs de puissance et de taille d’échantillon de la source ont été refaits, sans substitution : 6 des 8 valeurs qu’elle publie sont retrouvées au chiffre près, les 2 autres à 1,2 % et 1,9 % — un écart de l’ordre de la tolérance que sa propre méthode déclare, sur un calcul qui comporte une part d’aléa. Ses données de campagne, ses figures et ses résultats empiriques, en revanche, n’ont jamais été publiés : ils ne peuvent être refaits ni par nous ni par personne.
- Designing Experiments to Measure Incrementality on Facebook (ouvre un nouvel onglet)
arXiv:1806.02588v2, 11 juillet 2018 · Licence arXiv non exclusive de distribution · Version arXiv v2 du 11 juillet 2018, téléchargée depuis arXiv le 31 août 2026. La licence autorise arXiv à distribuer l’article ; elle ne transfère pas un droit général de réutilisation.
Ce qu’il faut distinguer
Trois conditions avant tout calcul.
Absence d’action crédible
Une tendance avant-après n’est un contrefactuel que si rien d’autre ne modifie le résultat. La saisonnalité, la sélection des exposés et les campagnes simultanées doivent être neutralisées ou modélisées.
Usage limité par la preuve
Un test local peut autoriser un déploiement similaire, mais pas nécessairement une allocation annuelle. L’extrapolation doit être séparée de l’identification.
Méthode
Construire une mesure qui autorise une décision
- 01Écrire le contrefactuel
Décrire concrètement ce qui se passe pour l’unité sans action : aucun message, budget habituel, prix précédent ou autre canal.
- 02Choisir l’unité d’assignation
Individu, magasin, zone ou période selon le risque de contamination et le niveau d’exécution.
- 03Dimensionner l’incertitude
Calculer l’effet minimal détectable et vérifier que la décision reste utile même si l’intervalle est large.
- 04Préenregistrer l’usage
Fixer métrique, exclusions, durée, analyse et règle de décision avant d’observer les résultats.
ÉLÉMENT ORIGINAL
La matrice des contrefactuels
Quatre familles de méthodes sont comparées sur ce qu’elles identifient, leurs hypothèses et les décisions qu’elles peuvent réellement soutenir.
| Méthode | Grain | Contrefactuel | Identification | Décision adaptée |
|---|---|---|---|---|
| Test individuel | Individu | Randomisé | Très forte | Activation ciblée |
| Test géographique | Zone | Zones comparables | Forte | Média agrégé |
| Différences de différences | Unité × temps | Tendances parallèles | Conditionnelle | Prix ou canal |
| Contrôle synthétique | Marché | Combinaison de témoins | Conditionnelle | Déploiement local |
| MMM | Semaine / zone | Structure modélisée | Dépend du modèle | Portefeuille annuel |
Le meilleur choix n’est pas la méthode la plus sophistiquée.
CSVTélécharger la matrice↓C’est celle dont le contrefactuel, le grain et l’horizon correspondent à la décision réelle.
EXEMPLE ILLUSTRATIF · DONNÉES SIMULÉES
Un ROAS attribué de 4 pour un ROAS incrémental de 1,3
Une campagne dépense 100 000 € et la plateforme attribue 400 000 € de ventes. Un groupe comparable non exposé aurait généré 270 000 € sur la même population.
Ventes incrémentales : 400 000 − 270 000 = 130 000 €. ROAS incrémental : 1,3. Avec 45 % de marge brute, la contribution avant coûts créatifs n’est que 58 500 €, inférieure à la dépense.
La campagne capte des ventes existantes. Réduire ou redéfinir la cible plutôt que l’amplifier sur la base du ROAS attribué.
Conditions d’acceptation
Ce qui doit être vrai pour agir.
- 01
Population, traitement, résultat, comparateur et horizon sont écrits.
- 02
La méthode traite explicitement sélection, contamination et changements simultanés.
- 03
L’intervalle d’incertitude est converti en décision économique.
- 04
L’extrapolation au-delà du test est documentée séparément.
Limites
Ce que cette analyse ne prouve pas.
- Une expérience mal exécutée peut être moins crédible qu’une bonne quasi-expérience.
- Les effets rares ou faibles exigent des échantillons parfois incompatibles avec le calendrier.
- L’effet moyen peut masquer une hétérogénéité importante entre segments ou zones.
Références
Travaux mobilisés.
- Imbens, G. W. & Rubin, D. B. (2015), Causal Inference.
- Kohavi, R., Tang, D. & Xu, Y. (2020), Trustworthy Online Controlled Experiments.
- Gordon, B. R. et al. (2019), Marketing Science.