Estimand avant méthode
Définir résultat, population, traitement, comparateur et horizon. « Mesurer l’impact » est insuffisant : effet moyen sur les exposables, effet du budget national et effet sur nouveaux clients sont trois quantités différentes.
Analyse expert · Révisée le 22.08.2026
Incrémentalité : estimer ce qui n’aurait pas eu lieu sans l’action.
DÉCISION SOUTENUEChoisir la méthode minimale capable de produire un contrefactuel compatible avec le grain, le mécanisme, le délai et le risque de la décision.
Statut pédagogique
Niveau pédagogique documenté
Méthode et sources vérifiées ; résultats empiriques de la source non reproduits. Cette page n’établit ni performance observée, ni effet causal démontré, ni validation scientifique complète.
- Affirmations couvertes
- Partiel · 2 affirmations reliées à une source.
- Reproduction de la source
- Partielle · les résultats empiriques ne sont pas reproduits.
- Artefacts contrôlés
- 7 vérifiés.
- Éléments non fournis
- jeu de données, dictionnaire, exécution R, revue SPSS, revue SAS : leur absence est documentée, elle n’est pas comblée.
Preuves directement vérifiables
Sources primaires pour contrôler les affirmations clés.
- Lewis et Rao (2015), Quarterly Journal of Economics (ouvre un nouvel onglet)
Puissance et limites économiques des expériences publicitaires.
- Holland (1986), Statistics and Causal Inference (ouvre un nouvel onglet)
Cadre causal et distinction entre association et effet.
Ce qu’il faut distinguer
Trois conditions avant tout calcul.
Absence d’action crédible
Une tendance avant-après n’est un contrefactuel que si rien d’autre ne modifie le résultat. La saisonnalité, la sélection des exposés et les campagnes simultanées doivent être neutralisées ou modélisées.
Usage limité par la preuve
Un test local peut autoriser un déploiement similaire, mais pas nécessairement une allocation annuelle. L’extrapolation doit être séparée de l’identification.
Méthode
Construire une mesure qui autorise une décision
- 01Écrire le contrefactuel
Décrire concrètement ce qui se passe pour l’unité sans action : aucun message, budget habituel, prix précédent ou autre canal.
- 02Choisir l’unité d’assignation
Individu, magasin, zone ou période selon le risque de contamination et le niveau d’exécution.
- 03Dimensionner l’incertitude
Calculer l’effet minimal détectable et vérifier que la décision reste utile même si l’intervalle est large.
- 04Préenregistrer l’usage
Fixer métrique, exclusions, durée, analyse et règle de décision avant d’observer les résultats.
ÉLÉMENT ORIGINAL
La matrice des contrefactuels
Quatre familles de méthodes sont comparées sur ce qu’elles identifient, leurs hypothèses et les décisions qu’elles peuvent réellement soutenir.
| Méthode | Grain | Contrefactuel | Identification | Décision adaptée |
|---|---|---|---|---|
| Test individuel | Individu | Randomisé | Très forte | Activation ciblée |
| Test géographique | Zone | Zones comparables | Forte | Média agrégé |
| Différences de différences | Unité × temps | Tendances parallèles | Conditionnelle | Prix ou canal |
| Contrôle synthétique | Marché | Combinaison de témoins | Conditionnelle | Déploiement local |
| MMM | Semaine / zone | Structure modélisée | Dépend du modèle | Portefeuille annuel |
Le meilleur choix n’est pas la méthode la plus sophistiquée.
CSVTélécharger la matrice↓C’est celle dont le contrefactuel, le grain et l’horizon correspondent à la décision réelle.
EXEMPLE ILLUSTRATIF · DONNÉES SIMULÉES
Un ROAS attribué de 4 pour un ROAS incrémental de 1,3
Une campagne dépense 100 000 € et la plateforme attribue 400 000 € de ventes. Un groupe comparable non exposé aurait généré 270 000 € sur la même population.
Ventes incrémentales : 400 000 − 270 000 = 130 000 €. ROAS incrémental : 1,3. Avec 45 % de marge brute, la contribution avant coûts créatifs n’est que 58 500 €, inférieure à la dépense.
La campagne capte des ventes existantes. Réduire ou redéfinir la cible plutôt que l’amplifier sur la base du ROAS attribué.
Conditions d’acceptation
Ce qui doit être vrai pour agir.
- 01
Population, traitement, résultat, comparateur et horizon sont écrits.
- 02
La méthode traite explicitement sélection, contamination et changements simultanés.
- 03
L’intervalle d’incertitude est converti en décision économique.
- 04
L’extrapolation au-delà du test est documentée séparément.
Limites
Ce que cette analyse ne prouve pas.
- Une expérience mal exécutée peut être moins crédible qu’une bonne quasi-expérience.
- Les effets rares ou faibles exigent des échantillons parfois incompatibles avec le calendrier.
- L’effet moyen peut masquer une hétérogénéité importante entre segments ou zones.
Références
Travaux mobilisés.
- Imbens, G. W. & Rubin, D. B. (2015), Causal Inference.
- Kohavi, R., Tang, D. & Xu, Y. (2020), Trustworthy Online Controlled Experiments.
- Gordon, B. R. et al. (2019), Marketing Science.