Partir de la décision
Le protocole dépend du changement envisagé, de son unité d’application et du seuil qui modifierait l’action. Une métrique disponible ne suffit pas à définir l’expérience.
Analyse expert · Révisée le 14.08.2026
Expérimentation marketing : choisir un protocole qui répond à la décision.
DÉCISION SOUTENUEChoisir le protocole le plus simple qui identifie l’effet utile à la décision, puis refuser toute conclusion causale si les conditions de comparaison ne sont pas vérifiables.
État de la preuve
Ce qui n’a pas été reproduit.
Les calculs de puissance et de taille d’échantillon de la source ont été refaits, sans substitution : 6 des 8 valeurs qu’elle publie sont retrouvées au chiffre près, les 2 autres à 1,2 % et 1,9 % — un écart de l’ordre de la tolérance que sa propre méthode déclare, sur un calcul qui comporte une part d’aléa. Les données de campagne de Liu, Bettaney et Chamberlain, leurs figures et leurs résultats empiriques n’ont en revanche jamais été publiés : ils ne peuvent être refaits ni par nous ni par personne.
- Designing Experiments to Measure Incrementality on Facebook (ouvre un nouvel onglet)
arXiv:1806.02588v2, 11 juillet 2018 · Licence arXiv non exclusive de distribution · Version arXiv v2 du 11 juillet 2018, téléchargée depuis arXiv le 31 août 2026. La licence autorise arXiv à distribuer l’article ; elle ne transfère pas un droit général de réutilisation.
Ce qu’il faut distinguer
Trois conditions avant tout calcul.
Protéger le contrefactuel
Le groupe de comparaison doit représenter ce qui se serait produit sans l’intervention. Contamination, déplacements de budget et changements simultanés fragilisent cette comparaison.
Préécrire l’interprétation
Population, métrique, horizon, exclusions et règle continuer, arrêter ou approfondir sont écrits avant lecture des résultats.
Méthode
Choisir une expérience en quatre contrôles
- 01Définir l’unité d’affectation
Identifier le plus petit niveau auquel l’action peut être appliquée sans fuite majeure : individu, compte, magasin, zone ou période.
- 02Évaluer la randomisation
Si l’affectation aléatoire est faisable et stable, utiliser un test contrôlé. Sinon, documenter la règle d’affectation et les hypothèses nécessaires à une quasi-expérience.
- 03Mesurer puissance et contamination
Fixer effet minimal utile, variabilité, nombre d’unités, durée et risques de diffusion entre groupes. Une expérience sous-dimensionnée ne devient pas probante avec le temps seul.
- 04Relier le résultat à l’action
Comparer l’intervalle observé au seuil de décision. Un résultat imprécis appelle une nouvelle mesure ou une décision prudente, pas une certitude artificielle.
OUTIL DE DÉCISION
La matrice de présélection des protocoles
Cinq situations rendent visibles le protocole candidat, son horizon et les prérequis qui bloquent toute conclusion causale s’ils manquent.
| Unité | Randomisation | Contamination | Protocole candidat | Prérequis fail-closed | Horizon |
|---|---|---|---|---|---|
| Individu ou compte | Oui | Faible | Test randomisé | Unités assignables et fuites maîtrisées | Prétest, test et suivi |
| Zone ou magasin | Oui, par grappes | Moyenne | Géotest | Assez de zones comparables et prépériode stable | Prépériode, test et suivi |
| Déploiement planifié | Non | Mesurable | Différences de différences | Groupe non traité et tendances parallèles documentées | Prépériode suffisante et suivi |
| Marché unique | Non | Forte | Contrôle synthétique | Pool de donneurs crédible et ajustement prétraitement suffisant | Prépériode longue et suivi |
| Aucune comparaison | Non | Inconnue | Mesure descriptive | Aucun contrefactuel défendable | Observation seulement |
Si un prérequis manque, la sortie reste descriptive.
CSVTélécharger le sélecteur de protocole↓Cette matrice présélectionne une famille de protocole. Elle ne remplace ni le calcul de puissance, ni le diagnostic des hypothèses, ni la revue du plan d’analyse.
EXEMPLE ILLUSTRATIF · DONNÉES SIMULÉES
Un géotest de six semaines ne prouve pas automatiquement une extension nationale
Exemple illustratif : une activation est déployée dans 12 zones test et comparée à 12 zones témoins. Le chiffre d’affaires hebdomadaire moyen avant test est de 200 k€ par groupe. L’écart hebdomadaire moyen observé pendant le test est de 12 k€, avec un intervalle hebdomadaire de −4 k€ à 28 k€.
Le point central représente 12 000 ÷ 200 000 = 6 %. L’intervalle traverse zéro et inclut des effets très différents pour la décision. La valeur centrale ne suffit donc pas à autoriser une généralisation.
Le résultat reste indéterminé. La décision est de prolonger ou redessiner le test si l’effet minimal utile justifie le coût, plutôt que d’étendre l’activation sur la seule estimation centrale.
Conditions d’acceptation
Ce qui doit être vrai pour agir.
- 01
L’unité d’affectation correspond au levier réellement contrôlable.
- 02
La comparaison, les exclusions et la métrique sont définies avant le résultat.
- 03
Le risque de contamination et les changements simultanés sont documentés.
- 04
La décision utilise un intervalle et un seuil métier, jamais le seul point central.
Limites
Ce que cette analyse ne prouve pas.
- Une expérience locale ne garantit pas le même effet sur une autre population ou période.
- Les plateformes peuvent appliquer des mécanismes d’apprentissage qui relient les groupes.
- Une quasi-expérience dépend d’hypothèses qui ne sont pas entièrement testables.
- L’absence de différence détectée ne prouve pas l’absence de tout effet.
Références
Travaux mobilisés.
- Google Ads, fonctionnement et suivi des expériences, documentation officielle (ouvre un nouvel onglet)
- Google Ads, expériences Performance Max et mesure de l’incrémentalité (ouvre un nouvel onglet)
- Liu, Bettaney et Chamberlain, Designing Experiments to Measure Incrementality on Facebook, article complet, 2018 (ouvre un nouvel onglet)
- Callaway et Sant’Anna, Difference-in-Differences with Multiple Time Periods, article complet (ouvre un nouvel onglet)
- Abadie, Using Synthetic Controls: Feasibility, Data Requirements, and Methodological Aspects, article complet (ouvre un nouvel onglet)