Objet estimé
Un ROAS attribué, un lift expérimental et une contribution MMM ne désignent pas la même quantité. Le numérateur, le dénominateur, la fenêtre, la population et le contrefactuel sont écrits avant de comparer les résultats.
Analyse expert · Révisée le 22.08.2026
Ce qu’il faut distinguer
Un ROAS attribué, un lift expérimental et une contribution MMM ne désignent pas la même quantité. Le numérateur, le dénominateur, la fenêtre, la population et le contrefactuel sont écrits avant de comparer les résultats.
Un intervalle étroit autour d’un estimateur biaisé ne constitue pas une preuve forte. Randomisation, discontinuité, variation exogène ou hypothèses de contrôle définissent ce qui est identifiable ; la taille d’échantillon détermine ensuite la précision.
Une méthode peut être excellente pour détecter une anomalie et inadéquate pour allouer un budget annuel. La fréquence, la granularité et le domaine de transport doivent correspondre au rythme et au périmètre de la décision.
Méthode
Spécifier traitement, résultat, unité, population, comparateur et horizon. Par exemple : effet moyen incrémental d’une campagne vidéo nationale sur les ventes nettes hebdomadaires pendant huit semaines chez les foyers éligibles.
Lister sélection, ciblage, saisonnalité, anticipation, interférence, mesure incomplète et changement de composition. Évaluer ceux que le design supprime, réduit ou laisse intacts.
Évaluer coût, délai, puissance, granularité et fréquence de répétition. Une expérience trop petite peut être moins utile qu’une quasi-expérience robuste ; un MMM peut éclairer le portefeuille mais pas une création précise.
Associer une méthode principale et une preuve de calibration. Définir à l’avance comment traiter une divergence : revoir le périmètre, les hypothèses, le transport ou le calendrier, sans moyenner automatiquement.
Six méthodes sont comparées sur le contrefactuel, le grain, l’horizon, le biais dominant et la décision qu’elles peuvent réellement soutenir.
| Méthode | Objet estimé | Contrefactuel | Décision | Identification |
|---|---|---|---|---|
| Attribution | Répartition | Règle | Exécution | faible |
| Test A/B | Effet moyen | Randomisation | Produit / prix | fort |
| Géo-test | Effet agrégé | Zones contrôle | Média | fort |
| Quasi-exp. | Effet local | Variation exogène | Politique | moyen |
| MMM | Contribution | Modèle conditionnel | Portefeuille | moyen |
| Enquête | Déclaration | Réponse | Diagnostic | faible |
Une campagne de recherche affiche un ROAS attribué de 6,2. Un test de pause sur des zones comparables estime un ROAS incrémental de 1,8 ± 0,6. Le MMM annuel attribue au canal un ROAS de 2,4 ± 0,9, incluant une partie des effets différés.
L’attribution répartit 620 k€ de ventes observées pour 100 k€ de dépense. Le test estime 180 k€ de ventes qui n’auraient pas eu lieu, avec un intervalle de 120 à 240 k€. Le MMM estime 240 k€ sur un horizon plus long, mais confond partiellement recherche de marque et activité vidéo. À 35 % de marge, la contribution incrémentale centrale du test est 63 k€, soit 0,63 € par euro dépensé.
Le ROAS 6,2 reste utile pour piloter les requêtes et la qualité du trafic ; il ne justifie pas l’incrément de budget. Le test soutient la décision marginale immédiate et le MMM éclaire l’équilibre annuel. La divergence devient une hypothèse de synergie à tester.
Conditions d’acceptation
L’estimand est formulé avant le choix de la méthode.
Le biais dominant et le contrefactuel sont publiés avec le résultat.
La décision reste dans le domaine observé ou justifie son transport.
Une divergence entre méthodes déclenche un diagnostic, jamais une moyenne automatique.
Limites
Références