Compatibilité d’estimand
Un test mesure souvent une variation locale et marginale tandis que le MMM estime un rendement moyen historique. Dépense, période, population, résultat et transformation doivent être rapprochés.
Analyse expert · Révisée le 22.08.2026
Calibration MMM : rapprocher le modèle d’une expérience pertinente.
DÉCISION SOUTENUEUtiliser une expérience pour resserrer ou déplacer l’estimation MMM seulement lorsque les estimands sont alignés et que l’incertitude de transport est explicitement ajoutée.
Preuves directement vérifiables
Sources primaires pour contrôler les affirmations clés.
- Meridian, configuration et calibration du modèle (ouvre un nouvel onglet)
Priors, périodes de calibration et spécification du modèle.
Ce qu’il faut distinguer
Trois conditions avant tout calcul.
Incertitude conservée
Le test possède erreur d’échantillonnage, contamination et transport. La calibration doit pondérer sa précision et ajouter l’incertitude d’extrapolation, pas imposer une constante.
Validation hors calibration
Une expérience utilisée pour calibrer ne peut pas servir seule à valider le modèle. Conserver des périodes, zones ou tests séparés pour vérifier la généralisation.
Méthode
Calibrer un coefficient MMM sans effacer les différences
- 01Écrire les deux estimands
Documenter traitement, contrefactuel, population, résultat, horizon et échelle du MMM et de l’expérience. Refuser la calibration si l’écart ne peut être corrigé.
- 02Transformer l’échelle
Convertir l’effet expérimental dans la variable et la transformation du modèle : ventes incrémentales, iROAS, élasticité ou coefficient de réponse.
- 03Combiner les précisions
Utiliser une vraisemblance, un prior informatif ou une pénalité dont la force reflète variance expérimentale et transportabilité. Publier le modèle non calibré.
- 04Tester la propagation
Vérifier prédiction, résidus, contributions, courbes de réponse et allocation. Une bonne calibration locale ne doit pas dégrader d’autres canaux ou périodes.
ÉLÉMENT ORIGINAL
Avant, expérience, après : l’intervalle calibré
L’estimation observationnelle large est rapprochée d’un test plus précis. Le résultat postérieur conserve une incertitude au lieu de copier le chiffre expérimental.
0,51,52,53,5 iROAS
MMM avant
2,4 [1,2–3,8]
Expérience
1,3 [0,81–1,79]
MMM calibré
1,44 [0,98–1,9]
Le test resserre l’estimation sans remplacer le modèle : écart-type postérieur 0,23.
JSONTélécharger le calcul de calibration↓EXEMPLE ILLUSTRATIF · DONNÉES SIMULÉES
L’iROAS passe de 2,40 à 1,44 sans être forcé à 1,30
Le MMM non calibré estime 2,40 avec un écart-type de 0,65. Une expérience compatible estime 1,30 avec 0,25, transport inclus. Les deux estimations sont traitées comme normales et indépendantes.
Précisions : 1 ÷ 0,65² = 2,37 et 1 ÷ 0,25² = 16. Moyenne combinée = (2,40 × 2,37 + 1,30 × 16) ÷ 18,37 = 1,44. Écart-type postérieur = √(1 ÷ 18,37) = 0,23.
Le test domine sans effacer complètement l’information historique. L’allocation est recalculée sur 1,44 avec un intervalle approximatif de 0,98 à 1,90.
Conditions d’acceptation
Ce qui doit être vrai pour agir.
- 01
Les estimands du test et du MMM sont comparés ligne par ligne.
- 02
L’incertitude de transport est ajoutée à l’erreur expérimentale.
- 03
Le modèle non calibré reste publié comme point de comparaison.
- 04
Prédiction, contributions et allocation sont revalidées après calibration.
Limites
Ce que cette analyse ne prouve pas.
- Une expérience locale peut mal représenter la saturation nationale.
- Des tests sélectionnés parce qu’ils sont favorables créent un biais de calibration.
- L’indépendance entre expérience et données MMM peut être imparfaite.
Références
Travaux mobilisés.
- Chan, D. & Perry, M. (2017), « Challenges and Opportunities in Media Mix Modeling ».
- Vaver, J. & Koehler, J. (2011), « Measuring Ad Effectiveness Using Geo Experiments ».
- Sun, Y. et al. (2017), « Geo-Level Bayesian Hierarchical Media Mix Modeling ».