Prédiction hors échantillon
Réserver une période ou utiliser une validation temporelle roulante. Un ajustement in-sample élevé peut simplement reproduire saisonnalité et tendance.
Analyse expert · Révisée le 22.08.2026
Valider un MMM : préférer un modèle utilisable à une prévision séduisante.
DÉCISION SOUTENUEAccepter, restreindre ou rejeter un modèle selon cinq familles de diagnostics, avec des seuils bloquants avant toute allocation.
Statut pédagogique
Niveau pédagogique documenté
Méthode et sources vérifiées ; résultats empiriques de la source non reproduits. Cette page n’établit ni performance observée, ni effet causal démontré, ni validation scientifique complète.
- Affirmations couvertes
- Partiel · 2 affirmations reliées à une source.
- Reproduction de la source
- Partielle · les résultats empiriques ne sont pas reproduits.
- Artefacts contrôlés
- 6 vérifiés · 1 runtime indisponible.
Preuves directement vérifiables
Sources primaires pour contrôler les affirmations clés.
- Meridian, diagnostics du modèle (ouvre un nouvel onglet)
Convergence, ajustement, validation et limites des métriques prédictives.
- Meridian, évaluer l’ajustement et les résultats (ouvre un nouvel onglet)
Séparation entre ajustement prédictif et validité causale.
Ce qu’il faut distinguer
Trois conditions avant tout calcul.
Plausibilité structurelle
Examiner signes, délais, saturation, décomposition et contribution. Un excellent MAPE n’autorise pas un effet média négatif inexplicable ou une courbe qui croît sans limite.
Validation décisionnelle
Tester si le classement des scénarios reste stable lorsque priors, fenêtres, variables de contrôle et périodes changent raisonnablement.
Méthode
Organiser la validation comme une suite de portes
- 01Contrôler les données
Vérifier définitions, variation, ruptures, jointures, coûts, calendriers et couverture avant d’interpréter les coefficients.
- 02Tester la généralisation
Mesurer erreur, biais et couverture des intervalles sur des semaines que le modèle n’a pas utilisées.
- 03Falsifier les mécanismes
Introduire placebo temporel, retirer des périodes, modifier les fenêtres d’adstock et rechercher les changements de signe ou de rang.
- 04Calibrer et borner l’usage
Comparer aux expériences et déclarer les décisions autorisées, les canaux trop incertains et la plage de dépense observée.
ÉLÉMENT ORIGINAL
Deux modèles, une seule validation défendable
Le modèle A prédit légèrement mieux mais échoue sur signes, stabilité et calibration. Le modèle B est moins spectaculaire et plus utilisable.
MODÈLE APrévision séduisanteRejeté pour l’allocation
MODÈLE BDécision plus stableAccepté avec limites
| Diagnostic | Seuil | Modèle A | Modèle B |
|---|---|---|---|
| MAPE hors échantillon | < 10 % | 5,9 % | 6,8 % |
| Couverture intervalle 80 % | 70–90 % | 58,3 % | 91,7 % |
| Signes plausibles | 100 % | 80 % | 100 % |
| Variation entre spécifications | < 25 % | 48 % | 14 % |
| Écart à la calibration | < 20 % | 45 % | 9 % |
| Classement d’allocation stable | > 75 % | 54 % | 83 % |
EXEMPLE ILLUSTRATIF · DONNÉES SIMULÉES
Choisir 6,8 % d’erreur plutôt que 5,9 %
Le modèle A obtient 5,9 % de MAPE, mais attribue un effet négatif au search de marque, varie de 48 % selon la fenêtre et surestime un test géographique de 45 %. Le modèle B obtient 6,8 % de MAPE, signes plausibles, variation de 14 % et écart de calibration de 9 %.
Le gain prédictif de A est de 0,9 point, mais trois diagnostics décisionnels dépassent les seuils bloquants. B couvre 11 semaines sur 12 dans son intervalle à 80 % et conserve le même classement d’allocation dans 83 % des variantes.
Retenir B pour la planification sous contraintes et réserver A à une investigation de spécification, sans l’utiliser pour déplacer le budget.
Conditions d’acceptation
Ce qui doit être vrai pour agir.
- 01
Une période non utilisée mesure erreur, biais et couverture.
- 02
Signes, délais et saturation sont plausibles ou explicitement expliqués.
- 03
Les résultats sont stables à plusieurs spécifications raisonnables.
- 04
La calibration expérimentale et la plage d’usage sont publiées.
Limites
Ce que cette analyse ne prouve pas.
- Un bon résultat hors échantillon ne garantit pas l’identification causale des contributions.
- Les canaux peu variables ou toujours activés restent difficiles à séparer.
- La calibration ne corrige pas automatiquement une mauvaise structure de données.
Références
Travaux mobilisés.
- Jin, Y. et al. (2017), « Bayesian Methods for Media Mix Modeling with Carryover and Shape Effects ».
- Chan, D. & Perry, M. (2017), « Challenges and Opportunities in Media Mix Modeling ».
- Gelman, A. et al. (2013), Bayesian Data Analysis.