Causalità nel marketing: identificare il percorso che fabbrica una falsa performance.
Prove direttamente verificabili
Fonti primarie per verificare le affermazioni chiave.
- Holland (1986), Statistics and Causal Inference (si apre in una nuova scheda)
Definizione del problema causale e del controfattuale.
Stato della prova
Che cosa non è stato riprodotto.
L'addestramento della fonte è stato rifatto e riproduce le sue misure di prestazione predittiva (R² di holdout di 0,843). Il grafo delle relazioni fra canali, invece, non ne emerge: torna indifferenziato, mentre l'articolo ne presenta uno i cui collegamenti suggerirebbero percorsi causali plausibili. Questo dossier non convalida dunque alcuna conclusione causale, e questa misura sostiene con una cifra ciò che la pagina afferma: prevedere bene non significa aver stabilito una struttura.
Cosa occorre distinguere
Tre condizioni prima di ogni calcolo.
Estimando esplicito
Effetto medio, effetto sui trattati, effetto di una tranche di budget o effetto di lungo periodo non sono la stessa quantità. Il disegno non può essere scelto prima di aver definito popolazione, azione e orizzonte.
Percorsi aperti
Una variabile comune all’azione e al risultato crea un percorso non causale. Controllarla può aiutare, ma controllare un mediatore o un collider può anche introdurre un nuovo bias.
Disegno prima del modello
Randomizzazione, una regola di eleggibilità o una variazione geografica o temporale credibile creano il confronto. Un modello più complesso non ripara automaticamente l’assenza di controfattuale.
Metodo
Costruire un’affermazione causale proporzionata all’evidenza
- 01Definire l’intervento
Precisare chi riceve che cosa, quando, a quale dose e rispetto a quale assenza di azione; una campagna composita va scomposta se i suoi elementi possono variare.
- 02Disegnare le cause
Mappare variabili precedenti, criteri di targeting, domanda latente, concorrenza, mediatori e risultato; il grafo serve a decidere che cosa misurare e che cosa non controllare.
- 03Scegliere la variazione
Privilegiare la randomizzazione; in mancanza, documentare l’ipotesi che rende credibilmente quasi sperimentale una variazione e cercare test placebo o pre-tendenze.
- 04Delimitare l’uso
Riportare intervallo, sensibilità ai confondenti e popolazione coperta; un’evidenza locale non deve essere trasformata in un rendimento universale.
La mappa dei percorsi di bias
Il grafo separa effetto cercato, causalità inversa, selezione e variabili comuni. Ogni percorso richiede un disegno o una diagnosi diversi.
Un rendimento apparente di 18 € scende a 7 € dopo l’identificazione
Una regressione storica attribuisce 18 € di vendite a ogni mille euro di media. I budget però vengono aumentati prima delle settimane di forte domanda e durante le promozioni.
La scomposizione stima 6 € di bias legato alla domanda prevista, 3 € alle promozioni e 2 € alla stagione, cioè 11 €. Un test geografico comparabile misura un effetto di 7 €, coerente con 18 − 11.
L’effetto causale utilizzabile è di 7 € nel perimetro del test. Il rendimento di 18 € resta un’associazione descrittiva e non deve guidare l’allocazione.
Condizioni di accettazione
Le condizioni per agire.
- 01
Popolazione, intervento, confronto, risultato e orizzonte sono definiti.
- 02
Le cause comuni dell’azione e del risultato sono mappate.
- 03
Il disegno crea una variazione indipendente o difende un’ipotesi testabile.
- 04
L’affermazione finale resta limitata alla popolazione e all’intervallo osservati.
Limiti
Ciò che questa analisi non dimostra.
- Un grafo causale formalizza le ipotesi; non le rende vere.
- Gli effetti possono variare per segmento, dose, periodo e interazione con altre leve.
- Le analisi di sensibilità riducono l’eccesso di fiducia ma non rivelano un confondente non misurato.
Riferimenti
Opere citate.
- Pearl, J. (2009), Causality: Models, Reasoning, and Inference.
- Hernán, M. A. & Robins, J. M. (2020), Causal Inference: What If.
- Shadish, W. R., Cook, T. D. & Campbell, D. T. (2002), Experimental and Quasi-Experimental Designs.