Confounders made simple

ABSTRACT: Non tutte le covariate delle variabili di trattamento e di esito in uno studio osservazionale dovrebbero essere regolate per. Per impostazione predefinita, si dovrebbe dubitare degli studi che si adattano ciecamente a molti confonditori senza giustificare la loro scelta per motivi causali.

DISCLAIMER: la mia conoscenza dell’inferenza causale è abbastanza limitata da poter dire cose molto sbagliate. Raggiungimi su Twitter @ jsevillamol se trovi un errore!

Supponiamo di voler determinare l’effetto causale di un trattamento su un risultato. Il primo ordine del giorno è determinare se esiste una correlazione statistica tra di loro.

Anche se ancora impegnativo, abbiamo buoni strumenti statistici per determinare reti di associazione statistica tra insiemi complessi di variabili.

Tuttavia, la correlazione non è causalità — una correlazione potrebbe essere causata da un confondente, un antecedente causale sia del trattamento che dell’esito.

Ad esempio, il trattamento potrebbe essere il fumo, il risultato potrebbe essere una malattia respiratoria e un confondente plausibile è l’età; le persone più anziane fumano più spesso E sono più inclini alle malattie respiratorie.

Siamo in grado di illustrare questa situazione con un diagramma causale:

diciamo che non c’è una sbloccato backdoor percorso dal trattamento per l’esito via dell’età, ie fumatori <= età => malattie respiratorie.

Idealmente vorremmo eseguire uno studio controllato randomizzato (RCT) che assegna casualmente il trattamento in modo da poter deviare il percorso backdoor.

Ma questo non è sempre possibile; ad esempio, il trattamento potrebbe non essere etico, o potremmo voler trarre conclusioni dai dati storici. Cosa dovremmo fare in quelle situazioni?

Come non regolare per i confonditori

Un modo alternativo di bloccare l’influenza spuria del confonditore sta regolando attraverso ad esempio la stratificazione. Nell’esempio del fumo, potremmo dividere i nostri dati in giovani e anziani, studiare la correlazione tra fumo e malattia in ciascun gruppo e quindi riportare la correlazione ponderata come stima dell’effetto causale.

Ciò funzionerebbe bene se fossimo sicuri che la covariata sia effettivamente un confondente, o un antenato causale sia del trattamento che del risultato — poiché all’interno di ogni gruppo studiato la variabile confondente è fissa, non può più mediare un’influenza spuria sul trattamento e sull’esito, e saremo in grado di fare affermazioni sul vero effetto causale del trattamento.

Quindi ogni volta che i ricercatori identificano una variabile correlata sia al trattamento che all’esito, tendono ad adattarsi per questo.

Ma questa non è l’unica possibile relazione causale tra le tre variabili!

Possibili relazioni causali tra il trattamento X, risultato Y e covariata Z

potrebbe accadere che la covariata media l’interazione tra il trattamento e l’esito. Cioè, X = > Z e Z = > Y.

Ad esempio, potremmo studiare l’effetto delle colture OGM sulla salute dei consumatori e scopriamo che gli OGM hanno meno probabilità di essere infettati da un agente patogeno. In tal caso, la presenza di un agente patogeno sarebbe un mediatore tra gli OGM e la salute dei consumatori.

Si noti che il mediatore non deve essere l’unico meccanismo che spiega l’effetto — l’OGM potrebbe anche modificare il profilo dietetico della coltura indipendentemente dall’effetto che ha sui patogeni.

In questo caso, la regolazione per la covariata Z ridurrà l’effetto apparente del trattamento X sull’esito Y, e il nostro rapporto sarà fuorviante (a meno che non stessimo cercando specificamente di misurare isolatamente la parte dell’effetto del trattamento non mediata dalla covariata).

La terza possibilità è che la covariata sia un collisore di trattamento e risultato. Cioè, sia X che Y causano Z. Ad esempio, potremmo avere che sia i ricercatori di intelligenza artificiale che gli affiliati di scacchi amano leggere gli sviluppi sul gioco automatico degli scacchi.

La regolazione per un collisore aumenterà la forza apparente dell’effetto del trattamento nel risultato.

Nell’esempio precedente, se abbiamo esaminato le persone che hanno letto un articolo di gioco automatico degli scacchi, potremmo scoprire che gli affizionati degli scacchi hanno meno probabilità di essere ricercatori di IA e viceversa — ma questo non sarebbe sorprendente, dal momento che stiamo filtrando dalla nostra demografia del sondaggio le persone che non sono né ricercatori di IA né

Quindi attenzione regolazione per mediatori e collider!

Ora, come distinguiamo tra i casi in cui una covariata è un confonditore dai casi dai casi in cui è un mediatore o un collisore?

Risposta breve: non possiamo, almeno non solo osservando i dati. Dobbiamo fare affidamento sulla conoscenza specifica del dominio delle relazioni causali sottostanti.

Quando sono coinvolte più covariate, la storia diventa più complicata. Dovremmo mappare l’intero grafico causale tra tutte le covariate, il trattamento e il risultato, e giustificare la nostra mappatura causale su basi scientifiche.

Quindi possiamo usare le regole del do-calculus e principi come il criterio backdoor per trovare un insieme di covariate da regolare per bloccare la correlazione spuria tra trattamento e risultato in modo da poter stimare il vero effetto causale.

In generale, mi aspetterei che più variabili si adattano a uno studio, più è probabile che stiano introducendo una correlazione spuria tramite un collisore o bloccando un percorso di mediazione.

Il problema dei gradi di libertà

Una forte ragione separata per cui dovremmo dubitare degli studi che si adattano a molte variabili in modo senza principi è l’aggiunta di gradi di libertà su come eseguire lo studio.

Se si misura una relazione tra due variabili in 1000 modi diversi e si sceglie quella che mostra la maggiore correlazione, è probabile che si sopravvaluti l’efficacia del trattamento.

Avere un insieme maggiore di covariabili consente di regolare per qualsiasi sottoinsieme desiderato. Ad esempio, se si ha accesso a 10 covariate è possibile regolare per uno qualsiasi dei sottoinsiemi 2^10 ≈ 1000 possibili.

Non deve essere che un singolo gruppo di ricerca stia sistematicamente provando tutti i possibili sottoinsiemi di regolazione e scegliendo quello migliore (anche se in particolare alcuni metodi statistici stanno facendo qualcosa di abbastanza simile a questo — ad esempio stepwise o best subset methods of variable selection). Potrebbe essere che diversi ricercatori stanno cercando sottoinsiemi diversi, e il meccanismo che combina i loro risultati è di parte.

Ad esempio, 100 gruppi di ricerca potrebbero provare 100 sottoinsiemi diversi. 95 di loro identificano correttamente che non vi è alcun effetto, ma a causa del bias della pubblicazione non rendono ampiamente disponibili i loro risultati, mentre i 5 gruppi che hanno erroneamente identificato un forte effetto sono gli unici che vengono pubblicati, creando l’impressione che tutti gli studi eseguiti abbiano trovato un forte effetto dove in realtà non ce n’è.

In sintesi, quando non si precommette di seguire un modo di principio di eseguire l’aggiustamento nel proprio studio, è più probabile che si introduca un pregiudizio nei risultati.

Una parola di cautela: hai ancora bisogno di buoni controlli

In questo articolo ci stiamo concentrando sul problema di scegliere troppi controlli inadatti perché questa è un’intuizione che vedo più persone mancano, anche tra coloro che altrimenti conoscono le statistiche applicate.

Tuttavia essere consapevoli che si può fare l’errore opposto — si può non regolare per confondenti rilevanti — e finiscono per concludere che il consumo di cioccolato provoca premi nobel.

Specialmente con le osservazioni su fenomeni complessi, solo la regolazione per alcune cose garantisce virtualmente che stai omettendo le cose per cui dovresti aggiustare — e potresti essere sopra o sottovalutare l’effetto.

Una sfida correlata va sotto il titolo di “confusione residua”. Anche se si identifica un confondente e regolare per esso, sarà ancora influenzare i risultati commisurati alla precisione con cui è possibile misurare — naturalmente misuriamo la maggior parte delle cose in modo impreciso o per delega.

Quindi ricapitolare in una frase: il controllo dei confonditori è fondamentale se si desidera dedurre effetti causali dai dati osservazionali.

Quindi cosa dovremmo fare?

Come cartina di tornasole, essere più dubbiosi degli studi osservazionali che si adattano alle variabili senza giustificare la loro scelta di aggiustamento per motivi causali.

Tuttavia, alcuni studi non fanno il lavoro necessario per giustificare la loro scelta di confonditori, il che ci lascia in una posizione molto peggiore per estrarre dati affidabili dal loro lavoro. Cosa possiamo fare in questi casi?

Prima di tutto, possiamo esaminare ciascuno dei confonditori scelti in isolamento e pensare a come si comportano causalmente in relazione al trattamento e al risultato.

Ad esempio, supponiamo che stiamo rivedendo uno studio sugli effetti del Trattato di non proliferazione (X) sul livello degli investimenti in armi nucleari (Y) e ci chiediamo se avrebbero dovuto adeguarsi al PIL (Z).

Bene, potrebbe essere il caso che i paesi con un PIL più alto siano anche più influenti e abbiano modellato il trattato per essere vantaggioso per loro, quindi Z => X. E i paesi con un PIL più alto possono investire di più nelle armi nucleari, quindi Z => Y. In questo caso il PIL sarebbe un confuso, e dovremmo adeguarci.

Ma potremmo raccontare una storia altrettanto avvincente sostenendo che i paesi che firmano il trattato sono probabilmente percepiti come più cooperativi e ottengono migliori accordi commerciali, quindi X => Z. E i paesi che investono di più sulle armi nucleari hanno una maggiore sicurezza in modo da attirare più investitori, quindi Y = > Z. Secondo questa interpretazione il PIL è un collisore, e non dovremmo adeguarci.

Oppure potremmo combinare i due scenari precedenti per sostenere che X=>Z e Z= >Y, quindi il PIL sarebbe un collisore e non dovremmo adeguarci neanche per questo.

In assenza di un motivo valido per rifiutare le spiegazioni alternative, non dovremmo adeguarci al PIL.

Tuttavia immagina che lo studio si stia adeguando invece alla partecipazione ad altri accordi nucleari. Sembra inventato sostenere che la partecipazione ad altri trattati ha causato la partecipazione al TNP; entrambi sembrano essere causati più direttamente dalla predisposizione generale del paese a firmare trattati nucleari.

In questo caso, la “predisposizione verso i trattati” è una fonte di confusione per l’effetto del TNP sugli investimenti nucleari, ma non possiamo osservarlo direttamente. Tuttavia, possiamo bloccare la sua influenza spuria adattandosi a “Altri trattati nucleari” secondo il criterio backdoor.

Cosa succede se lo studio si sta adeguando sia per la GPD che per la partecipazione ad altri trattati nucleari?

Per impostazione predefinita dovremmo dubitare della validità causale della loro conclusione.

Possiamo utilizzare queste informazioni per fare alcune previsioni (ad esempio, potremmo utilizzare i risultati dello studio di cui sopra a indovinare se uno stato che stava per firmare il trattato comunque di andare a ridurre i loro investimenti in arsenale nucleare) ma non si possono fare raccomandazioni di trattamento (per esempio, non possiamo affermare che l’attività di lobbying uno stato attore in accettare il TNP è un modo efficace per ottenere loro di ridurre il loro arsenale).

Se vogliamo provare a salvare i loro risultati possiamo provare a costruire un diagramma causale di variabili rilevanti e considerare se la loro scelta di confondenti soddisfa i criteri pertinenti.

Se le variabili di regolazione che hanno scelto non bloccano correttamente gli effetti spuri o introducono nuovi effetti tramite collider, e abbiamo accesso ai dati, potremmo provare a rieseguire lo studio con una migliore scelta di variabili di regolazione.

Ma ovviamente potremmo ancora identificare i principali confonditori che gli autori non hanno incluso nel set di dati. In tal caso, suggerisco di prestare attenzione alle parole di John Tukey:

“La combinazione di alcuni dati e un desiderio doloroso di una risposta non garantisce che una risposta ragionevole possa essere estratta da un dato corpo di dati.”

Conclusioni

In questo post abbiamo spiegato i tre tipi di relazioni causali tra una coppia covariata e una coppia treatment-outcome: confonditori, mediatori e collider. Abbiamo visto che per dedurre gli effetti causali dovremmo adattarci ai confonditori, ma non ai mediatori o ai collider.

Abbiamo sostenuto che più variabili uno studio osservazionale si adatta, più è probabile che abbiano commesso un errore causale o che i gradi aggiuntivi di libertà e bias di pubblicazione esagerino l’effetto riportato.

Abbiamo anche messo in guardia il lettore dal commettere l’errore opposto: regolare i confonditori in modo di principio è essenziale per trasformare i dati osservativi in informazioni causali.

Come modo di estrarre dati da studi precedenti, abbiamo suggerito di esaminare criticamente la loro scelta di covariate di aggiustamento in base a criteri causali. Se si adeguano alle variabili non necessarie, abbiamo suggerito di rieseguire l’analisi se i dati sono disponibili, mentre se manca un confonditore chiave nei dati, dovremmo solo accettare che a volte non abbiamo abbastanza informazioni per rispondere correttamente alle domande che ci interessano.