Confounders made simple

sammanfattning: inte alla kovariater av behandlings-och resultatvariabler i en observationsstudie bör justeras för. Som standard bör man tvivla på studier som blint anpassar sig för många confounders utan att motivera sitt val av orsakssamband.

DISCLAIMER: min kunskap om kausal inferens är begränsad nog att jag skulle kunna säga saker som är mycket fel. Nå ut till mig på twitter @jsevillamol om du hittar ett misstag!

Antag att du vill bestämma orsakseffekten av en behandling på ett resultat. Första arbetsplanen är att avgöra om det finns en statistisk korrelation mellan dem.

om än fortfarande utmanande, har vi bra statistiska verktyg för att bestämma nätverk av statistisk koppling mellan komplexa uppsättningar variabler.

korrelation är dock inte orsakssamband — en korrelation kan orsakas av en confounder, ett orsakssamband för både behandling och resultat.

till exempel kan behandlingen vara rökning, resultatet kan vara andningssjukdom och en trolig förvirring är ålder; människor som är äldre röker oftare och är mer benägna att drabbas av andningssjukdomar.

vi kan illustrera denna situation med ett kausaldiagram:

vi säger att det finns en oblockad bakdörrväg från behandlingen till resultatet via ålder, dvs rökning <= ålder => andningssjukdom.

helst skulle vi vilja köra en randomiserad kontrollerad studie (RCT) som slumpmässigt tilldelar behandlingen så att vi kan avleda bakdörrvägen.

men detta är inte alltid möjligt; till exempel kan behandlingen vara oetisk, eller vi kanske vill dra slutsatser från historiska data. Vad ska vi göra i dessa situationer?

hur man inte justerar för confounders

ett alternativt sätt att blockera den falska påverkan av confounder justerar genom exempelvis stratifiering. I rökningsexemplet kan vi dela upp våra data hos ungdomar och olduns, studera korrelationen mellan rökning och sjukdom i varje grupp och sedan rapportera den viktade korrelationen som en uppskattning av orsakseffekten.

detta skulle fungera bra om vi är övertygade om att kovariatet verkligen är en confounder eller kausal förfader till både behandlingen och resultatet — eftersom inom varje studerad grupp är confounder-variabeln fixerad, kan den inte längre förmedla ett falskt inflytande på behandlingen och resultatet, och vi kommer att kunna göra påståenden om den verkliga kausala effekten av behandlingen.

så när forskare identifierar en variabel som korrelerar med både behandling och resultat, tenderar de att anpassa sig till det.

men det är inte det enda möjliga orsakssambandet mellan de tre variablerna!

möjliga orsakssamband mellan behandling X, utfall Y och kovariat Z

det kan hända att kovariatet förmedlar interaktionen mellan behandling och resultat. Det vill säga X = > Z och Z = > Y.

till exempel kan vi studera effekten av GMO-grödor på konsumenternas hälsa, och vi får reda på att GMO är mindre benägna att smittas med en patogen. I så fall skulle närvaron av en patogen vara en medlare mellan GMO och konsumenthälsa.

Observera att medlaren inte behöver vara den enda mekanismen som förklarar effekten — GMO kan också ändra grödans kostprofil oberoende av effekten på patogener.

i detta fall kommer justering för kovariat Z att minska den uppenbara effekten av behandlingen X på resultatet Y, och vår rapport kommer att vara vilseledande (såvida vi inte specifikt försökte mäta isolerat den del av behandlingens effekt som inte förmedlas av kovariatet).

den tredje möjligheten är att kovariatet är en collider av behandling och resultat. Det vill säga både X och Y orsakar Z. till exempel kan vi ha att både artificiella intelligensforskare och schackaffitionater gillar att läsa utvecklingen på automatiserad schackspel.

justering för en collider ökar den uppenbara styrkan av effekten av behandlingen i resultatet.

i det föregående exemplet, om vi undersökte de personer som har läst en automatisk schackspelartikel, kan vi finna att schackaffitionater är mindre benägna att vara AI — forskare och vice vice-men det skulle inte vara förvånande, eftersom vi filtrerar bort från vår undersökning demografi de människor som varken är AI-forskare eller schackaffitionaties.

så akta justering för medlare och kolliderare!

nu, hur skiljer vi mellan de fall där en kovariat är en confounder från fallen från de fall där det är en medlare eller collider?

kort svar: vi kan inte, åtminstone inte bara från att observera data. Vi måste förlita oss på domänspecifik kunskap om de underliggande orsakssambanden.

när flera kovariater är inblandade blir historien mer komplicerad. Vi skulle behöva kartlägga hela kausalgrafen mellan alla kovariater, behandlingen och resultatet, och motivera vår kausala kartläggning av vetenskapliga skäl.

då kan vi använda reglerna för do-calculus och principer som bakdörrskriteriet för att hitta en uppsättning kovariater för att justera för att blockera den falska korrelationen mellan behandling och resultat så att vi kan uppskatta den verkliga kausala effekten.

i allmänhet förväntar jag mig att ju fler variabler En studie justerar för, desto mer sannolikt att de introducerar en falsk korrelation via en collider eller blockerar en medlingsväg.

problemet med frihetsgrader

en separat stark anledning till att vi borde tvivla på studier som anpassar sig för många variabler på ett obestridligt sätt är tillägget av frihetsgrader om hur man utför studien.

om du mäter en relation mellan två variabler på 1000 olika sätt och väljer den som visar störst korrelation, kommer du sannolikt att överskatta effektiviteten av behandlingen.

med en större uppsättning covariables kan du justera för vilken delmängd du vill. Om du till exempel har tillgång till 10 kovariater kan du justera för någon av 2^10 1000 möjliga delmängder.

det behöver inte vara att en enda forskargrupp systematiskt försöker alla möjliga justera delmängder och välja den bästa (även om vissa statistiska metoder gör något som liknar detta — t.ex. stegvis eller bästa delmängdsmetoder för variabelval). Det kan vara så att olika forskare försöker olika delmängder, och mekanismen som kombinerar deras resultat är partisk.

till exempel kan 100 forskargrupper prova 100 olika delmängder. 95 av dem identifierar korrekt att det inte finns någon effekt, men på grund av publiceringsförspänning gör de inte sina resultat allmänt tillgängliga, medan de 5 grupperna som felaktigt identifierade en stark effekt ärDen enda som publiceras, vilket ger intrycket att alla studier som utförts fann en stark effekt där det faktiskt inte finns någon.

Sammanfattningsvis, när du inte förpliktar dig att följa ett principiellt sätt att utföra justering i din studie, är du mer benägna att införa en bias i dina resultat.

ett varningens ord: du behöver fortfarande bra kontroller

i den här artikeln fokuserar vi på problemet med att välja för många, olämpliga kontroller eftersom det är en intuition som jag ser att fler människor saknar, även bland de som annars är kunniga om tillämpad statistik.

var dock uppmärksam på att du kan göra det motsatta misstaget — du kan misslyckas med att justera för relevanta confounders — och sluta sluta att chokladkonsumtion orsakar Nobelpriser.

speciellt med observationer om komplexa fenomen, bara justering för några saker garanterar nästan att du utelämnar saker du borde justera för — och du kan antingen vara över eller underskatta effekten.

en relaterad utmaning går under rubriken ‘Rest confounding’. Även om du identifierar en confounder och justerar för det, kommer det fortfarande att påverka resultaten i proportion till hur exakt du kan mäta det — naturligtvis mäter vi de flesta saker felaktigt eller genom ombud.

så att sammanfatta i en mening: att kontrollera för confounders är nyckeln om du vill härleda kausala effekter från observationsdata.

så vad ska vi göra?

som ett lakmustest, var mer tveksamt om observationsstudier som anpassar sig för variabler utan att motivera deras val av justering av orsakssamband.

vissa studier gör emellertid inte det nödvändiga arbetet för att motivera sitt val av confounders, vilket lämnar oss i en mycket sämre position för att extrahera tillförlitliga data från deras arbete. Vad kan vi göra i dessa fall?

först och främst kan vi undersöka var och en av de valda förvirrarna isolerat och tänka på hur de kausalt beter sig i förhållande till behandlingen och resultatet.

Antag till exempel att vi granskar en studie av effekten av icke-spridningsfördraget (X) på investeringsnivån i kärnvapen (Y), och vi undrar om de borde ha justerat för BNP (Z).

Tja, det kan vara så att länder med högre BNP också är mer inflytelserika och formade fördraget för att vara till nytta för dem, så Z => X. Och länder med högre BNP kan investera mer i kärnvapen, så Z => Y. i detta fall skulle BNP vara en confounder, och vi borde anpassa oss för det.

men vi kan berätta en lika övertygande historia som hävdar att länder som undertecknar fördraget sannolikt kommer att uppfattas som mer samarbetsvilliga och få bättre handelsavtal, så X => Z. och länder som investerar mer på kärnvapen har bättre säkerhet så att de lockar fler investerare, så Y => Z. enligt denna tolkning är BNP en kolliderare, och vi bör inte anpassa oss till det.

eller vi kan kombinera de två tidigare scenarierna för att argumentera för att X=>Z och Z=> Y, så BNP skulle vara en kolliderare och vi borde inte justera för det heller.

i avsaknad av tvingande skäl att avvisa de alternativa förklaringarna bör vi inte justera för BNP.

föreställ dig dock att studien istället anpassar sig för deltagande i andra kärnkraftsavtal. Det verkar konstruerat att hävda att deltagande i andra fördrag orsakade deltagande i NPT; båda verkar vara mer direkt orsakade av landets allmänna benägenhet att underteckna kärnkraftsavtal.

i detta fall är “predisposition mot fördrag” en förvirring för NPT: s effekt på Kärnkraftsinvesteringar, men vi kan inte direkt observera det. Men vi kan blockera dess falska inflytande genom att justera för “andra kärnkraftsavtal” enligt bakdörrskriteriet.

vad händer om studien anpassar sig för både GPD och deltagande i andra kärnkraftsavtal?

som standard borde vi tvivla på orsakssambandet i deras slutsats.

vi kan använda denna information för att göra några förutsägelser (till exempel kan vi använda resultaten från studien ovan för att gissa om en stat som skulle underteckna fördraget ändå kommer att minska sina investeringar i kärnvapenarsenal) men vi kan inte göra behandlingsrekommendationer (till exempel kan vi inte hävda att lobbying av en statlig aktör för att acceptera NPT är ett effektivt sätt att få dem att minska deras arsenal).

om vi vill försöka rädda deras resultat kan vi försöka bygga ett kausaldiagram över relevanta variabler och överväga om deras val av confounders uppfyller relevanta kriterier.

om de justeringsvariabler de valde inte blockerar korrekt falska effekter eller introducerar nya effekter via kolliderare, och vi har tillgång till data, kanske vi vill försöka omköra studien med ett bättre val av justeringsvariabler.

men naturligtvis kan vi fortfarande identifiera viktiga confounders som författarna inte inkluderade i datamängden. I så fall föreslår jag att du uppmärksammar John Tukeys ord:

“kombinationen av vissa data och en värkande önskan om ett svar säkerställer inte att ett rimligt svar kan extraheras från en viss mängd data.”

slutsatser

i det här inlägget har vi förklarat de tre typerna av orsakssamband mellan ett kovariat och ett behandlingsresultat par: confounders, medlare och colliders. Vi har sett att för att härleda kausala effekter bör vi justera för confounders, men inte för medlare eller kolliderare.

vi har hävdat att ju fler variabler en observationsstudie justerar för, desto mer sannolikt kommer de att ha gjort ett orsaksfel eller att de ytterligare frihetsgraderna och publiceringsförspänningen överdriver den rapporterade effekten.

vi har också varnat läsaren för att göra det motsatta misstaget — justering för confounders på ett principiellt sätt är avgörande för att omvandla observationsdata till kausal information.

som ett sätt att extrahera data från tidigare studier har vi föreslagit att kritiskt undersöka deras val av justeringskovariater baserat på kausala kriterier. Om de anpassar sig för onödiga variabler har vi föreslagit att analysen ska köras om data är tillgängliga, medan om en nyckelförstörare saknas i data bör vi bara acceptera att vi ibland inte har tillräckligt med information för att svara ordentligt på de frågor vi bryr oss om.