Confounders made simple

abstrakt: ikke alle kovariater af behandlings-og resultatvariabler i en observationsundersøgelse bør justeres for. Som standard bør man tvivle på undersøgelser, der blindt justerer for mange confounders uden at retfærdiggøre deres valg af årsagsmæssige grunde.

ansvarsfraskrivelse: min viden om årsagssammenhæng er begrænset nok til, at jeg kunne sige ting, der er meget forkerte. Nå ud til mig på kvidre @jsevillamol hvis du finder en fejl!

Antag, at du vil bestemme årsagseffekten af en behandling på et resultat. Første forretningsorden er at afgøre, om der er en statistisk sammenhæng mellem dem.

selvom det stadig er udfordrende, har vi gode statistiske værktøjer til at bestemme netværk af statistisk sammenhæng mellem komplekse sæt variabler.

korrelation er dog ikke årsagssammenhæng — en korrelation kan være forårsaget af en konfunder, en årsagsforløb for både behandling og resultat.

for eksempel kan behandlingen være rygning, resultatet kan være respiratorisk sygdom, og en plausibel confounder er alder; folk, der er ældre, ryger oftere og er mere tilbøjelige til luftvejssygdomme.

vi kan illustrere denne situation med et årsagsdiagram:

vi siger, at der er en ublokeret bagdørsti fra behandlingen til resultatet via alder, dvs.rygning <= alder => respiratorisk sygdom.

ideelt set ønsker vi at køre et randomiseret kontrolleret forsøg (RCT), der tilfældigt tildeler behandlingen, så vi kan aflede bagdørstien.

men dette er ikke altid muligt; for eksempel kan behandlingen være uetisk, eller vi vil måske drage konklusioner fra Historiske data. Hvad skal vi gøre i disse situationer?

hvordan man ikke justerer for confounders

en alternativ måde at blokere confounderens falske indflydelse på er at justere gennem for eksempel stratificering. I rygeeksemplet kan vi opdele vores data hos unge og olduns, studere sammenhængen mellem rygning og sygdom i hver gruppe og derefter rapportere den vægtede korrelation som et skøn over årsagseffekten.

dette ville fungere godt, hvis vi er sikre på, at kovariatet faktisk er en forvirrer eller årsagsforfader til både behandlingen og resultatet — da inden for hver undersøgt gruppe er forvirringsvariablen fast, kan den ikke længere formidle en falsk indflydelse på behandlingen og resultatet, og vi vil være i stand til at fremsætte påstande om den sande årsagseffekt af behandlingen.

så når forskere identificerer en variabel, der korrelerer med både behandling og resultat, har de en tendens til at justere for det.

men det er ikke det eneste mulige årsagsforhold mellem de tre variabler!

mulige årsagssammenhænge Mellem Behandling

det kan ske, at kovariatet formidler interaktionen mellem behandling og resultat. Det vil sige > å OG Å = > Y.

for eksempel kunne vi studere virkningen af GMO-afgrøder på forbrugernes sundhed, og vi finder ud af, at GMO ‘ er er mindre tilbøjelige til at blive inficeret med et patogen. I så fald ville tilstedeværelsen af et patogen være en mægler mellem GMO ‘ erne og forbrugernes sundhed.

Bemærk, at mediatoren ikke behøver at være den eneste mekanisme, der forklarer effekten — GMO ‘ en kan også ændre afgrødens diætprofil uafhængigt af den virkning, den har på patogener.

i dette tilfælde vil justering for kovariatet reducere den tilsyneladende effekt af behandlingen på resultatet Y, og vores rapport vil være vildledende (medmindre vi specifikt forsøgte at måle isoleret den del af behandlingseffekten, der ikke medieres af kovariatet).

den tredje mulighed er, at kovariatet er en collider af behandling og resultat. For eksempel, vi kunne have, at både kunstig intelligens forskere og skak affitionates gerne læse udviklingen på automatiseret skak spiller.

justering for en collider vil øge den tilsyneladende styrke af effekten af behandlingen i resultatet.

i det foregående eksempel, hvis vi undersøgte de mennesker, der har læst en automatisk skakspilartikel, kan vi opleve, at skakforestillinger er mindre tilbøjelige til at være AI — forskere og viceversa-men det ville ikke være overraskende, da vi filtrerer ud af vores undersøgelsesdemografi de mennesker, der hverken er AI-forskere eller skakforestillinger.

så pas på justering for mediatorer og colliders!

Hvordan skelner vi nu mellem de tilfælde, hvor et kovariat er en confounder fra sagerne fra de tilfælde, hvor det er en mægler eller collider?

kort svar: Vi kan ikke, i det mindste ikke bare fra at observere dataene. Vi er nødt til at stole på domænespecifik viden om de underliggende årsagsforhold.

når flere kovariater er involveret, bliver historien mere kompliceret. Vi bliver nødt til at kortlægge hele årsagsgrafen mellem alle kovariaterne, behandlingen og resultatet og retfærdiggøre vores kausale kortlægning af videnskabelige grunde.

så kan vi bruge reglerne for do-calculus og principper som bagdørskriteriet til at finde et sæt kovariater til at justere for at blokere den falske sammenhæng mellem behandling og resultat, så vi kan estimere den sande årsagseffekt.

generelt ville jeg forvente, at jo flere variabler en undersøgelse justerer for, jo mere sandsynligt er det, at de introducerer en falsk korrelation via en collider eller blokerer en mæglingsvej.

problemet med frihedsgrader

en separat stærk grund til, at vi bør tvivle på undersøgelser, der justerer for mange variabler på en uprincippet måde, er tilføjelsen af frihedsgrader om, hvordan man udfører undersøgelsen.

hvis du måler en relation mellem to variabler på 1000 forskellige måder og vælger den, der viser den største sammenhæng, vil du sandsynligvis overvurdere effektiviteten af behandlingen.

at have et større sæt covariables giver dig mulighed for at justere for enhver delmængde, du vil. For eksempel, hvis du har adgang til 10 kovariater kan du justere for en hvilken som helst af 2^10 til 1000 mulige delmængder.

det behøver ikke at være, at en enkelt forskningsgruppe systematisk prøver alle mulige justeringsundersæt og vælger den bedste (selvom især nogle statistiske metoder gør noget, der ligner dette — f.eks. Det kan være, at forskellige forskere prøver forskellige undergrupper, og mekanismen, der kombinerer deres resultater, er partisk.

for eksempel kan 100 forskningsgrupper prøve 100 forskellige undergrupper. 95 af dem identificerer korrekt, at der ikke er nogen effekt, men på grund af publikationsforstyrrelse gør de ikke deres resultater bredt tilgængelige, mens de 5 grupper, der fejlagtigt identificerede en stærk effekt, er den eneste, der bliver offentliggjort, hvilket skaber indtryk af, at alle udførte undersøgelser fandt en stærk effekt, hvor der faktisk ikke er nogen.

når du ikke går forud for at følge en principiel måde at udføre justering på i dit studie, er det mere sandsynligt, at du introducerer en bias i dine resultater.

et forsigtighedsord: du har stadig brug for gode kontroller

i denne artikel fokuserer vi på problemet med at vælge for mange, uegnede kontroller, fordi det er en intuition, som jeg ser flere mennesker mangler, selv blandt dem, der ellers kender til Anvendt Statistik.

Vær dog opmærksom på, at du kan begå den modsatte fejl — du kan undlade at justere for relevante confounders — og ende med at konkludere, at chokoladeforbrug forårsager Nobelpriser.

især med observationer om komplekse fænomener, kun justering for et par ting garanterer næsten, at du udelader ting, du skal justere for — og du kan enten være over eller undervurdere effekten.

en relateret udfordring går under overskriften ‘resterende confounding’. Selv hvis du identificerer en confounder og justerer for den, det vil stadig påvirke resultaterne svarende til, hvor nøjagtigt du kan måle det — naturligvis måler vi de fleste ting unøjagtigt eller ved fuldmagt.

så at sammenfatte i en sætning: kontrol for confounders er nøglen, hvis du vil udlede årsagseffekter fra observationsdata.

så hvad skal vi gøre?

som en lakmusprøve skal du være mere tvivlsom over for observationsstudier, der justerer for variabler uden at retfærdiggøre deres valg af justering af årsagsmæssige grunde.

nogle undersøgelser udfører dog ikke det nødvendige arbejde for at retfærdiggøre deres valg af confounders, hvilket efterlader os i en meget dårligere position til at udtrække pålidelige data fra deres arbejde. Hvad kan vi gøre i disse tilfælde?

først og fremmest kan vi undersøge hver af de valgte confounders isoleret og tænke på, hvordan de kausalt opfører sig i forhold til behandlingen og resultatet.

Antag for eksempel, at vi gennemgår en undersøgelse af virkningen af ikke-spredningstraktaten på investeringsniveauet i atomvåben (Y), og vi spekulerer på, om de skulle have justeret for BNP (å).

nå, det kunne være tilfældet, at lande med højere BNP også er mere indflydelsesrige og formede traktaten til at være gavnlig for dem, så å => å. Og lande med højere BNP kan investere mere i atomvåben, så å => Y. I dette tilfælde ville BNP være en confounder, og vi bør justere for det.

men vi kunne fortælle en lige så overbevisende historie, der argumenterer for, at lande, der underskriver traktaten, sandsynligvis vil blive opfattet som mere samarbejdsvillige og få bedre handelsaftaler, så> Å.og lande, der investerer mere på atomvåben, har bedre sikkerhed, så de tiltrækker flere investorer, så Y => å. under denne fortolkning er BNP en collider, og vi bør ikke justere for det.

eller vi kunne kombinere de to tidligere scenarier for at argumentere for, at>å OG Å= > Y, så BNP ville være en collider, og vi bør heller ikke justere for det.

i mangel af en tvingende grund til at afvise de alternative forklaringer, bør vi ikke justere for BNP.

forestil dig dog, at undersøgelsen tilpasser sig i stedet for deltagelse i andre nukleare aftaler. Det ser ud til at argumentere for, at deltagelse i andre traktater forårsagede deltagelse i NPT; begge synes at være mere direkte forårsaget af landets generelle disposition til at underskrive nukleare traktater.

i dette tilfælde er” disposition over for traktater ” en forvirrer for virkningen af NPT på nukleare investeringer, men vi kan ikke direkte observere det. Vi kan dog blokere dens falske indflydelse ved at justere for “andre nukleare traktater” i henhold til bagdørskriteriet.

Hvad sker der, hvis undersøgelsen tilpasser sig både GPD og deltagelse i andre nukleare traktater?

som standard bør vi tvivle på årsagsgyldigheden af deres konklusion.

vi kan bruge disse oplysninger til at komme med nogle forudsigelser (for eksempel kunne vi bruge resultaterne fra undersøgelsen ovenfor til at gætte, om en stat, der alligevel skulle underskrive traktaten, vil reducere deres investering i atomarsenal), men vi kan ikke fremsætte behandlingsanbefalinger (for eksempel kan vi ikke hævde, at lobbyvirksomhed af en statsaktør til at acceptere NPT er en effektiv måde at få dem til at reducere deres arsenal).

hvis vi vil forsøge at redde deres resultater, kan vi prøve at opbygge et årsagsdiagram over relevante variabler og overveje, om deres valg af confounders opfylder de relevante kriterier.

hvis de justeringsvariabler, de valgte, ikke blokerer korrekt falske effekter eller introducerer nye effekter via colliders, og vi har adgang til dataene, vil vi måske prøve vores hånd på at køre undersøgelsen igen med et bedre valg af justeringsvariabler.

men selvfølgelig kan vi stadig identificere nøglekonfoundere, som forfatterne ikke inkluderede i datasættet. I så fald foreslår jeg at være opmærksom på John Tukeys ord:

“kombinationen af nogle data og et smertende ønske om et svar sikrer ikke, at et rimeligt svar kan udvindes fra en given mængde data.”

konklusioner

i dette indlæg har vi forklaret de tre typer årsagsforhold mellem et kovariat og et behandlingsudfaldspar: confounders, mediatorer og colliders. Vi har set, at for at udlede årsagseffekter, bør vi justere for confounders, men ikke for mediator eller colliders.

vi har argumenteret for, at jo flere variabler en observationsundersøgelse justerer for, jo mere sandsynligt er det, at de enten har lavet en årsagsfejl, eller at de yderligere frihedsgrader og publikationsforstyrrelse overdriver den rapporterede effekt.

vi har også advaret læseren mod at gøre den modsatte fejl — justering for confounders på en principiel måde er afgørende for at omdanne observationsdata til kausal information.

som en måde at udtrække data fra tidligere undersøgelser har vi foreslået kritisk at undersøge deres valg af justeringskovariater baseret på årsagskriterier. Hvis de justeres for unødvendige variabler, har vi foreslået at køre analysen igen, hvis dataene er tilgængelige, mens hvis der mangler en nøglekonfounder i dataene, skal vi bare acceptere, at vi nogle gange ikke har nok information til at besvare de spørgsmål, vi holder af.