enkle Confounders

SAMMENDRAG: Ikke alle kovariater av behandling og utfallsvariabler i en observasjonsstudie bør justeres for. Som standard bør man tvile på studier som blindt justerer for mange confounders uten å begrunne deres valg på årsakssammenheng.

ANSVARSFRASKRIVELSE: min kunnskap om årsakssammenheng er begrenset nok til at jeg kunne si ting som er veldig galt. Nå ut til meg på twitter @ jsevillamol hvis du finner en feil!

Anta At du vil bestemme årsakseffekten av en behandling på et utfall. Første ordre av virksomheten er å avgjøre om det er en statistisk sammenheng mellom dem.

Selv om det fortsatt er utfordrende, har vi gode statistiske verktøy for å bestemme nettverk av statistisk sammenheng mellom komplekse sett med variabler.

korrelasjon er imidlertid ikke årsakssammenheng — en korrelasjon kan være forårsaket av en confounder, en årsakssammenheng for både behandling og utfall.

for eksempel kan behandlingen være røyking, utfallet kan være luftveissykdom, og en plausibel confounder er alder; folk som er eldre røyker oftere og er mer utsatt for luftveissykdom.

vi kan illustrere denne situasjonen med et årsaksdiagram:

vi sier at det er en ublokkert bakdørbane fra behandling til utfall via alder, dvs.røyking <= alder => luftveissykdom.

Ideelt sett ønsker Vi å kjøre en randomisert kontrollert studie (rct) som tilfeldig tildeler behandlingen slik at vi kan avlede bakdørbanen.

Men dette er ikke alltid mulig; for eksempel kan behandlingen være uetisk, eller vi vil kanskje trekke konklusjoner fra historiske data. Hva skal vi gjøre i disse situasjonene?

hvordan ikke å justere for confounders

en alternativ måte å blokkere falsk påvirkning av confounder justerer gjennom for eksempel stratifisering. I røykeeksemplet kan vi dele våre data i ungdommer og olduns, studere korrelasjonen mellom røyking og sykdom i hver gruppe og deretter rapportere vektet korrelasjon som en estimering av årsakseffekten.

Dette ville fungere bra hvis vi er sikre på at kovariatet faktisk er en confounder eller årsakssammenheng for både behandlingen og utfallet – siden i hver studert gruppe er confounder-variabelen fast, kan den ikke lenger formidle en falsk innflytelse på behandlingen og utfallet, og vi vil kunne gjøre påstander om den sanne årsakssammenhengen av behandlingen.

så når forskere identifiserer en variabel som korrelerer med både behandling og utfall, har de en tendens til å justere for det.

Men det er ikke det eneste mulige årsakssammenheng mellom de tre variablene!

Mulige årsakssammenheng Mellom behandling X, utfall Y Og kovariat Z

det kan hende at kovariatet medierer samspillet mellom behandling og utfall. Det Vil Si, X = > Z Og Z => Y.

for eksempel kan vi studere effekten AV GMO-avlinger på forbrukernes helse, og vi finner ut At Gmo er mindre sannsynlig å bli smittet med et patogen. I så fall vil tilstedeværelsen av et patogen være en mediator mellom Gmo og forbrukerhelse.

Merk at mediatoren ikke trenger å være den eneste mekanismen som forklarer effekten — GMO kan også endre diettprofilen til avlingen uavhengig av effekten den har på patogener.

i dette tilfellet vil justering for kovariat Z redusere den tilsynelatende effekten av behandlingen X På utfallet Y, og vår rapport vil være misvisende (med mindre vi spesifikt forsøkte å måle isolert den delen av behandlingens effekt som ikke formidles av kovariatet).

den tredje muligheten er at kovariatet er en kollider av behandling og utfall. Det vil si at Både X og Y forårsaker Z. for eksempel kan vi ha at både kunstig intelligens forskere og sjakk affitionates liker å lese utviklingen på automatisert sjakkspill.

Justering for en collider vil øke den tilsynelatende styrken av effekten av behandlingen i utfallet.

i det forrige eksemplet, hvis vi undersøkte folkene som har lest en automatisk sjakkspillartikkel, kan vi oppleve at sjakkaffitionater er mindre sannsynlig Å VÆRE AI-forskere og omvendt — men det ville ikke være overraskende, siden vi filtrerer ut av vår undersøkelsesdemografi folkene som ikke er AI-forskere eller sjakkaffitionaties.

så pass på å justere for mediatorer og kollidere!

nå, Hvordan skiller vi mellom tilfellene der et kovariat er en confounder fra tilfellene fra tilfellene der det er en mediator eller collider?

Kort svar: vi kan ikke, i hvert fall ikke bare fra å observere dataene. Vi må stole på domenespesifikk kunnskap om de underliggende årsakssammenheng.

når flere kovariater er involvert, blir historien mer komplisert. Vi må kartlegge hele årsaksgrafen mellom alle kovariatene, behandlingen og utfallet, og rettferdiggjøre vår årsakssammenheng på vitenskapelig grunnlag.

da kan vi bruke reglene i do-kalkulatoren og prinsipper som bakdørkriteriet for å finne et sett med kovariater for å justere for å blokkere den falske korrelasjonen mellom behandling og utfall, slik at vi kan estimere den sanne årsakseffekten.

Generelt forventer jeg at jo flere variabler en studie justerer for, jo mer sannsynlig at de introduserer en falsk korrelasjon via en collider eller blokkerer en meklingsbane.

problemet med frihetsgrader

en egen sterk grunn til at vi bør tvile på studier som justerer for mange variabler på en uprinsippet måte, er tillegg av frihetsgrader på hvordan man skal utføre studien.

hvis du måler et forhold mellom to variabler på 1000 forskjellige måter og velger den som viser størst korrelasjon, vil du sannsynligvis overvurdere effektiviteten av behandlingen.

Å Ha et større sett med kovariables lar deg justere for noen delmengde du vil. For eksempel, hvis du har tilgang til 10 kovariater, kan du justere for noen av 2^10 ≈ 1000 mulige undergrupper.

Det trenger ikke å være at en enkelt forskningsgruppe systematisk prøver alle mulige justerings-delsett og plukker den beste (selv om noen statistiske metoder gjør noe ganske likt dette-f.eks. Det kan være at ulike forskere prøver forskjellige undergrupper, og mekanismen som kombinerer resultatene er partisk.

for eksempel kan 100 forskningsgrupper prøve 100 forskjellige delsett. 95 av dem identifiserer riktig at det ikke er noen effekt, men på grunn av publiseringsskjevhet gjør de ikke resultatene allment tilgjengelige, mens de 5 gruppene som feilaktig identifiserte en sterk effekt er den eneste som blir publisert, noe som skaper inntrykk av at alle utførte studier fant en sterk effekt der det faktisk ikke er noen.

oppsummert, når du ikke forutbestiller til å følge en prinsipiell måte å utføre justering i studien, er det mer sannsynlig at du innfører en bias i resultatene dine.

et ord med forsiktighet: du trenger fortsatt gode kontroller

i denne artikkelen fokuserer vi på problemet med å velge for mange, uegnede kontroller fordi det er en intuisjon som jeg ser flere mennesker mangler, selv blant de ellers kunnskapsrike om anvendt statistikk.

vær imidlertid oppmerksom på at du kan gjøre motsatt feil — du kan ikke justere for relevante confounders — og ende opp med å konkludere med at sjokoladeforbruk forårsaker nobelpriser.

Spesielt med observasjoner på komplekse fenomener, bare justere for et par ting nesten garanterer du utelater ting du bør justere for — og du kan enten være over eller understating effekten.

en relatert utfordring går under overskriften ‘residual confounding’. Selv om du identifiserer en confounder og justerer for det, vil det fortsatt påvirke resultatene i forhold til hvor nøyaktig du kan måle det-naturlig måler vi det meste unøyaktig eller ved fullmektig.

Så å oppsummere i en setning: kontrollere for confounders er nøkkelen hvis du vil utlede årsakseffekter fra observasjonsdata.

Så hva skal vi gjøre?

som en lakmustest, være mer tvilsom av observasjonsstudier som justerer for variabler uten å begrunne deres valg av justering på årsakssammenheng.

noen studier gjør imidlertid ikke det nødvendige arbeidet for å rettferdiggjøre deres valg av confounders, noe som gir oss en mye verre posisjon for å trekke ut pålitelige data fra deres arbeid. Hva kan vi gjøre i disse tilfellene?

Først av alt, kan vi undersøke hver av de valgte confounders i isolasjon, og tenke hvordan de årsakssammenheng oppfører seg i forhold til behandling og utfall.

anta for eksempel at vi vurderer en studie av Effekten Av Ikke-Spredningsavtalen (X) på investeringsnivået i atomvåpen (Y), og vi lurer på om DE burde ha justert FOR BNP (Z).

vel, det kan være slik at land med høyere BNP også er mer innflytelsesrike og formet traktaten til å være gunstig for dem, Så Z = > X. Og land med høyere BNP kan investere mer i atomvåpen, Så Z = > Y. I dette tilfellet VIL BNP være en confounder, og vi bør justere for det.

men vi kunne fortelle en like overbevisende historie som hevder at land som signerer traktaten, sannsynligvis vil bli oppfattet som mer samarbeidsvillige Og få bedre handelsavtaler, Så X = > Z. og land som investerer mer på atomvåpen har bedre sikkerhet, slik at De tiltrekker seg flere investorer, Så Y = > Z. UNDER DENNE tolkningen ER BNP en kollider, og vi bør ikke justere for det.

Eller vi kunne kombinere De to foregående scenariene for å hevde At X=>Z Og Z=> Y, SÅ BNP ville være en collider, og vi bør heller ikke justere for det.

i fravær av en overbevisende grunn til å avvise de alternative forklaringene, bør vi ikke justere FOR BNP.

men tenk deg at studien justerer i stedet for deltakelse i andre atomavtaler. Det ser ut til å være konstruert for å hevde at deltakelse i andre traktater forårsaket deltakelse i NPT; begge synes å være mer direkte forårsaket av landets generelle predisposisjon til å undertegne atomtraktater.

I dette tilfellet” predisposisjon mot traktater ” er en confounder for EFFEKTEN AV NPT På Kjernefysiske investeringer, men vi kan ikke direkte observere det. Men vi kan blokkere sin falske innflytelse ved å justere for “Andre atomtraktater” per bakdørkriteriet.

Hva skjer Hvis studien justerer for BÅDE GPD og deltakelse i andre atomtraktater?

som standard bør vi tvile på årsakssammenheng av deres konklusjon.

vi kan bruke denne informasjonen til å gjøre noen spådommer (for eksempel kan vi bruke resultatene fra studien ovenfor for å gjette om en stat som skulle signere traktaten uansett kommer til å redusere sine investeringer i atomvåpenarsenal), men vi kan ikke komme med behandlingsanbefalinger (for eksempel kan vi ikke hevde at lobbyvirksomhet en statlig aktør til å akseptere NPT er en effektiv måte å få dem til å redusere sitt arsenal).

hvis vi vil prøve å redde resultatene, kan vi prøve å bygge et årsaksdiagram over relevante variabler og vurdere om deres valg av confounders tilfredsstiller de relevante kriteriene.

hvis justeringsvariablene de valgte ikke blokkerer riktig falske effekter eller introduserer nye effekter via colliders, og vi har tilgang til dataene, vil vi kanskje prøve vår hånd på å kjøre studien med et bedre valg av justeringsvariabler.

men selvfølgelig kan vi fortsatt identifisere viktige confounders som forfatterne ikke inkluderte i datasettet. I så fall foreslår jeg Å være oppmerksom På John Tukeys ord:

” kombinasjonen av noen data og et vondt ønske om svar sikrer ikke at et rimelig svar kan hentes fra en gitt datakilde.”

Konklusjoner

i dette innlegget har vi forklart de tre typer årsakssammenheng mellom et kovariat og et behandlingspar: confounders, mediators and colliders. Vi har sett at for å utlede årsakseffekter bør vi justere for confounders, men ikke for mediator eller colliders.

Vi har argumentert for at jo flere variabler en observasjonsstudie justerer for, jo mer sannsynlig er det at de enten vil ha gjort en årsaksfeil eller at de ekstra frihetsgraden og publiseringsskjevheten overdriver den rapporterte effekten.

vi har også advart leseren mot å gjøre motsatt feil-justering for confounders på en prinsipiell måte er viktig for å transformere observasjonsdata til årsakssammenheng.

som en måte å trekke ut data fra tidligere studier, har vi foreslått å kritisk undersøke deres valg av justeringskovariater basert på årsakssammenheng. Hvis de justerer for unødvendige variabler, har vi foreslått å kjøre analysen om dataene er tilgjengelige, mens hvis en nøkkelkonfunder mangler i dataene, bør vi bare akseptere at vi noen ganger ikke har nok informasjon til å svare riktig på spørsmålene vi bryr oss om.