Confounders simple

ABSTRACT: niet alle covariabelen van behandelings-en uitkomstvariabelen in een observationele studie moeten worden aangepast. Standaard moet men twijfelen aan studies die zich blindelings aanpassen voor veel verstorende factoren zonder hun keuze te rechtvaardigen op causale gronden.

DISCLAIMER: mijn kennis van causale gevolgtrekking is beperkt genoeg dat ik dingen zou kunnen zeggen die erg verkeerd zijn. Contacteer mij op twitter @jsevillamol als je een fout vindt!

stel dat u het causale effect van een behandeling op een resultaat wilt bepalen. In de eerste plaats moet worden vastgesteld of er een statistische correlatie tussen beide bestaat.

hoewel we nog steeds een uitdaging hebben, hebben we goede statistische instrumenten om netwerken van statistische associatie tussen complexe verzamelingen van variabelen te bepalen.

correlatie is echter geen causaliteit — een correlatie kan worden veroorzaakt door een confunder, een causaal antecedent van zowel de behandeling als het resultaat.

bijvoorbeeld, de behandeling kan roken zijn, het resultaat kan ademhalingsziekte zijn, en een plausibele verwarring is de leeftijd; mensen die ouder zijn roken vaker en zijn meer vatbaar voor respiratoire aandoeningen.

we kunnen deze situatie illustreren met een causaal diagram:

we zeggen dat er een niet-geblokkeerde achterdeur is van de behandeling naar de uitkomst via leeftijd, dat wil zeggen roken <= leeftijd => respiratoire ziekte.

idealiter zouden we een randomized controlled trial (RCT) willen uitvoeren die willekeurig de behandeling toewijst, zodat we de achterdeur kunnen omleiden.

maar dit is niet altijd mogelijk; de behandeling kan bijvoorbeeld onethisch zijn of we kunnen conclusies trekken uit Historische gegevens. Wat moeten we in die situaties doen?

hoe niet bij te stellen voor verstoorders

een andere manier om de onechte invloed van de verstoorder te blokkeren, is aanpassen door bijvoorbeeld stratificatie. In het rookvoorbeeld kunnen we onze gegevens verdelen in jongeren en olduns, de correlatie bestuderen tussen roken en ziekte in elke groep en vervolgens de gewogen correlatie rapporteren als een schatting van het causale effect.

dit zou goed werken als we er zeker van zijn dat de covariant inderdaad een confounder of causale voorouder is van zowel de behandeling als het resultaat — aangezien binnen elke bestudeerde groep de confounder variabele vast is, kan deze niet langer een onechte invloed op de behandeling en het resultaat bemiddelen, en zullen we in staat zijn om beweringen te doen over het werkelijke causale effect van de behandeling.

dus wanneer onderzoekers een variabele identificeren die correleert met zowel de behandeling als de uitkomst, hebben ze de neiging om zich hiervoor aan te passen.

maar dat is niet het enige mogelijke causale verband tussen de drie variabelen!

Mogelijke causale relaties tussen de behandeling X, uitkomst Y en Z covariate

Het zou kunnen gebeuren dat de covariate bemiddelt de interactie tussen behandeling en resultaat. Dat wil zeggen, X = > Z en Z = > Y.

we zouden bijvoorbeeld het effect van GGO-gewassen op de gezondheid van de consument kunnen bestuderen, en we komen erachter dat GGO ‘ s minder waarschijnlijk besmet zijn met een ziekteverwekker. In dat geval zou de aanwezigheid van een ziekteverwekker een bemiddelaar zijn tussen de GGO ‘ s en de gezondheid van de consument.

merk op dat de bemiddelaar niet het enige mechanisme hoeft te zijn dat het effect verklaart — het GGO kan ook het voedingsprofiel van het gewas veranderen, onafhankelijk van het effect dat het heeft op pathogenen.

in dit geval zal een correctie voor de covariabele Z het schijnbare effect van de behandeling X op de uitkomst Y verminderen en zal ons rapport misleidend zijn (tenzij we specifiek probeerden afzonderlijk het deel van het effect van de behandeling te meten dat niet door de covariabele wordt gemedieerd).

de derde mogelijkheid is dat de covariabele een collider is van behandeling en resultaat. Dat wil zeggen, zowel X en Y oorzaak Z. bijvoorbeeld, we zouden kunnen hebben dat zowel kunstmatige intelligentie onderzoekers en schaken affectionates graag ontwikkelingen op geautomatiseerd Schaken spelen lezen.

aanpassing voor een collider zal de schijnbare sterkte van het effect van de behandeling in de uitkomst verhogen.

in het vorige voorbeeld, als we de mensen die een automatisch schaakspel artikel hebben gelezen ondervroegen, zouden we kunnen ontdekken dat schaken affiches minder waarschijnlijk AI — onderzoekers en viceversa zijn-maar dat zou niet verwonderlijk zijn, omdat we uit onze enquête de mensen filteren die geen AI-onderzoekers zijn of Schaken affiches.

dus pas op voor het aanpassen voor mediators en colliders!

nu, hoe kunnen we onderscheid maken tussen de gevallen waarin een covariant een confounder is van de gevallen van de gevallen waarin hij een mediator of collider is?

kort antwoord: We kunnen niet, althans niet alleen door het observeren van de gegevens. We moeten vertrouwen op domeinspecifieke kennis van de onderliggende causale relaties.

wanneer meerdere covariaten betrokken zijn, wordt het verhaal ingewikkelder. We moeten de hele causale grafiek in kaart brengen tussen alle covariaten, de behandeling en de uitkomst, en onze causale mapping rechtvaardigen op wetenschappelijke gronden.

dan kunnen we de regels van de doe-calculus en principes zoals het achterdeurcriterium gebruiken om een set covariaten te vinden om aan te passen om de onechte correlatie tussen behandeling en resultaat te blokkeren, zodat we het werkelijke causale effect kunnen schatten.

in het algemeen zou ik verwachten dat hoe meer variabelen een studie aanpast, hoe waarschijnlijker het is dat ze een onechte correlatie introduceren via een collider of een bemiddelingspad blokkeren.

het probleem van de vrijheidsgraden

een afzonderlijke sterke reden waarom we zouden moeten twijfelen aan studies die voor veel variabelen op een niet-principiële manier worden aangepast, is de toevoeging van vrijheidsgraden over de manier waarop de studie moet worden uitgevoerd.

als u een relatie tussen twee variabelen op 1000 verschillende manieren meet en degene kiest die de grootste correlatie vertoont, overschat u waarschijnlijk de effectiviteit van de behandeling.

het hebben van een grotere set covariables stelt u in staat om aan te passen voor elke subset die u wilt. Als u bijvoorbeeld toegang hebt tot 10 co-varianten, kunt u deze aanpassen voor een van de 2^10 ≈ 1000 mogelijke subsets.

het hoeft niet zo te zijn dat één enkele onderzoeksgroep systematisch alle mogelijke subsets aanpast en de beste selecteert (hoewel met name sommige statistische methoden iets dergelijks doen — bijvoorbeeld stapsgewijze of beste subsetmethoden voor variabele selectie). Het kan zijn dat verschillende onderzoekers proberen verschillende subsets, en het mechanisme dat hun resultaten combineert is bevooroordeeld.

zo kunnen 100 onderzoeksgroepen 100 verschillende deelverzamelingen uitproberen. 95 van hen geven correct aan dat er geen effect is, maar vanwege publicatievooroordeel maken ze hun resultaten niet op grote schaal beschikbaar, terwijl de 5 groepen die ten onrechte een sterk effect identificeerden de enige zijn die gepubliceerd worden, waardoor de indruk wordt gewekt dat alle uitgevoerde studies een sterk effect hebben gevonden waar er in feite geen is.

samengevat: wanneer u zich niet vooraf verbindt tot het volgen van een principiële manier van het uitvoeren van aanpassingen in uw studie, is de kans groter dat u een vertekening in uw resultaten invoert.

een woord van waarschuwing: Je hebt nog steeds goede controles nodig

In dit artikel richten we ons op het probleem van het kiezen van te veel, ongeschikte controles, want dat is een intuïtie die ik zie meer mensen ontbreken, zelfs onder degenen die anders goed op de hoogte zijn van Toegepaste statistieken.

houd er echter rekening mee dat u de tegenovergestelde fout kunt maken — u kunt zich niet aanpassen voor relevante verstorende factoren — en eindig met de conclusie dat chocoladeconsumptie Nobelprijzen veroorzaakt.

vooral bij observaties over complexe fenomenen, garandeert slechts een paar dingen vrijwel dat u dingen weglaat waarvoor u zich zou moeten aanpassen — en u kunt het effect over-of onderschatten.

een hiermee verband houdende uitdaging valt onder de rubriek “residuele verstorende effecten”. Zelfs als je een confounder identificeert en er voor aanpast, zal het de resultaten nog steeds beïnvloeden in verhouding tot hoe nauwkeurig je het kunt meten — natuurlijk meten we de meeste dingen onnauwkeurig of bij volmacht.

samenvatting in een zin: controleren op verstorende factoren is de sleutel als u causale effecten wilt afleiden uit observationele gegevens.

dus wat moeten we doen?

als lakmoesproef, twijfelachtiger zijn over observationele studies die zich aanpassen voor variabelen zonder hun keuze van aanpassing op causale gronden te rechtvaardigen.

sommige studies doen echter niet het nodige werk om hun keuze van verstorende factoren te rechtvaardigen, waardoor wij in een veel slechtere positie verkeren om betrouwbare gegevens uit hun werk te halen. Wat kunnen we in die gevallen doen?

allereerst kunnen we elk van de gekozen confounders afzonderlijk onderzoeken en nadenken over hoe ze zich Causaal gedragen in relatie tot de behandeling en het resultaat.Stel bijvoorbeeld dat we een studie over het effect van het Non-proliferatieverdrag (X) op het niveau van de investeringen in kernwapens (Y) herzien en dat we ons afvragen of deze voor het BBP (Z) hadden moeten worden gecorrigeerd.

het zou kunnen dat landen met een hoger BBP ook invloedrijker zijn en het Verdrag zodanig hebben vormgegeven dat het hen ten goede komt, dus Z = > X. En landen met een hoger BBP kunnen meer investeren in kernwapens, dus Z => Y. In dit geval zou het BBP een confounder zijn, en we moeten ons daarvoor aanpassen.

maar we zouden een net zo overtuigend verhaal kunnen vertellen met het argument dat landen die het Verdrag ondertekenen waarschijnlijk als meer coöperatief zullen worden gezien en betere handelsovereenkomsten zullen krijgen, dus X => Z. en landen die meer investeren in kernwapens hebben een betere veiligheid, zodat ze meer investeerders aantrekken, dus Y => Z. onder deze interpretatie is het BBP een collider, en moeten we ons er niet voor aanpassen.

of we zouden de twee voorgaande scenario ‘ s kunnen combineren om te stellen dat X=>Z en Z=>Y, dus GDP zou een collider zijn en we zouden er ook niet voor moeten aanpassen.

bij gebrek aan een dwingende reden om de alternatieve verklaringen af te wijzen, moeten we ons niet aanpassen voor het BBP.

stelt u zich echter voor dat de studie zich in plaats daarvan aanpast voor deelname aan andere nucleaire overeenkomsten. Het lijkt gekunsteld om te beweren dat deelname aan andere verdragen deelname aan het NPV veroorzaakte; beide lijken meer direct te worden veroorzaakt door de algemene neiging van het land om nucleaire verdragen te ondertekenen.

in dit geval is “predisponatie voor verdragen” een verwarring voor het effect van het NPV op nucleaire investeringen, maar we kunnen het niet direct waarnemen. We kunnen echter de onechte invloed ervan blokkeren door ons aan te passen aan “andere nucleaire verdragen” volgens het achterdeurcriterium.

Wat gebeurt er als de studie wordt aangepast voor zowel de GPD als de deelname aan andere nucleaire verdragen?

standaard zouden we de causale validiteit van hun conclusie moeten betwijfelen.

we kunnen deze informatie gebruiken om een aantal voorspellingen te doen (we zouden bijvoorbeeld de resultaten van de studie hierboven kunnen gebruiken om te raden of een staat die het Verdrag toch zou ondertekenen, zijn investeringen in nucleair arsenaal zal verminderen), maar we kunnen geen aanbevelingen voor behandeling doen (we kunnen bijvoorbeeld niet beweren dat lobbyen bij een overheidsactoren om het NPV te accepteren een effectieve manier is om ze hun arsenaal te laten verminderen).

als we willen proberen hun resultaten te redden, kunnen we proberen een causaal diagram van relevante variabelen op te bouwen en na te gaan of hun keuze van confounders aan de relevante criteria voldoet.

als de door hen gekozen aanpassingsvariabelen niet de juiste ongewenste effecten blokkeren of nieuwe effecten introduceren via botsers, en we toegang hebben tot de gegevens, kunnen we proberen de studie opnieuw uit te voeren met een betere keuze aan aanpassingsvariabelen.

maar natuurlijk kunnen we nog steeds belangrijke confounders identificeren die de auteurs niet in de gegevensverzameling hebben opgenomen. In dat geval stel ik voor aandacht te besteden aan John Tukey ‘ s woorden:

“de combinatie van sommige gegevens en een verlangen naar een antwoord garandeert niet dat een redelijk antwoord uit een gegeven verzameling gegevens kan worden gehaald.”

conclusies

In dit artikel hebben we de drie soorten causale relaties uitgelegd tussen een covariabele en een behandeluitkomstpaar: confounders, mediators en colliders. We hebben gezien dat om causale effecten af te leiden we moeten aanpassen voor verstorende, maar niet voor mediator of botsliders.

wij hebben betoogd dat hoe meer variabelen een observationele studie aanpast, hoe waarschijnlijker het is dat zij een causale fout hebben gemaakt of dat de extra vrijheidsgraden en publicatievooroordeel het gerapporteerde effect overdrijven.

we hebben de lezer ook gewaarschuwd voor het maken van de tegenovergestelde fout — een principiële aanpassing voor verstorende factoren is essentieel om observationele gegevens om te zetten in causale informatie.

als een manier om gegevens uit eerdere studies te extraheren, hebben we voorgesteld hun keuze van aanpassingscovarianten kritisch te onderzoeken op basis van causale criteria. Als ze zich aanpassen voor onnodige variabelen, hebben we voorgesteld om de analyse opnieuw uit te voeren als de gegevens beschikbaar zijn, terwijl als er een belangrijke confounder ontbreekt in de gegevens we gewoon moeten accepteren dat we soms niet genoeg informatie hebben om de vragen waar we om geven goed te beantwoorden.