Confounders made simple

absztrakt: nem minden kovariáns a kezelés és a kimenetel változók egy megfigyelési vizsgálatban kell igazítani. Alapértelmezés szerint kétségbe kell vonni azokat a tanulmányokat, amelyek vakon alkalmazkodnak sok zavaró tényezőhöz anélkül, hogy ok-okozati alapon igazolnák választásukat.

jogi nyilatkozat: Az ok-okozati következtetéseim elég korlátozottak ahhoz, hogy nagyon rossz dolgokat mondhassak. Lépjen kapcsolatba velem a Twitteren @jsevillamol, ha hibát talál!

tegyük fel, hogy meg akarja határozni a kezelés okozati hatását az eredményre. Az első ügyrend annak meghatározása, hogy van-e statisztikai összefüggés közöttük.

bár még mindig kihívást jelent, jó statisztikai eszközökkel rendelkezünk a statisztikai asszociációs hálózatok meghatározására a változók komplex halmazai között.

a korreláció azonban nem okozati összefüggés-a korrelációt egy zavaró tényező okozhatja, amely mind a kezelés, mind az eredmény ok-okozati előzménye.

például a kezelés lehet dohányzás, az eredmény lehet légúti betegség, és egy elfogadható zavaró az életkor; az idősebb emberek gyakrabban dohányoznak, és hajlamosabbak a légzőszervi megbetegedésekre.

ezt a helyzetet oksági diagrammal illusztrálhatjuk:

azt mondjuk, hogy van egy blokkolatlan hátsó ajtó út a kezeléstől az eredményig az életkoron keresztül, azaz a dohányzás <= age => légzőszervi betegség.

ideális esetben egy randomizált kontrollált vizsgálatot (RCT) szeretnénk futtatni, amely véletlenszerűen hozzárendeli a kezelést, hogy eltereljük a hátsó ajtó útját.

de ez nem mindig lehetséges; például a kezelés etikátlan lehet, vagy következtetéseket vonhatunk le a történelmi adatokból. Mit kell tennünk ezekben a helyzetekben?

hogyan ne állítsuk be a zavarókat

a zavaró hamis hatásának blokkolásának alternatív módja például a rétegződés. A dohányzási példában megoszthatjuk adatainkat fiatalokra és idősekre, tanulmányozhatjuk a dohányzás és a betegség közötti összefüggést az egyes csoportokban, majd jelenthetjük a súlyozott korrelációt az ok-okozati hatás becsléseként.

ez jól működne, ha biztosak lennénk abban, hogy a kovariáns valóban zavaró, vagy okozati őse mind a kezelésnek, mind az eredménynek — mivel az egyes vizsgált csoportokon belül a zavaró változó rögzített, már nem tud hamis hatást közvetíteni a kezelésre és az eredményre, és képesek leszünk állításokat tenni a kezelés valódi ok-okozati hatásáról.

tehát amikor a kutatók azonosítanak egy változót, amely korrelál mind a kezeléssel, mind az eredménnyel, hajlamosak alkalmazkodni hozzá.

de ez nem az egyetlen lehetséges ok-okozati összefüggés a három változó között!

lehetséges ok-okozati összefüggések az X kezelés, az Y kimenetel és a Z kovariáns között

előfordulhat, hogy a kovariáns közvetíti a kezelés és az eredmény közötti kölcsönhatást. Vagyis X = > Z és Z = > Y.

például tanulmányozhatjuk a GMO-növények fogyasztói egészségre gyakorolt hatását, és kideríthetjük, hogy a GMO-k kevésbé valószínű, hogy kórokozóval fertőződnek meg. Ebben az esetben a kórokozó jelenléte közvetítő lenne a GMO-k és a fogyasztók egészsége között.

vegye figyelembe, hogy a közvetítőnek nem kell az egyetlen mechanizmusnak lennie, amely magyarázza a hatást — a GMO megváltoztathatja a növény étrendi profilját is, függetlenül attól, hogy milyen hatással van a kórokozókra.

ebben az esetben a Z kovariánshoz való igazítás csökkenti az X kezelés látszólagos hatását az Y eredményre, és jelentésünk félrevezető lesz (kivéve, ha kifejezetten a kezelés hatásának azt a részét próbáljuk elszigetelten mérni, amelyet a kovariáns nem közvetít).

a harmadik lehetőség az, hogy a kovariáns a kezelés és az eredmény ütközője. Például előfordulhat, hogy mind a mesterséges intelligencia kutatói, mind a sakkfelfogók szeretik olvasni az automatizált sakkjáték fejleményeit.

az ütköző beállítása növeli a kezelés hatásának látszólagos erejét az eredményben.

az előző példában, ha felmérjük azokat az embereket, akik olvastak egy automatikus sakkjáték cikket, azt tapasztalhatjuk, hogy a sakk affitionates kevésbé valószínű, hogy AI kutatók és viceversa — de ez nem lenne meglepő, mivel felmérésünk demográfiájából kiszűrjük azokat az embereket, akik sem nem AI kutatók, sem sakk affitionaties.

tehát Óvakodj a közvetítők és ütközők beállításától!

Hogyan különböztetjük meg azokat az eseteket, amikor a kovariáns zavaró az esetektől az esetektől, amikor közvetítő vagy ütköző?

rövid válasz: nem tudjuk, legalábbis nem csak az adatok megfigyeléséből. A mögöttes ok-okozati összefüggések domain-specifikus ismereteire kell támaszkodnunk.

ha több kovariánsról van szó, a történet bonyolultabbá válik. Fel kell térképeznünk a teljes kauzális grafikont az összes kovariáns, a kezelés és az eredmény között, és tudományos alapon meg kell indokolnunk az ok-okozati térképünket.

ezután használhatjuk a do-kalkulus szabályait és az olyan elveket, mint a hátsó ajtó kritériuma, hogy megtaláljuk a kovariánsok halmazát, hogy beállítsuk a kezelés és az eredmény közötti hamis összefüggést, így megbecsülhetjük a valódi ok-okozati hatást.

általánosságban azt várnám, hogy minél több változóhoz igazodik egy tanulmány, annál valószínűbb, hogy hamis korrelációt vezetnek be egy ütközőn keresztül, vagy blokkolják a mediációs utat.

a szabadságfokok problémája

egy külön erős ok, amiért kétségbe kellene vonnunk azokat a tanulmányokat, amelyek sok változóhoz szabálytalanul alkalmazkodnak, a szabadságfokok hozzáadása a tanulmány elvégzéséhez.

ha két változó közötti összefüggést 1000 különböző módon mérünk, és kiválasztjuk azt, amelyik a legnagyobb korrelációt mutatja, akkor valószínűleg túlbecsüljük a kezelés hatékonyságát.

a kovariables nagyobb halmaza lehetővé teszi, hogy beállítsa a kívánt részhalmazt. Például, ha 10 kovariánshoz van hozzáférése, beállíthatja a 2^10 1000 lehetséges részhalmaz bármelyikét.

nem kell, hogy egyetlen kutatócsoport szisztematikusan kipróbálja az összes lehetséges beállítási részhalmazt, és kiválassza a legjobbat (bár néhány statisztikai módszer meglehetősen hasonló ehhez — például a változók kiválasztásának lépésenkénti vagy legjobb részhalmaza). Lehet, hogy a különböző kutatók különböző részhalmazokat próbálnak ki, és az eredményeiket egyesítő mechanizmus elfogult.

például 100 kutatócsoport próbálkozhat 100 különböző részhalmazzal. Közülük 95 helyesen azonosítja, hogy nincs hatás, de a publikációs elfogultság miatt nem teszik széles körben elérhetővé eredményeiket, míg az az 5 csoport, amely tévesen azonosított egy erős hatást, az egyetlen, amelyet közzétesznek, azt a benyomást keltve, hogy minden elvégzett tanulmány erős hatást talált ott, ahol valójában nincs.

összefoglalva: ha nem vállalja el, hogy a vizsgálat során a kiigazítás elvi módját követi, akkor nagyobb valószínűséggel vezet be elfogultságot az eredményeiben.

óvatosság: még mindig jó vezérlőkre van szüksége

ebben a cikkben a túl sok, nem megfelelő vezérlőelem kiválasztásának problémájára összpontosítunk, mert ez egy olyan intuíció, amelyet több embernek hiányolok, még azok között is, akik egyébként jól ismerik az alkalmazott statisztikákat.

azonban ne feledje, hogy az ellenkező hibát is elkövetheti — nem tud alkalmazkodni a releváns zavarókhoz—, és végül arra a következtetésre juthat, hogy a csokoládé fogyasztása nobel-díjakat okoz.

különösen az összetett jelenségekkel kapcsolatos megfigyeléseknél, csak néhány dologhoz való alkalmazkodás gyakorlatilag garantálja, hogy kihagyja azokat a dolgokat, amelyekhez alkalmazkodnia kellene — és lehet, hogy túl vagy alulbecsüli a hatást.

egy kapcsolódó kihívás a ‘maradék zavaró’címszó alá kerül. Még akkor is, ha azonosít egy zavaró tényezőt, és igazodik hozzá, az továbbra is befolyásolja az eredményeket azzal arányosan, hogy milyen pontosan tudja mérni — természetesen a legtöbb dolgot pontatlanul vagy proxy segítségével mérjük.

tehát összefoglalni egy mondatban: a zavaró tényezők ellenőrzése kulcsfontosságú, ha a megfigyelési adatokból ok-okozati hatásokat szeretne következtetni.

tehát mit tegyünk?

lakmuszpróbaként kételkedjen a megfigyelési tanulmányokban, amelyek a változókhoz igazodnak anélkül, hogy ok-okozati alapon igazolnák a kiigazítás választását.

egyes tanulmányok azonban nem végzik el a szükséges munkát, hogy igazolják a zavaró tényezők választását, ami sokkal rosszabb helyzetbe hoz minket, hogy megbízható adatokat nyerjünk ki munkájukból. Mit tehetünk ezekben az esetekben?

először is megvizsgálhatjuk az egyes kiválasztott zavarókat elszigetelten, és átgondolhatjuk, hogyan viselkednek ok-okozati kapcsolatban a kezeléssel és az eredménnyel.

tegyük fel például, hogy az atomsorompó-szerződés (X) atomsorompó-szerződésnek a nukleáris fegyverekbe (Y) történő beruházás szintjére gyakorolt hatásáról szóló tanulmányt vizsgáljuk, és azon tűnődünk, vajon a GDP-hez (Z) kellett volna-e igazítaniuk.

nos, előfordulhat, hogy a magasabb GDP-vel rendelkező országok is nagyobb befolyással bírnak, és úgy alakították ki a szerződést, hogy az előnyös legyen számukra, így Z => X. A magasabb GDP-vel rendelkező országok pedig többet fektethetnek nukleáris fegyverekbe, tehát Z => Y. ebben az esetben a GDP zavaró lenne, és ehhez alkalmazkodnunk kellene.

de elmondhatnánk egy hasonlóan meggyőző történetet, azzal érvelve, hogy az egyezményt aláíró országokat valószínűleg együttműködőbbnek és jobb kereskedelmi megállapodásoknak tekintik, tehát X => Z. és azok az országok, amelyek többet fektetnek be a nukleáris fegyverekbe, jobb biztonsággal rendelkeznek, így több befektetőt vonzanak, tehát Y => Z. ezen értelmezés szerint a GDP ütköző, és nem kellene alkalmazkodnunk hozzá.

vagy kombinálhatjuk a két korábbi forgatókönyvet azzal érvelve, hogy X=>Z és Z=> Y, tehát a GDP ütköző lenne, és nem kellene alkalmazkodnunk hozzá.

az alternatív magyarázatok elutasítására vonatkozó kényszerítő ok hiányában nem kellene kiigazítanunk a GDP-t.

képzelje el azonban, hogy a tanulmány ehelyett más nukleáris megállapodásokban való részvételhez igazodik. Úgy tűnik, hogy azt állítják, hogy a más szerződésekben való részvétel az NPT-ben való részvételt eredményezte; úgy tűnik, hogy mindkettőt közvetlenebbül az ország általános hajlandósága a nukleáris szerződések aláírására.

ebben az esetben a “szerződésekre való hajlam” megzavarja az atomsorompó-szerződés nukleáris beruházásokra gyakorolt hatását, de közvetlenül nem tudjuk megfigyelni. Azonban megakadályozhatjuk annak hamis befolyását, ha a hátsó ajtó kritériuma szerint “más nukleáris szerződésekhez” igazodunk.

mi történik, ha a tanulmány mind a GPD-hez, mind más nukleáris szerződésekben való részvételhez igazodik?

alapértelmezés szerint kétségbe kell vonnunk következtetésük ok-okozati érvényességét.

ezeket az információkat felhasználhatjuk bizonyos előrejelzések készítésére (például felhasználhatjuk a fenti tanulmány eredményeit annak kitalálására, hogy egy állam, amely egyébként is aláírja a szerződést, csökkenti-e a nukleáris arzenálba történő befektetését), de nem tehetünk kezelési ajánlásokat (például nem állíthatjuk, hogy egy állami szereplő lobbizása az atomsorompó-szerződés elfogadására hatékony módja annak, hogy rávegyék őket arzenáljuk csökkentésére).

ha meg akarjuk menteni az eredményeiket, megpróbálhatjuk felépíteni a releváns változók oksági diagramját, és figyelembe véve, hogy a zavaró tényezők kiválasztása megfelel-e a vonatkozó kritériumoknak.

ha az általuk választott kiigazítási változók nem blokkolják megfelelően a hamis hatásokat, vagy ütközőkön keresztül új hatásokat vezetnek be, és hozzáférünk az adatokhoz, érdemes kipróbálnunk a tanulmány újrafuttatását a kiigazítási változók jobb választékával.

de természetesen még mindig azonosíthatjuk azokat a kulcsfontosságú zavarókat, amelyeket a szerzők nem vettek fel az adatkészletbe. Ebben az esetben azt javaslom, hogy figyeljen John Tukey szavaira:

“egyes adatok és a válasz iránti fájó vágy kombinációja nem biztosítja, hogy ésszerű válasz nyerhető ki egy adott adathalmazból.”

következtetések

ebben a bejegyzésben elmagyaráztuk a kovariáns és a kezelés-kimenetel pár közötti okozati összefüggések három típusát: zavarók, közvetítők és ütközők. Láttuk, hogy az ok-okozati hatások levezetéséhez alkalmazkodnunk kell a zavarókhoz, de nem a közvetítőkhöz vagy az ütközőkhöz.

azt állítottuk, hogy minél több változóhoz igazodik egy megfigyelési tanulmány, annál valószínűbb, hogy vagy okozati hibát követtek el, vagy hogy a szabadság és a publikációs elfogultság további fokai eltúlozzák a jelentett hatást.

arra is figyelmeztettük az olvasót, hogy ne kövessen el ellenkező hibát — a zavaró tényezőkhöz való elvi alkalmazkodás elengedhetetlen ahhoz, hogy a megfigyelési adatokat oksági információvá alakítsuk.

a korábbi tanulmányokból származó adatok kinyerésének módjaként azt javasoltuk, hogy kritikusan vizsgálják meg a kiigazítási kovariánsok választását oksági kritériumok alapján. Ha alkalmazkodnak a szükségtelen változókhoz, javasoltuk az elemzés újrafuttatását, ha az adatok rendelkezésre állnak, míg ha egy kulcsfontosságú zavaró hiányzik az adatokból, akkor csak el kell fogadnunk, hogy néha nincs elég információnk ahhoz, hogy megfelelően válaszoljunk a kérdéseinkre.