Konfunders made simple

streszczenie: nie wszystkie zmienne zmiennych leczenia i wyników w badaniu obserwacyjnym powinny być dostosowane do. Domyślnie należy wątpić w badania, które ślepo dostosowują się do wielu czynników zakłócających, nie uzasadniając ich wyboru przyczynami przyczynowymi.

zastrzeżenie: moja wiedza na temat wnioskowania przyczynowego jest na tyle ograniczona, że mogę mówić rzeczy, które są bardzo złe. Skontaktuj się ze mną na Twitterze @ jsevillamol, jeśli znajdziesz błąd!

Załóżmy, że chcesz określić przyczynowy wpływ leczenia na wynik. Pierwszym celem jest ustalenie, czy istnieje między nimi korelacja statystyczna.

choć wciąż trudne, mamy dobre narzędzia statystyczne do określania sieci powiązań statystycznych między złożonymi zbiorami zmiennych.

jednak korelacja nie jest przyczynowością-korelacja może być spowodowana przez czynnik zakłócający, przyczynowy poprzedzający zarówno leczenie, jak i wynik.

na przykład leczenie może być paleniem tytoniu, wynikiem może być choroba układu oddechowego, a prawdopodobnym błędem jest wiek; osoby starsze częściej palą i są bardziej podatne na choroby układu oddechowego.

możemy zilustrować tę sytuację diagramem przyczynowym:

mówimy, że istnieje odblokowana ścieżka od leczenia do wyniku przez wiek, tj. palenie <= wiek => choroby układu oddechowego.

idealnie byłoby przeprowadzić randomizowane kontrolowane badanie (RCT), które losowo przydziela leczenie, abyśmy mogli przekierować ścieżkę tylnego wyjścia.

, ale nie zawsze jest to możliwe; na przykład leczenie może być nieetyczne lub możemy chcieć wyciągnąć wnioski z danych historycznych. Co powinniśmy zrobić w takich sytuacjach?

jak nie dostosowywać się do czynników zakłócających

alternatywnym sposobem blokowania fałszywego wpływu czynników zakłócających jest dostosowanie Poprzez na przykład stratyfikację. W przykładzie palenia możemy podzielić nasze dane u młodzieży i osób starszych, zbadać korelację między paleniem a chorobą w każdej grupie, a następnie zgłosić korelację ważoną jako oszacowanie efektu przyczynowego.

to zadziała dobrze, jeśli będziemy pewni, że kowariata jest rzeczywiście konfunderem, lub przyczynowym przodkiem zarówno leczenia, jak i wyniku — ponieważ w każdej badanej grupie zmienna konfundera jest stała, nie może już pośredniczyć w fałszywym wpływie na leczenie i wynik, a my będziemy w stanie twierdzić o prawdziwym przyczynowym wpływie leczenia.

więc ilekroć naukowcy identyfikują zmienną, która koreluje zarówno z leczeniem, jak i wynikiem, mają tendencję do dostosowywania się do niej.

ale to nie jedyny możliwy związek przyczynowy między tymi trzema zmiennymi!

możliwe związki przyczynowe między leczeniem X, wynikiem Y i współzmienną z

może się zdarzyć, że współzmienna pośredniczy w interakcji między leczeniem a wynikiem. Czyli X => Z i Z = > Y.

na przykład, możemy badać wpływ upraw GMO na zdrowie konsumentów i dowiadujemy się, że GMO są mniej narażone na zakażenie patogenem. W takim przypadku obecność patogenu byłaby pośrednikiem między GMO a zdrowiem konsumentów.

zauważ, że mediator nie musi być jedynym mechanizmem wyjaśniającym wpływ-GMO może również zmienić profil żywieniowy uprawy niezależnie od wpływu, jaki wywiera na patogeny.

w tym przypadku dostosowanie do kowariaty z zmniejszy pozorny wpływ leczenia X na wynik Y, a nasz raport będzie wprowadzający w błąd (chyba że specjalnie staraliśmy się zmierzyć w izolacji część efektu leczenia nie pośredniczoną przez kowariatę).

trzecią możliwością jest to, że współzmienna jest zderzaczem leczenia i wyniku. Oznacza to, że zarówno X, jak i Y powodują Z. na przykład możemy mieć, że zarówno badacze sztucznej inteligencji, jak i miłośnicy szachów lubią czytać postępy w automatycznej grze w szachy.

dostosowanie do Zderzacza zwiększy pozorną siłę efektu leczenia w wyniku.

w poprzednim przykładzie, jeśli zbadamy osoby, które przeczytały artykuł o automatycznej grze w szachy, możemy stwierdzić, że aficjoniści szachowi są mniej skłonni do badań nad sztuczną inteligencją i viceversą — ale nie byłoby to zaskakujące, ponieważ filtrujemy z naszego badania demografię ludzi, którzy nie są ani badaczami sztucznej inteligencji, ani szachowymi aficjoniści.

więc uważaj na mediatorów i zderzaczy!

teraz, jak odróżnić przypadki, w których kowariata jest konfunderem od przypadków, w których jest mediatorem lub zderzaczem?

krótka odpowiedź: nie możemy, przynajmniej nie tylko z obserwacji danych. Musimy polegać na specyficznej wiedzy na temat leżących u podstaw związków przyczynowych.

gdy w grę wchodzi wiele współzmiennych, historia staje się bardziej skomplikowana. Musielibyśmy odwzorować cały wykres przyczynowy pomiędzy wszystkimi zmiennymi, leczeniem i wynikiem, i uzasadnić nasze mapowanie przyczynowe na podstawie naukowych podstaw.

wtedy możemy użyć zasad rachunku czynnościowego i zasad takich jak kryterium backdoora, aby znaleźć zestaw zmiennych do dostosowania, aby zablokować fałszywą korelację między leczeniem a wynikiem, abyśmy mogli oszacować prawdziwy efekt przyczynowy.

ogólnie rzecz biorąc, spodziewałbym się, że im więcej zmiennych dopasuje się do badania, tym bardziej prawdopodobne jest, że wprowadzają fałszywą korelację za pomocą Zderzacza lub blokują ścieżkę mediacji.

problem stopni swobody

oddzielnym silnym powodem, dla którego powinniśmy wątpić w badania, które dostosowują się do wielu zmiennych w sposób bez zasad, jest dodanie stopni swobody w zakresie przeprowadzania badania.

jeśli zmierzysz zależność między dwiema zmiennymi na 1000 różnych sposobów i wybierzesz tę, która wykazuje największą korelację, prawdopodobnie przecenisz skuteczność leczenia.

posiadanie większego zestawu zmiennych pozwala dostosować się do dowolnego podzbioru. Na przykład, jeśli masz dostęp do 10 zmiennych, możesz dostosować dla dowolnego z 2^10 ≈ 1000 możliwych podzbiorów.

nie musi być tak, że jedna grupa badawcza systematycznie próbuje wszystkich możliwych dostosowań podzbiorów i wybiera najlepszy (chociaż w szczególności niektóre metody statystyczne robią coś podobnego – np. krok po kroku lub najlepsze metody doboru zmiennych). Możliwe, że różni badacze próbują różnych podzbiorów, a mechanizm łączący ich wyniki jest stronniczy.

na przykład 100 grup badawczych może wypróbować 100 różnych podzbiorów. 95 z nich poprawnie zidentyfikowało, że nie ma efektu, ale z powodu uprzedzeń publikacyjnych nie udostępniają swoich wyników, podczas gdy 5 grup, które błędnie zidentyfikowały silny efekt, jest jedynymi, które zostają opublikowane, tworząc wrażenie, że wszystkie przeprowadzone badania wykazały silny efekt, w którym w rzeczywistości go nie ma.

podsumowując, jeśli nie zobowiązujesz się do przestrzegania zasad w swoim badaniu, bardziej prawdopodobne jest wprowadzenie błędu w wynikach.

słowo ostrzeżenia: nadal potrzebujesz dobrych kontroli

w tym artykule skupiamy się na problemie wyboru zbyt wielu, nieodpowiednich kontroli, ponieważ jest to intuicja, której brakuje większej liczbie osób, nawet wśród tych, którzy mają wiedzę na temat stosowanych statystyk.

pamiętaj jednak, że możesz popełnić przeciwny błąd – możesz nie dostosować się do odpowiednich czynników zakłócających-i w końcu dojść do wniosku, że spożycie czekolady powoduje Nagrody Nobla.

zwlaszcza z obserwacjami na temat zlozonych zjawisk, tylko dostosowanie sie do kilku rzeczy praktycznie gwarantuje, ze omija sie rzeczy, do ktorych nalezy sie dostosowywac-i mozna albo przesadzic, albo zanizyc efekt.

podobne wyzwanie znajduje się pod nagłówkiem “szczątkowe zakłócanie”. Nawet jeśli zidentyfikujesz dezorientatora i dostosujesz się do niego, nadal wpłynie to na wyniki proporcjonalne do tego, jak dokładnie możesz go zmierzyć — oczywiście mierzymy większość rzeczy niedokładnie lub przez pośrednika.

podsumowując w zdaniu: kontrolowanie czynników zakłócających jest kluczowe, jeśli chcesz wywnioskować skutki przyczynowe z danych obserwacyjnych.

więc co powinniśmy zrobić?

jako papier lakmusowy, bardziej wątpliwe są badania obserwacyjne, które dostosowują się do zmiennych, nie uzasadniając ich wyboru dostosowania na podstawie przyczyn przyczynowych.

jednak niektóre badania nie wykonują niezbędnej pracy, aby uzasadnić ich wybór czynników zakłócających, co pozostawia nas w znacznie gorszej sytuacji, aby wyodrębnić wiarygodne dane z ich pracy. Co możemy zrobić w takich przypadkach?

przede wszystkim możemy zbadać każdy z wybranych czynników zakłócających w izolacji i zastanowić się, jak zachowują się przyczynowo w stosunku do leczenia i wyniku.

Załóżmy na przykład, że dokonujemy przeglądu analizy wpływu układu o nierozprzestrzenianiu broni jądrowej (X) na poziom inwestycji w broń jądrową (Y) i zastanawiamy się, czy powinny one być dostosowane do PKB (Z).

cóż, może być tak, że kraje o wyższym PKB są również bardziej wpływowe i ukształtowały traktat, aby był dla nich korzystny, więc Z => X. A kraje o wyższym PKB mogą więcej inwestować w broń jądrową, więc Z = > Y. w tym przypadku PKB byłby błędem i powinniśmy się do tego dostosować.

ale moglibyśmy opowiedzieć równie przekonującą historię, argumentując, że kraje, które podpisują Traktat, prawdopodobnie będą postrzegane jako bardziej kooperatywne i otrzymają lepsze umowy handlowe, więc X = > Z. A kraje, które inwestują więcej w broń jądrową, mają lepsze bezpieczeństwo, więc przyciągają więcej inwestorów, więc Y = > Z. w tej interpretacji PKB jest zderzaczem i nie powinniśmy się do niego dostosowywać.

lub możemy połączyć dwa poprzednie scenariusze, aby argumentować, że X = >Z i Z = > Y, więc PKB byłby zderzaczem i nie powinniśmy się do niego dostosowywać.

wobec braku przekonujących powodów do odrzucenia alternatywnych wyjaśnień, nie powinniśmy dostosowywać się do PKB.

jednak proszę sobie wyobrazić, że badanie dostosowuje się do udziału w innych umowach jądrowych. Wydaje się, że można argumentować, że udział w innych traktatach spowodował udział w NPT; oba wydają się być bardziej bezpośrednio spowodowane ogólną predyspozycją kraju do podpisania Traktatów jądrowych.

w tym przypadku “predyspozycje do Traktatów” są mylące dla wpływu NPT na inwestycje jądrowe, ale nie możemy tego bezpośrednio zaobserwować. Możemy jednak zablokować jego fałszywy wpływ, dostosowując się do” innych traktatów nuklearnych ” zgodnie z kryterium backdoor.

co się stanie, jeśli badanie dostosuje się zarówno do GPD, jak i udziału w innych traktatach jądrowych?

domyślnie powinniśmy wątpić w zasadność ich wniosku.

możemy wykorzystać te informacje do pewnych prognoz (na przykład, możemy wykorzystać wyniki powyższego badania, aby odgadnąć, czy państwo, które i tak miało podpisać traktat, zmniejszy swoje inwestycje w arsenał jądrowy), ale nie możemy formułować zaleceń dotyczących leczenia (na przykład, nie możemy twierdzić, że lobbowanie podmiotu Państwowego w celu zaakceptowania NPT jest skutecznym sposobem na zmniejszenie ich arsenału).

jeśli chcemy spróbować uratować ich wyniki, możemy spróbować zbudować diagram przyczynowy odpowiednich zmiennych i rozważyć, czy ich wybór czynników zakłócających spełnia odpowiednie kryteria.

jeśli wybrane przez nich zmienne dopasowania nie blokują właściwie efektów fałszywych lub nie wprowadzają nowych efektów za pomocą zderzaczy, a my mamy dostęp do danych, możemy spróbować swoich sił w ponownym uruchomieniu badania z lepszym wyborem zmiennych dopasowania.

ale oczywiście nadal możemy zidentyfikować kluczowe czynniki zakłócające, których autorzy nie uwzględnili w zbiorze danych. W takim przypadku proponuję zwrócić uwagę na słowa Johna Tukey ‘ a:

“połączenie niektórych danych i bolesne pragnienie odpowiedzi nie zapewnia, że rozsądna odpowiedź może być wydobyta z danego zbioru danych.”

wnioski

w tym poście wyjaśniliśmy trzy rodzaje związków przyczynowych między współzmienną a parą wynik leczenia: czynniki zakłócające, mediatory i zderzacze. Widzieliśmy, że aby wydedukować skutki przyczynowe, powinniśmy dostosować się do czynników zakłócających, ale nie do mediatorów lub zderzaczy.

argumentowaliśmy, że im więcej zmiennych dostosowuje się do badania obserwacyjnego, tym bardziej prawdopodobne jest, że albo popełnią błąd przyczynowy, albo że dodatkowe stopnie swobody i uprzedzenia dotyczące publikacji wyolbrzymiają zgłaszany efekt.

ostrzegaliśmy również czytelnika przed popełnieniem przeciwnego błędu — dostosowanie się do czynników zakłócających w zasadniczy sposób jest niezbędne do przekształcenia danych obserwacyjnych w informacje przyczynowe.

jako sposób ekstrakcji danych z poprzednich badań zaproponowaliśmy krytyczną analizę ich wyboru współzmiennych dostosowań w oparciu o kryteria przyczynowe. Jeśli dostosują się do niepotrzebnych zmiennych, zaproponowaliśmy ponowne uruchomienie analizy, jeśli dane są dostępne, podczas gdy jeśli brakuje kluczowego dezorientatora w danych, powinniśmy po prostu zaakceptować, że czasami nie mamy wystarczająco dużo informacji, aby odpowiedzieć poprawnie na pytania, na których nam zależy.