Confounders made simple

ZUSAMMENFASSUNG: Nicht alle Kovariaten von Behandlungs- und Ergebnisvariablen in einer Beobachtungsstudie sollten angepasst werden. Standardmäßig sollte man an Studien zweifeln, die sich blind auf viele Störfaktoren einstellen, ohne ihre Wahl aus kausalen Gründen zu rechtfertigen.

HAFTUNGSAUSSCHLUSS: Mein Wissen über kausale Inferenz ist begrenzt genug, dass ich Dinge sagen könnte, die sehr falsch sind. Erreichen Sie mich auf Twitter @jsevillamol, wenn Sie einen Fehler finden!

Angenommen, Sie möchten den kausalen Effekt einer Behandlung auf ein Ergebnis bestimmen. Die erste Aufgabe besteht darin, festzustellen, ob eine statistische Korrelation zwischen ihnen besteht.

Obwohl wir immer noch eine Herausforderung darstellen, verfügen wir über gute statistische Werkzeuge, um Netzwerke statistischer Assoziationen zwischen komplexen Variablensätzen zu bestimmen.

Korrelation ist jedoch keine Kausalität — eine Korrelation kann durch einen Störfaktor verursacht werden, eine kausale Vorgeschichte sowohl der Behandlung als auch des Ergebnisses.

Zum Beispiel könnte die Behandlung Rauchen sein, das Ergebnis könnte eine Atemwegserkrankung sein, und ein plausibler Störfaktor ist das Alter; ältere Menschen rauchen häufiger UND sind anfälliger für Atemwegserkrankungen.

Wir können diese Situation mit einem Kausaldiagramm veranschaulichen:

Wir sagen, dass es einen nicht blockierten Backdoor-Pfad von der Behandlung zum Ergebnis über das Alter gibt, dh Rauchen <= Alter => Atemwegserkrankung.

Idealerweise möchten wir eine randomisierte kontrollierte Studie (RCT) durchführen, die die Behandlung zufällig zuweist, damit wir den Backdoor-Pfad umleiten können.

Dies ist jedoch nicht immer möglich. Was sollten wir in solchen Situationen tun?

Wie man sich nicht auf Störfaktoren einstellt

Eine alternative Möglichkeit, den Störeinfluss des Störers zu blockieren, besteht darin, sich beispielsweise durch Schichtung anzupassen. Im Raucherbeispiel könnten wir unsere Daten in Jugendliche und alte Menschen aufteilen, die Korrelation zwischen Rauchen und Krankheit in jeder Gruppe untersuchen und dann die gewichtete Korrelation als Schätzung des kausalen Effekts angeben.

Dies würde gut funktionieren, wenn wir zuversichtlich sind, dass die Kovariate tatsächlich ein Störfaktor oder kausaler Vorfahr sowohl der Behandlung als auch des Ergebnisses ist — da innerhalb jeder untersuchten Gruppe die Störvariable fixiert ist, kann sie keinen falschen Einfluss mehr auf die Behandlung und das Ergebnis vermitteln, und wir werden in der Lage sein, Aussagen über die wahre kausale Wirkung der Behandlung zu treffen.

Wenn Forscher also eine Variable identifizieren, die sowohl mit der Behandlung als auch mit dem Ergebnis korreliert, neigen sie dazu, sich darauf einzustellen.

Aber das ist nicht der einzig mögliche kausale Zusammenhang zwischen den drei Variablen!

Mögliche kausale Beziehungen zwischen Behandlung X, Ergebnis Y und Kovariate Z

Es könnte vorkommen, dass die Kovariate die Wechselwirkung zwischen Behandlung und Ergebnis vermittelt. Das heißt, X => Z und Z => Y.

Wir könnten zum Beispiel die Auswirkungen von GVO-Pflanzen auf die Gesundheit der Verbraucher untersuchen und herausfinden, dass GVO weniger wahrscheinlich mit einem Krankheitserreger infiziert sind. In diesem Fall wäre das Vorhandensein eines Erregers ein Vermittler zwischen den GVO und der Gesundheit der Verbraucher.

Beachten Sie, dass der Mediator nicht der einzige Mechanismus sein muss, der die Wirkung erklärt — der GVO kann auch das Ernährungsprofil der Kultur unabhängig von der Wirkung auf Krankheitserreger verändern.

In diesem Fall verringert die Anpassung an die Kovariate Z die scheinbare Wirkung der Behandlung X auf das Ergebnis Y, und unser Bericht ist irreführend (es sei denn, wir haben speziell versucht, den Teil der Wirkung der Behandlung isoliert zu messen, der nicht durch die Kovariate vermittelt wird).

Die dritte Möglichkeit ist, dass die Kovariate ein Kollider von Behandlung und Ergebnis ist. Das heißt, sowohl X als auch Y verursachen Z. Wir könnten zum Beispiel haben, dass sowohl Forscher der künstlichen Intelligenz als auch Schachliebhaber gerne Entwicklungen zum automatisierten Schachspiel lesen.

Die Anpassung an einen Collider erhöht die scheinbare Stärke der Wirkung der Behandlung im Ergebnis.

Wenn wir im vorherigen Beispiel die Personen befragt haben, die einen Artikel zum automatischen Schachspiel gelesen haben, stellen wir möglicherweise fest, dass Schach—Affitionate weniger wahrscheinlich KI-Forscher sind und umgekehrt – aber das wäre nicht überraschend, da wir aus unserer Umfrage-Demografie die Personen herausfiltern, die weder KI-Forscher noch Schach-Affitionate sind.

Also Vorsicht, für Mediatoren und Collider!

Wie unterscheiden wir nun die Fälle, in denen eine Kovariate ein Confounder ist, von den Fällen, in denen sie ein Mediator oder Collider ist?

Kurze Antwort: Wir können nicht, zumindest nicht nur aus der Beobachtung der Daten. Wir müssen uns auf domänenspezifisches Wissen über die zugrunde liegenden Kausalzusammenhänge verlassen.

Wenn mehrere Kovariaten beteiligt sind, wird die Geschichte komplizierter. Wir müssten den gesamten Kausalgraphen zwischen allen Kovariaten, der Behandlung und dem Ergebnis abbilden und unsere Kausalkartierung aus wissenschaftlichen Gründen rechtfertigen.

Dann können wir die Regeln des Do-Kalküls und Prinzipien wie das Backdoor-Kriterium verwenden, um eine Reihe von Kovariaten zu finden, die angepasst werden müssen, um die falsche Korrelation zwischen Behandlung und Ergebnis zu blockieren, so dass wir den wahren kausalen Effekt abschätzen können.

Im Allgemeinen würde ich erwarten, dass je mehr Variablen eine Studie berücksichtigt, desto wahrscheinlicher ist es, dass sie eine falsche Korrelation über einen Collider einführen oder einen Vermittlungspfad blockieren.

Das Problem der Freiheitsgrade

Ein separater starker Grund, warum wir Studien bezweifeln sollten, die viele Variablen prinzipienlos anpassen, ist die Hinzufügung von Freiheitsgraden zur Durchführung der Studie.

Wenn Sie eine Beziehung zwischen zwei Variablen auf 1000 verschiedene Arten messen und diejenige auswählen, die die größte Korrelation aufweist, überschätzen Sie wahrscheinlich die Wirksamkeit der Behandlung.

Wenn Sie eine größere Menge von Kovariablen haben, können Sie diese für jede gewünschte Teilmenge anpassen. Wenn Sie beispielsweise Zugriff auf 10 Kovariaten haben, können Sie eine beliebige von 2 ^ 10 ≈ 1000 möglichen Teilmengen anpassen.

Es muss nicht sein, dass eine einzelne Forschungsgruppe systematisch alle möglichen Variablenteilmengen ausprobiert und die beste auswählt (obwohl insbesondere einige statistische Methoden etwas ziemlich Ähnliches tun — z. B. schrittweise oder beste Teilmengenmethoden der Variablenselektion). Es könnte sein, dass verschiedene Forscher verschiedene Teilmengen ausprobieren und der Mechanismus, der ihre Ergebnisse kombiniert, voreingenommen ist.

Beispielsweise können 100 Forschungsgruppen 100 verschiedene Teilmengen ausprobieren. 95 von ihnen identifizieren richtig, dass es keinen Effekt gibt, aber wegen der Publikationsverzerrung machen sie ihre Ergebnisse nicht allgemein verfügbar, während die 5 Gruppen, die fälschlicherweise einen starken Effekt identifiziert haben, die einzigen sind, die veröffentlicht werden, was den Eindruck erweckt, dass alle durchgeführten Studien einen starken Effekt gefunden haben, wo es tatsächlich keinen gibt.

Zusammenfassend lässt sich sagen, dass Sie, wenn Sie sich nicht dazu verpflichten, eine prinzipielle Art der Anpassung in Ihrer Studie durchzuführen, eher eine Verzerrung in Ihren Ergebnissen einführen.

Ein Wort der Vorsicht: Sie brauchen immer noch gute Kontrollen

In diesem Artikel konzentrieren wir uns auf das Problem, zu viele ungeeignete Kontrollen auszuwählen, da dies eine Intuition ist, die mehr Menschen fehlt, selbst unter denen, die sich sonst mit angewandter Statistik auskennen.

Denken Sie jedoch daran, dass Sie den gegenteiligen Fehler machen können — Sie können sich nicht auf relevante Störfaktoren einstellen — und am Ende zu dem Schluss kommen, dass Schokoladenkonsum Nobelpreise verursacht.

Besonders bei Beobachtungen komplexer Phänomene garantiert nur die Anpassung an ein paar Dinge praktisch, dass Sie Dinge auslassen, auf die Sie sich einstellen sollten — und Sie können den Effekt entweder über- oder unterschätzen.

Eine verwandte Herausforderung geht unter die Überschrift ‘residual Confounding’. Selbst wenn Sie einen Confounder identifizieren und ihn anpassen, beeinflusst dies die Ergebnisse entsprechend der Genauigkeit, mit der Sie ihn messen können — natürlich messen wir die meisten Dinge ungenau oder stellvertretend.

Um es in einem Satz zusammenzufassen: die Kontrolle von Störfaktoren ist der Schlüssel, wenn Sie kausale Effekte aus Beobachtungsdaten ableiten möchten.

Was sollen wir also tun?

Seien Sie als Lackmustest zweifelhafter an Beobachtungsstudien, die Variablen anpassen, ohne ihre Wahl der Anpassung aus kausalen Gründen zu rechtfertigen.

Einige Studien leisten jedoch nicht die notwendige Arbeit, um ihre Wahl der Störfaktoren zu rechtfertigen, wodurch wir in einer viel schlechteren Position sind, zuverlässige Daten aus ihrer Arbeit zu extrahieren. Was können wir in diesen Fällen tun?

Zunächst können wir jeden der ausgewählten Störfaktoren isoliert untersuchen und überlegen, wie sie sich in Bezug auf die Behandlung und das Ergebnis kausal verhalten.

Angenommen, wir überprüfen eine Studie über die Auswirkungen des Nichtverbreitungsvertrags (X) auf die Höhe der Investitionen in Atomwaffen (Y) und fragen uns, ob sie um das BIP hätten bereinigt werden sollen (Z).

Nun, es könnte sein, dass Länder mit höherem BIP auch einflussreicher sind und den Vertrag so gestaltet haben, dass er für sie von Vorteil ist, also Z => X. Und Länder mit höherem BIP können mehr in Atomwaffen investieren, also Z => Y. In diesem Fall wäre das BIP ein Störfaktor, und wir sollten uns darauf einstellen.

Aber wir könnten eine ebenso überzeugende Geschichte erzählen, die argumentiert, dass Länder, die den Vertrag unterzeichnen, wahrscheinlich als kooperativer wahrgenommen werden und bessere Handelsabkommen erhalten, also X => Z. Und Länder, die mehr in Atomwaffen investieren, haben eine bessere Sicherheit, so dass sie mehr Investoren anziehen, also Y => Z. Unter dieser Interpretation ist das BIP ein Collider, und wir sollten uns nicht darauf einstellen.

Oder wir könnten die beiden vorherigen Szenarien kombinieren, um zu argumentieren, dass X=>Z und Z=>Y , also wäre es ein Collider und wir sollten uns auch nicht darauf einstellen.

In Ermangelung eines zwingenden Grundes, die alternativen Erklärungen abzulehnen, sollten wir das BIP nicht anpassen.

Stellen Sie sich jedoch vor, dass die Studie stattdessen für die Teilnahme an anderen Atomabkommen angepasst wird. Es scheint erfunden zu argumentieren, dass die Teilnahme an anderen Verträgen die Teilnahme am NVV verursacht hat; Beide scheinen direkter durch die allgemeine Veranlagung des Landes zur Unterzeichnung von Atomverträgen verursacht zu sein.

In diesem Fall ist die “Veranlagung zu Verträgen” ein Störfaktor für die Auswirkungen des NVV auf nukleare Investitionen, aber wir können sie nicht direkt beobachten. Wir können jedoch seinen falschen Einfluss blockieren, indem wir “andere Atomverträge” gemäß dem Backdoor-Kriterium anpassen.

Was passiert, wenn die Studie sowohl die GPD als auch die Teilnahme an anderen Atomverträgen berücksichtigt?

Standardmäßig sollten wir die kausale Gültigkeit ihrer Schlussfolgerung bezweifeln.

Wir könnten diese Informationen verwenden, um einige Vorhersagen zu treffen (zum Beispiel könnten wir die Ergebnisse der obigen Studie verwenden, um zu erraten, ob ein Staat, der den Vertrag sowieso unterzeichnen würde, seine Investitionen in das Nukleararsenal reduzieren wird), aber wir können keine Behandlungsempfehlungen geben (zum Beispiel können wir nicht behaupten, dass die Lobbyarbeit eines staatlichen Akteurs zur Annahme des NVV ein wirksamer Weg ist, um sie dazu zu bringen, ihr Arsenal zu reduzieren).

Wenn wir versuchen wollen, ihre Ergebnisse zu retten, können wir versuchen, ein kausales Diagramm relevanter Variablen zu erstellen und zu prüfen, ob ihre Wahl der Störfaktoren die relevanten Kriterien erfüllt.

Wenn die von ihnen gewählten Anpassungsvariablen falsche Effekte nicht richtig blockieren oder neue Effekte über Collider einführen und wir Zugriff auf die Daten haben, möchten wir vielleicht versuchen, die Studie mit einer besseren Auswahl an Anpassungsvariablen erneut auszuführen.

Aber natürlich können wir immer noch wichtige Störfaktoren identifizieren, die die Autoren nicht in den Datensatz aufgenommen haben. In diesem Fall schlage ich vor, auf John Tukeys Worte zu achten:

“Die Kombination einiger Daten und eines schmerzenden Verlangens nach einer Antwort stellt nicht sicher, dass eine vernünftige Antwort aus einem bestimmten Datenbestand extrahiert werden kann.”

Schlussfolgerungen

In diesem Beitrag haben wir die drei Arten von kausalen Beziehungen zwischen einer Kovariate und einem Behandlungsergebnis-Paar erklärt: Confounder, Mediatoren und Collider. Wir haben gesehen, dass wir, um kausale Effekte abzuleiten, uns auf Störfaktoren einstellen sollten, aber nicht auf Vermittler oder Kollider.

Wir haben argumentiert, dass je mehr Variablen eine Beobachtungsstudie berücksichtigt, desto wahrscheinlicher ist, dass sie entweder einen kausalen Fehler gemacht haben oder dass die zusätzlichen Freiheitsgrade und Publikationsverzerrungen den berichteten Effekt übertreiben.

Wir haben den Leser auch davor gewarnt, den gegenteiligen Fehler zu machen — eine prinzipielle Anpassung an Störfaktoren ist unerlässlich, um Beobachtungsdaten in kausale Informationen umzuwandeln.

Um Daten aus früheren Studien zu extrahieren, haben wir vorgeschlagen, die Auswahl der Anpassungskovariaten anhand kausaler Kriterien kritisch zu untersuchen. Wenn sie sich an nicht benötigte Variablen anpassen, haben wir vorgeschlagen, die Analyse erneut durchzuführen, wenn die Daten verfügbar sind, während wir, wenn ein wichtiger Confounder in den Daten fehlt, einfach akzeptieren sollten, dass wir manchmal nicht genügend Informationen haben, um die Fragen, die uns wichtig sind, richtig zu beantworten.