Confondeurs simplifiés

RÉSUMÉ: Toutes les covariables des variables de traitement et de résultat dans une étude observationnelle ne doivent pas être ajustées. Par défaut, il faut douter des études qui s’ajustent aveuglément à de nombreux facteurs de confusion sans justifier leur choix par des motifs de causalité.

AVERTISSEMENT: Ma connaissance de l’inférence causale est suffisamment limitée pour que je puisse dire des choses très fausses. Contactez-moi sur twitter @jsevillamol si vous trouvez une erreur!

Supposons que vous souhaitiez déterminer l’effet causal d’un traitement sur un résultat. Le premier ordre du jour consiste à déterminer s’il existe une corrélation statistique entre eux.

Bien que toujours difficile, nous disposons de bons outils statistiques pour déterminer les réseaux d’association statistique entre des ensembles complexes de variables.

Cependant, la corrélation n’est pas une causalité — une corrélation peut être causée par un facteur de confusion, un antécédent causal du traitement et des résultats.

Par exemple, le traitement pourrait être le tabagisme, le résultat pourrait être une maladie respiratoire et un facteur de confusion plausible est l’âge; les personnes plus âgées fument plus souvent ET sont plus sujettes aux maladies respiratoires.

Nous pouvons illustrer cette situation avec un diagramme causal:

Nous disons qu’il existe un chemin de porte dérobée débloqué du traitement au résultat via l’âge, c’est-à-dire fumer < = âge= > maladie respiratoire.

Idéalement, nous voudrions lancer un essai contrôlé randomisé (ECR) qui attribue au hasard le traitement afin que nous puissions détourner le chemin de la porte dérobée.

Mais ce n’est pas toujours possible; par exemple, le traitement peut être contraire à l’éthique, ou nous pouvons vouloir tirer des conclusions à partir de données historiques. Que devrions-nous faire dans ces situations?

Comment ne pas s’ajuster aux facteurs de confusion

Une autre façon de bloquer l’influence parasite du facteur de confusion consiste à s’ajuster par exemple par stratification. Dans l’exemple du tabagisme, nous pourrions diviser nos données chez les jeunes et les personnes âgées, étudier la corrélation entre le tabagisme et la maladie dans chaque groupe, puis rapporter la corrélation pondérée comme estimation de l’effet causal.

Cela fonctionnerait bien si nous étions convaincus que la covariable est en effet un facteur de confusion, ou ancêtre causal à la fois du traitement et du résultat — puisque dans chaque groupe étudié, la variable de confusion est fixe, elle ne peut plus influencer faussement le traitement et le résultat, et nous serons en mesure de faire des affirmations sur le véritable effet causal du traitement.

Ainsi, chaque fois que les chercheurs identifient une variable en corrélation avec le traitement et les résultats, ils ont tendance à s’y adapter.

Mais ce n’est pas la seule relation de causalité possible entre les trois variables!

Relations de causalité possibles entre le traitement X, le résultat Y et la covariable Z

Il peut arriver que la covariable médiate l’interaction entre le traitement et le résultat. Autrement dit, X = > Z et Z = > Y.

Par exemple, nous pourrions étudier l’effet des cultures d’OGM sur la santé des consommateurs, et nous découvrons que les OGM sont moins susceptibles d’être infectés par un agent pathogène. Dans ce cas, la présence d’un agent pathogène serait un médiateur entre les OGM et la santé des consommateurs.

Notez que le médiateur ne doit pas nécessairement être le seul mécanisme expliquant l’effet — l’OGM peut également modifier le profil alimentaire de la culture indépendamment de l’effet qu’il a sur les agents pathogènes.

Dans ce cas, l’ajustement pour la covariable Z réduira l’effet apparent du traitement X sur le résultat Y, et notre rapport sera trompeur (à moins que nous essayions spécifiquement de mesurer isolément la partie de l’effet du traitement non médiée par la covariable).

La troisième possibilité est que la covariable est un collisionneur de traitement et de résultat. C’est-à-dire que X et Y causent Z. Par exemple, nous pourrions avoir que les chercheurs en intelligence artificielle et les affitionates d’échecs aiment lire les développements sur le jeu d’échecs automatisé.

L’ajustement pour un collisionneur augmentera la force apparente de l’effet du traitement dans le résultat.

Dans l’exemple précédent, si nous avons interrogé les personnes qui ont lu un article de jeu d’échecs automatique, nous pouvons constater que les affitionates d’échecs sont moins susceptibles d’être des chercheurs en IA et vice—versa – mais cela ne serait pas surprenant, car nous filtrons de notre démographie d’enquête les personnes qui ne sont ni des chercheurs en IA ni des affitionaties d’échecs.

Alors méfiez-vous de l’ajustement pour les médiateurs et les collisionneurs!

Maintenant, comment distinguer les cas où une covariable est un facteur de confusion des cas des cas où elle est un médiateur ou un collisionneur?

Réponse courte: nous ne pouvons pas, du moins pas simplement en observant les données. Nous devons nous appuyer sur une connaissance spécifique du domaine des relations causales sous-jacentes.

Lorsque plusieurs covariables sont impliquées, l’histoire devient plus compliquée. Nous aurions besoin de cartographier l’ensemble du graphique causal entre toutes les covariables, le traitement et le résultat, et de justifier notre cartographie causale sur des bases scientifiques.

Ensuite, nous pouvons utiliser les règles du do-calcul et des principes tels que le critère de porte dérobée pour trouver un ensemble de covariables à ajuster pour bloquer la fausse corrélation entre le traitement et le résultat afin que nous puissions estimer le véritable effet causal.

En général, je m’attendrais à ce que plus une étude ajuste de variables, plus il est probable qu’elles introduisent une corrélation fausse via un collisionneur ou bloquent un chemin de médiation.

Le problème des degrés de liberté

Une raison distincte pour laquelle nous devrions douter des études qui s’ajustent à de nombreuses variables d’une manière sans principes est l’ajout de degrés de liberté sur la façon de réaliser l’étude.

Si vous mesurez une relation entre deux variables de 1000 façons différentes et choisissez celle qui montre la plus grande corrélation, vous risquez de surestimer l’efficacité du traitement.

Avoir un plus grand ensemble de covariables vous permet de vous ajuster pour n’importe quel sous-ensemble. Par exemple, si vous avez accès à 10 covariables, vous pouvez ajuster l’un des 2^10 ≈1000 sous-ensembles possibles.

Il n’est pas nécessaire qu’un seul groupe de recherche essaie systématiquement tous les sous—ensembles d’ajustement possibles et choisisse le meilleur (bien que certaines méthodes statistiques fassent quelque chose d’assez similaire à cela – par exemple les méthodes de sélection de variables par étapes ou par meilleur sous-ensemble). Il se peut que différents chercheurs essaient différents sous-ensembles et que le mécanisme qui combine leurs résultats soit biaisé.

Par exemple, 100 groupes de recherche peuvent essayer 100 sous-ensembles différents. 95 d’entre eux identifient correctement qu’il n’y a pas d’effet, mais en raison du biais de publication, ils ne rendent pas leurs résultats largement disponibles, tandis que les 5 groupes qui ont identifié par erreur un effet fort sontle seul qui est publié, donnant l’impression que toutes les études effectuées ont trouvé un effet fort là où en fait il n’y en a pas.

En résumé, lorsque vous ne vous engagez pas à suivre une méthode d’ajustement fondée sur des principes dans votre étude, vous êtes plus susceptible d’introduire un biais dans vos résultats.

Un mot d’avertissement: vous avez toujours besoin de bons contrôles

Dans cet article, nous nous concentrons sur le problème du choix de contrôles trop nombreux et inadaptés car c’est une intuition dont je vois que plus de gens manquent, même parmi ceux qui connaissent par ailleurs les statistiques appliquées.

Cependant, sachez que vous pouvez faire l’erreur inverse — vous pouvez ne pas vous adapter aux facteurs de confusion pertinents — et finir par conclure que la consommation de chocolat provoque des prix nobel.

En particulier avec les observations sur des phénomènes complexes, le seul ajustement pour quelques choses garantit pratiquement que vous omettez des choses pour lesquelles vous devriez vous ajuster — et vous pouvez soit surestimer ou sous-estimer l’effet.

Un défi connexe est appelé ” confusion résiduelle “. Même si vous identifiez un facteur de confusion et que vous l’ajustez, cela influencera toujours les résultats en fonction de la précision avec laquelle vous pouvez le mesurer — naturellement, nous mesurons la plupart des choses de manière inexacte ou par procuration.

Donc pour récapituler dans une phrase: le contrôle des facteurs de confusion est essentiel si vous souhaitez déduire des effets causaux à partir de données d’observation.

Alors que devons-nous faire?

À titre de test décisif, soyez plus dubitatif vis-à-vis des études d’observation qui s’ajustent aux variables sans justifier leur choix d’ajustement par des motifs de causalité.

Cependant, certaines études ne font pas le travail nécessaire pour justifier leur choix de facteurs de confusion, ce qui nous laisse dans une bien pire position pour extraire des données fiables de leurs travaux. Que pouvons-nous faire dans ces cas?

Tout d’abord, nous pouvons examiner chacun des facteurs de confusion choisis de manière isolée et réfléchir à leur comportement causal par rapport au traitement et au résultat.

Par exemple, supposons que nous examinions une étude de l’effet du Traité de non-prolifération (X) sur le niveau d’investissement dans les armes nucléaires (Y), et que nous nous demandions s’ils auraient dû s’ajuster au PIB (Z).

Eh bien, il se pourrait que les pays dont le PIB est plus élevé soient également plus influents et aient façonné le traité pour leur être bénéfique, donc Z = > X. Et les pays dont le PIB est plus élevé peuvent investir davantage dans les armes nucléaires, donc Z = > Y. Dans ce cas, le PIB serait un facteur de confusion et nous devrions nous y adapter.

Mais nous pourrions raconter une histoire tout aussi convaincante en faisant valoir que les pays qui signent le traité sont susceptibles d’être perçus comme plus coopératifs et d’obtenir de meilleurs accords commerciaux, donc X = > Z. Et les pays qui investissent davantage dans les armes nucléaires ont une meilleure sécurité afin d’attirer plus d’investisseurs, donc Y = > Z. Sous cette interprétation, le PIB est un collisionneur, et nous ne devrions pas nous y adapter.

Ou nous pourrions combiner les deux scénarios précédents pour faire valoir que X = > Z et Z = > Y, donc le PIB serait un collisionneur et nous ne devrions pas nous y adapter non plus.

En l’absence d’une raison impérieuse de rejeter les explications alternatives, nous ne devrions pas nous ajuster au PIB.

Imaginez cependant que l’étude s’adapte plutôt à la participation à d’autres accords nucléaires. Il semble artificiel d’affirmer que la participation à d’autres traités a entraîné la participation au TNP; les deux semblent être plus directement causés par la prédisposition générale du pays à signer des traités nucléaires.

Dans ce cas, la “prédisposition aux traités” est une confusion pour l’effet du TNP sur l’investissement nucléaire, mais nous ne pouvons pas l’observer directement. Cependant, nous pouvons bloquer son influence fallacieuse en nous adaptant aux “Autres traités nucléaires” selon le critère de la porte dérobée.

Que se passe-t-il si l’étude s’adapte à la fois à la DPD et à la participation à d’autres traités nucléaires?

Par défaut, nous devrions douter de la validité causale de leur conclusion.

Nous pourrions utiliser ces informations pour faire des prédictions (par exemple, nous pourrions utiliser les résultats de l’étude ci-dessus pour deviner si un État qui allait de toute façon signer le traité va réduire son investissement dans l’arsenal nucléaire) mais nous ne pouvons pas faire de recommandations de traitement (par exemple, nous ne pouvons pas affirmer que faire pression sur un acteur étatique pour qu’il accepte le TNP est un moyen efficace de l’amener à réduire son arsenal).

Si nous voulons essayer de sauver leurs résultats, nous pouvons essayer de construire un diagramme causal des variables pertinentes et d’examiner si leur choix de facteurs de confusion satisfait aux critères pertinents.

Si les variables d’ajustement qu’ils ont choisies ne bloquent pas correctement les effets parasites ou n’introduisent pas de nouveaux effets via des collisionneurs, et que nous avons accès aux données, nous pourrions essayer de relancer l’étude avec un meilleur choix de variables d’ajustement.

Mais bien sûr, nous pourrions toujours identifier des facteurs de confusion clés que les auteurs n’ont pas inclus dans l’ensemble de données. Dans ce cas, je suggère de prêter attention aux mots de John Tukey:

“La combinaison de certaines données et d’un désir douloureux de réponse ne garantit pas qu’une réponse raisonnable puisse être extraite d’un corps de données donné.”

Conclusions

Dans cet article, nous avons expliqué les trois types de relations causales entre une covariable et une paire de résultats de traitement: les facteurs de confusion, les médiateurs et les collisionneurs. Nous avons vu que pour déduire les effets causaux, nous devrions ajuster les facteurs de confusion, mais pas les médiateurs ou les collisionneurs.

Nous avons soutenu que plus une étude observationnelle prend en compte de variables, plus il est probable qu’elles aient commis une erreur de causalité ou que les degrés de liberté supplémentaires et le biais de publication exagèrent l’effet rapporté.

Nous avons également mis en garde le lecteur contre l’erreur inverse: il est essentiel de s’adapter aux facteurs de confusion de manière fondée sur des principes pour transformer les données d’observation en informations causales.

Pour extraire des données d’études antérieures, nous avons suggéré d’examiner de manière critique leur choix de covariables d’ajustement en fonction de critères de causalité. S’ils s’ajustent aux variables inutiles, nous avons suggéré de réexécuter l’analyse si les données sont disponibles, alors que s’il manque un élément de confusion clé dans les données, nous devrions simplement accepter que, parfois, nous n’avons pas assez d’informations pour répondre correctement aux questions qui nous intéressent.