L’USMLE pour DOs: Comment arrêter de flairer les étudiants en médecine ostéopathique

En 2018, 21 611 candidats d’écoles de médecine délivrant des MD aux États-Unis et au Canada ont suivi l’étape 1 de l’USMLE. Ils n’avaient pas le choix. Vous voyez, l’USMLE est un examen de licence – donc si vous voulez exercer en tant que médecin allopathe aux États-Unis, vous devez le passer.

Mais il y avait aussi 4 136 étudiants en médecine ostéopathique qui ont suivi l’USMLE. Exactement zéro de ces étudiants devaient passer l’examen. En fait, ils doivent passer un test différent – l’Examen complet de licence Médicale Ostéopathique, ou COMLEX – pour obtenir leur diplôme de médecine et obtenir une licence médicale.

Ces étudiants suivaient l’USMLE pour améliorer leur demande de résidence. Parce que, malgré la consolidation des programmes de résidence en ostéopathie et en allopathie sous un système d’accréditation unique géré par l’ACGME, de nombreux directeurs de programme de résidence (DP) ne sont pas à l’aise d’utiliser les scores COMLEX pour évaluer les candidats. Cela est particulièrement vrai pour les programmes et spécialités plus compétitifs, et les étudiants le savent-ils: dans une enquête, 70% des étudiants en médecine ostéopathique ont recommandé que les futurs étudiants prennent l’USMLE pour maximiser leurs chances de trouver une résidence.

En conséquence, les étudiants en médecine ostéopathique suivent l’USMLE en nombre croissant, comme indiqué ci-dessous.

Le nombre d’étudiants DO suivant l’étape 1 de l’USMLE a été multiplié par 13 depuis 1997. Cette hausse ne s’explique que partiellement par l’augmentation du nombre d’étudiants en DO.

Passer deux séries d’examens de licence n’est pas bon marché. La plupart des étudiants qui passent l’USMLE prennent à la fois l’étape 1 et l’étape 2 CK – ce qui signifie qu’ils paient 1260 $ pour le privilège de passer un examen de licence qui ne les aidera même pas à obtenir une licence.

L’année dernière, l’American Medical Association a adopté une résolution stipulant que les examens de licence DO et MD doivent être considérés de manière égale. C’est un geste admirable qui semble susceptible de ne rien changer. Alors, que faut-il faire? Comment pouvons-nous empêcher les étudiants en ostéopathie d’être floués lors de leurs examens de licence?

Examinons cinq options.

Faites #USMLEPassFail

Éliminez les scores USMLE, et le nombre d’étudiants DO qui choisissent de prendre l’USMLE tombera instantanément à zéro. Le problème, c’est que je ne vois pas ça arriver.

L’idée d’un USMLE pass / fail a été envisagée lors de la réunion de l’InCUS de mars 2019, et bien que la décision finale sur le rapport des scores ne soit pas rendue publique avant quelques semaines, ma lecture des feuilles de thé est que les scores de l’étape 1 ne vont nulle part.

Il y a plusieurs raisons à cela – y compris celle que j’ai soulignée ici. Mais il est également important de se rappeler que le Conseil national des médecins légistes dispose d’incitations financières importantes pour maintenir la déclaration des scores. Et c’est l’un d’entre eux.

L’an dernier, le NBME a reçu 4 399 320 from d’étudiants en ostéopathie qui ont suivi les étapes 1 et 2 CK. Vous pensez qu’ils sont impatients de s’en sortir sans ces revenus?

Moi non plus.

En d’autres termes, si nous voulons empêcher les étudiants de se faire peloter, nous devons faire quelque chose de différent. Nous devons rendre les scores COMLEX plus interprétables pour les PD qui n’ont pas l’habitude de les voir.

Il y a plusieurs façons de le faire.

“Convertir” les scores COMLEX en scores USMLE.

Plusieurs auteurs ont analysé la relation entre les scores COMLEX et USMLE. L’analyse la plus faisant probablement autorité est celle-ci, qui comprenait 1016 étudiants du Collège de médecine ostéopathique du Pacifique qui ont pris à la fois le COMLEX et l’USMLE.

Sans surprise, il y avait une relation linéaire entre les scores sur COMLEX et l’USMLE.

Il existe une forte relation linéaire entre les scores COMLEX et USMLE (R2 = 0,696). Figure de Lee AS et al., J Grad Med Educ 2014. PubMed

Les auteurs ont dérivé la formule suivante pour “convertir” les scores COMLEX en scores USMLE:

Étape USMLE 1 =(0,2392) * (Niveau COMLEX 1) + 82.563

En utilisant cette équation, un 600 au niveau COMLEX 1 prédit un score USMLE Step 1 de 226.

Cependant, cette approche présente des limites évidentes.

Premièrement, même si la corrélation entre COMLEX et USMLE est forte, elle n’est pas parfaite.

Regardez de près la propagation des données du nuage de points ci-dessus. Pour un étudiant qui obtient un score de 600 sur COMLEX, la gamme de scores USMLE Step 1 observés va d’environ 200 à plus de 250. (Ce n’est pas surprenant – même un étudiant qui prend l’étape 1 de l’USMLE deux fois de suite peut avoir des scores qui diffèrent de 24 points. Mais pour tous les PDs qui croient à tort que l’USMLE fournit une prédiction parfaitement précise de l’aptitude d’un demandeur à la résidence, un éventail aussi large est problématique.)

Deuxièmement, les données de l’article Lee ont été recueillies de 2006 à 2012. Bien qu’ils fournissent un instantané utile, ils ne produiront probablement pas de prédictions valides pour les candidats contemporains. Pourquoi? Non seulement la population des candidats aux tests COMLEX / USMLE change, mais le score moyen de l’étape 1 de l’USMLE augmente également d’environ 0,9 point / an.

USMLE “score de fluage”. Notez le déplacement vers la droite des distributions des scores de 2015-2017 à 2016-2018.

Le fluage des scores signifie que, plus la formule est ancienne, plus il est probable qu’elle sous-prédit les scores USMLE.

Prenons, par exemple, cet article de 2006, qui a également trouvé une relation linéaire entre les scores COMLEX et USMLE. Mais en utilisant leur formule, un 600 au niveau COMLEX 1 prédit un score USMLE Step 1 de seulement 211.

Au lieu de cela, pour nous assurer que les PD évaluent les données actuelles, nous pourrions essayer quelque chose de différent. Nous pourrionsEncourage

Encourager les PD à calculer les percentiles COMLEX.

Les rapports de score COMLEX que les élèves reçoivent n’incluent pas de centile. Cependant, le Conseil National des Médecins légistes ostéopathiques (NBOME) met à disposition un outil en ligne que PDs pourrait utiliser pour calculer le centile pour un score COMLEX donné. (Un lien vers cet outil apparaît maintenant dans le Poste de travail des Directeurs de programme ERAS pour les candidats ostéopathes.)

À l’aide de l’outil NBOME, nous pouvons voir qu’un candidat avec un score COMLEX de niveau 1 de 600 a plutôt bien obtenu un score au 80e percentile de tous les candidats.

Distribution actuelle des scores COMLEX de niveau 1, basée sur le calculateur de centiles NBOME.

Mais cette approche pose également au moins deux problèmes majeurs.

Le premier est pratique. Pensons-nous vraiment que les PD vont prendre le temps de rechercher un percentile COMLEX? N’oubliez pas que la raison même pour laquelle la plupart des PD utilisent les résultats des examens de licence est pour la présélection – pour déterminer rapidement, oui / non, s’il faut interviewer un candidat ou non. L’idée que ces PD prendront le temps d’aller sur un site Web séparé – en particulier un site maladroit qui nécessite plusieurs entrées pour recracher les données que vous souhaitez – semble désespérément naïve.

Le deuxième problème est le sens. Certains PD aiment les scores USMLE car ils fournissent un bâton de mesure universel. Savoir qu’un demandeur a un 80e percentile COMLEX est agréable – mais cela ne vous dit toujours pas comment ce demandeur se compare à ceux qui ont pris l’USMLE.

Mais peut-être que nous pourrions partiellement contourner ces préoccupations si nousConvert

Convertissons les centiles COMLEX en centiles USMLE.

Avant d’entrer dans les écrous et boulons de ceci, soyons clairs: COMLEX et USMLE sont des tests différents.

Ils ont des spécifications et des formats de contenu différents et sont pris par des groupes de candidats dont les données démographiques et les résultats des tests standardisés antérieurs diffèrent systématiquement.

Mais tout cela mis à part – et si PDs pouvait voir, en un coup d’œil, ce que serait un score COMLEX s’il s’agissait d’un score USMLE au même centile? Que se passe-t-il si nous plaçons la conversion sur une seule table afin que les PD n’aient pas à aller sur le site Web de NBOME et à rechercher un centile chaque fois qu’ils tombent sur un candidat DO?

Il serait facile de faire ce genre de chose. Si facile, en fait, que je suis allé de l’avant et je l’ai fait.

Comparaison des scores en centile COMLEX et USMLE. (Données extraites d’ici et d’ici.)

Est-ce non scientifique? Assurer.

Mais il en va de même pour l’utilisation des scores USMLE pour sélectionner les résidents. Donc, si nous voulons être non scientifiques, demandons aux étudiants de payer une fois leurs examens de licence pendant que nous y sommes.

Pourtant, il existe une solution plus facile – une solution qui ne repose pas sur le NBME pour agir contre ses meilleurs intérêts financiers, et une solution qui n’implique pas l’utilisation d’un site Web maladroit ou l’impression du tableau ci-dessus sur une carte plastifiée.

Modifiez l’échelle de rapport des scores COMLEX.

L’échelle pour COMLEX va de 0 à 1000. L’échelle pour l’USMLE va de 0 à 300.

Pourquoi?

Les PD ont une idée intuitive de ce qu’est un “bon” score USMLE pour leur spécialité. Pourquoi ne pas capitaliser sur cette intuition en rapportant les résultats COMLEX en utilisant les chiffres que la plupart des PD connaissent mieux? Faites-moi président du NBOME, et la première chose que je ferai est de commencer à rapporter les scores COMLEX sur la même échelle utilisée par l’USMLE.

Faites de moi le roi de l’éducation médicale, cependant, et la première chose que je vais faire est d’exiger que nous arrêtions de nous fier tant à une estimation ponctuelle et ponctuelle de la mémorisation des sciences fondamentales qui mesure si peu de ce qui intéresse vraiment les PD et les patients. Mais jusque-làADD

ADDENDUM : Plusieurs lecteurs m’ont demandé pourquoi je n’avais pas discuté de l’idée de me débarrasser de COMLEX et de faire passer l’USMLE à tous les étudiants en médecine ostéopathique. C’est une bonne idée – mais qui semble peu probable. D’une part, dans certains États, COMLEX est protégé par la loi, donc pour s’en débarrasser, il faudrait modifier la loi sur la pratique médicale. De nombreux États autorisent les DOs à obtenir une licence en prenant l’USMLE – mais cela semble être une option que peu de DOs poursuivent. En 2018, seulement 21 DOS ont pris l’étape 3 de l’USMLE, malgré les milliers de personnes qui ont pris les étapes 1 et 2 CK. N’oublions pas non plus que le NBOME a tout intérêt à maintenir COMLEX – avec un chiffre d’affaires de plus de 30 millions de dollars et un PDG qui a touché une rémunération déclarable de 635 943 dollars en 2017. Il est difficile de les imaginer se laisser volontairement légiférer hors de l’existence. Se débarrasser de COMLEX et fournir un seul examen de licence pour les DOs et les MDs est un objectif louable – mais ce ne sera pas facile.

VOUS POURRIEZ AUSSI AIMER:

Un guide non-MBA des revenus NBME en 9 graphiques simples

USMLE Étape 1: Niveler le terrain de jeu – ou perpétuer un désavantage?