Die USMLE für DOs: Wie man aufhört, osteopathische Medizinstudenten zu trödeln

Im Jahr 2018 nahmen 21.611 Prüflinge von medizinischen Fakultäten in den USA und Kanada an USMLE Step 1 teil. Sie hatten keine andere Wahl. Sehen Sie, die USMLE ist eine Lizenzprüfung – wenn Sie also als allopathischer Arzt in den Vereinigten Staaten praktizieren möchten, müssen Sie sie ablegen.

Aber es gab auch 4.136 osteopathische Medizinstudenten, die die USMLE nahmen. Genau null dieser Studenten mussten die Prüfung ablegen. Tatsächlich müssen sie einen anderen Test ablegen – die Comprehensive Osteopathic Medical Licensing Examination oder COMPLEX -, um die medizinische Fakultät zu absolvieren und eine medizinische Lizenz zu erhalten.

Diese Studenten nahmen die USMLE, um ihren Antrag auf Aufenthalt zu verbessern. Denn trotz der Konsolidierung von osteopathischen und allopathischen Residency-Programmen unter einem einzigen Akkreditierungssystem, das von der ACGME betrieben wird, sind viele Residency Program Directors (PDs) nicht bequem mit COMPLEX Scores, um Bewerber zu bewerten. Dies gilt insbesondere für wettbewerbsfähigere Programme und Spezialitäten, und wissen die Studenten es: In einer Umfrage empfahlen 70% der osteopathischen Medizinstudenten, dass zukünftige Studenten die USMLE nehmen, um ihre Aussichten auf eine Residenz zu maximieren.

Dementsprechend nehmen osteopathische Medizinstudenten die USMLE in zunehmender Zahl, wie unten gezeigt.

Die Zahl der DO-Studenten, die USMLE Step 1 belegen, hat sich seit 1997 um das 13-fache erhöht. Dieser Anstieg erklärt sich nur teilweise durch die gestiegene Zahl der DO-Studenten.

Es ist nicht billig, zwei Sätze von Zulassungsprüfungen abzulegen. Die meisten Studenten, die die USMLE nehmen, nehmen sowohl Schritt 1 als auch Schritt 2 CK – was bedeutet, dass sie $ 1260 für das Privileg zahlen, eine Lizenzprüfung abzulegen, die ihnen nicht einmal hilft, lizenziert zu werden.

Im vergangenen Jahr verabschiedete die American Medical Association eine Resolution, die besagt, dass DO- und MD-Lizenzprüfungen gleichermaßen betrachtet werden sollten. Dies ist ein bewundernswerter Schritt, der wahrscheinlich nichts ändern wird. Was sollte also getan werden? Wie können wir verhindern, dass osteopathische Studenten bei ihren Zulassungsprüfungen geschröpft werden?

Werfen wir einen Blick auf fünf Optionen.

Machen Sie #USMLEPassFail

Beseitigen Sie die USMLE-Punktzahlen, und die Anzahl der DO-Schüler, die sich für die USMLE entscheiden, sinkt sofort auf Null. Das Problem ist, ich sehe es nicht passieren.

Die Idee eines Pass / Fail-USMLE wurde auf dem InCUS-Meeting im März 2019 erwogen, und obwohl die endgültige Entscheidung über die Score-Berichterstattung erst in einigen Wochen veröffentlicht wird, ist meine Lektüre der Teeblätter, dass Step 1-Scores nirgendwo hingehen.

Dafür gibt es mehrere Gründe – auch den, auf den ich hier hingewiesen habe. Aber es ist auch wichtig, sich daran zu erinnern, dass das National Board of Medical Examiners erhebliche finanzielle Anreize hat, die Berichterstattung über die Punktzahl aufrechtzuerhalten. Und das ist einer von ihnen.

Letztes Jahr nahm die NBME $ 4.399.320 von osteopathischen Studenten auf, die Schritt 1 und Schritt 2 CK nahmen. Denken sie, sie wollen ohne diese Einnahmen auskommen?

Ich auch nicht.

Mit anderen Worten, wenn wir verhindern wollen, dass unsere Schüler geschröpft werden, müssen wir etwas anderes tun. Wir müssen COMPLEX-Scores für PDs besser interpretierbar machen, die es nicht gewohnt sind, sie zu sehen.

Es gibt einige Möglichkeiten, dies zu tun.

“Convert” COMPLEX zu USMLE Partituren.

Mehrere Autoren haben die Beziehung zwischen COMLEX- und USMLE-Scores analysiert. Die wahrscheinlich maßgeblichste Analyse ist diese, an der 1016 Studenten des College of Osteopathic Medicine des Pazifiks teilnahmen, die sowohl den COMLEX als auch den USMLE nahmen.

Es überrascht nicht, dass es eine lineare Beziehung zwischen den Scores auf COMLEX und der USMLE gab.

Es besteht eine starke lineare Beziehung zwischen COMLEX- und USMLE-Scores (R2 = 0,696). Abbildung von Lee AS et al., J Grad Med , 2014. PubMed

Die Autoren haben die folgende Formel abgeleitet, um COMLEX in USMLE-Scores zu “konvertieren:

USMLE Schritt 1 = (0,2392) * (COMPLEX Ebene 1) + 82.563

Mit dieser Gleichung sagt eine 600 auf COMLEX Level 1 einen USMLE Step 1 Score von 226 voraus.

Dennoch gibt es offensichtliche Einschränkungen bei diesem Ansatz.

Erstens ist die Korrelation zwischen COMLEX und USMLE zwar stark, aber nicht perfekt.

Schauen Sie sich die Ausbreitung der Daten im obigen Streudiagramm genau an. Für einen Studenten, der eine 600 auf COMLEX erzielt, reicht der Bereich der beobachteten USMLE Step 1-Punktzahlen von etwa 200 bis über 250. (Dies ist nicht überraschend – selbst ein Student, der USMLE Step 1 zweimal an aufeinanderfolgenden Tagen absolviert, kann Werte haben, die sich um 24 Punkte unterscheiden. Aber für alle PDs da draußen, die fälschlicherweise glauben, dass die USMLE eine vollkommen genaue Vorhersage der Wohnsitzfähigkeit eines Antragstellers liefert, Ein so breites Spektrum ist problematisch.)

Zweitens wurden die Daten im Lee Paper von 2006 bis 2012 erhoben. Obwohl sie eine nützliche Momentaufnahme liefern, werden sie wahrscheinlich keine gültigen Vorhersagen für zeitgenössische Testteilnehmer liefern. Warum? Nicht nur die Population der COMLEX / USMLE-Testteilnehmer ändert sich, auch die mittlere Punktzahl für USMLE Step 1 steigt um rund 0,9 Punkte / Jahr.

USMLE “Score kriechen”. Beachten Sie die Verschiebung der Score-Verteilungen von 2015-2017 nach 2016-2018 nach rechts.

Score Creep bedeutet, dass je älter die Formel ist, desto wahrscheinlicher ist es, USMLE-Scores zu unterschätzen.

Nehmen wir zum Beispiel dieses Papier aus dem Jahr 2006, das auch eine lineare Beziehung zwischen COMLEX- und USMLE-Scores fand. Aber mit ihrer Formel sagt eine 600 auf COMLEX Level 1 einen USMLE Step 1 Score von nur 211 voraus.

Um sicherzustellen, dass PDs aktuelle Daten auswertet, könnten wir stattdessen etwas anderes ausprobieren. Wir könnten …

PDs ermutigen, KOMPLEXE Perzentile zu berechnen.

Die COMPLEX-Score-Berichte, die die Schüler erhalten, enthalten kein Perzentil. Das National Board of Osteopathic Medical Examiners (NBOME) stellt jedoch ein Online-Tool zur Verfügung, mit dem PDs das Perzentil für einen bestimmten COMPLEX-Score berechnen kann. (Ein Link zu diesem Tool erscheint jetzt in der ERAS Program Directors ‘Work Station für osteopathische Bewerber.)

Mit dem NBOME–Tool können wir sehen, dass ein Bewerber mit einem COMPLEX Level 1-Score von 600 ziemlich gut abgeschnitten hat – er erzielte das 80.

Aktuelle Verteilung der COMPLEX Level 1 Scores, basierend auf dem NBOME Perzentilrechner.

Aber auch bei diesem Ansatz gibt es mindestens zwei große Probleme.

Die erste ist praktikabilität. Glauben wir wirklich, dass PDs sich die Zeit nehmen wird, ein KOMPLEXES Perzentil nachzuschlagen? Denken Sie daran, dass der Grund, warum die meisten PDs Lizenzprüfungsergebnisse verwenden, für das Screening ist – um eine schnelle Ja / Nein-Entscheidung darüber zu treffen, ob ein Kandidat interviewt werden soll oder nicht. Die Idee, dass diese PDs sich die Zeit nehmen, auf eine separate Website zu gehen – insbesondere eine klobige, die mehrere Eingaben erfordert, um die gewünschten Daten auszuspucken – scheint hoffnungslos naiv.

Das zweite Problem ist die Bedeutung. Einige PDs mögen USMLE-Scores, weil sie einen universellen Messstab bieten. Zu wissen, dass ein Bewerber einen 80–Perzentil-KOMPLEX hat, ist schön – aber es sagt Ihnen immer noch nicht, wie dieser Bewerber mit denen verglichen wird, die den USMLE genommen haben.

Aber vielleicht könnten wir diese Bedenken teilweise umgehen, wenn wir …

Komplexe Perzentile in USMLE-Perzentile konvertieren.

Bevor wir uns mit den Schrauben und Muttern befassen, sollten wir uns klar sein: COMLEX und USMLE sind unterschiedliche Tests.

Sie haben unterschiedliche inhaltliche Spezifikationen und Formate und werden von Gruppen von Testteilnehmern genommen, deren Demografie und frühere standardisierte Testergebnisse sich systematisch unterscheiden.

Aber das alles beiseite – was wäre, wenn PDs auf einen Blick sehen könnte, was ein COMPLEX-Score wäre, wenn es ein USMLE-Score im selben Perzentil wäre? Was wäre, wenn wir die Konvertierung in eine einzige Tabelle stellen würden, damit PDs nicht jedes Mal, wenn sie auf einen DO-Bewerber stoßen, auf die NBOME-Website gehen und ein Perzentil nachschlagen müssten?

Es wäre einfach, so etwas zu machen. So einfach, eigentlich, dass ich ging voran und tat es.

Vergleich von COMPLEX- und USMLE-Perzentilwerten. (Daten von hier und hier extrahiert.)

Ist das unwissenschaftlich? Sicher.

Aber auch die Verwendung von USMLE-Scores zur Auswahl von Bewohnern. Wenn wir also unwissenschaftlich sein wollen, lassen wir die Studenten nur einmal für ihre Lizenzprüfungen bezahlen, während wir gerade dabei sind.

Dennoch gibt es eine einfachere Lösung – eine, die nicht darauf angewiesen ist, dass die NBME gegen ihre finanziellen Interessen vorgeht, und eine, bei der PDs keine klobige Website verwendet oder die obige Tabelle auf einer laminierten Karte ausdruckt.

Ändern Sie die Berichtsskala für den COMLEX-Score.

Die Skala für COMPLEX reicht von 0 bis 1000. Die Skala für die USMLE reicht von 0 bis 300.

Warum?

PDs haben ein intuitives Gefühl dafür, was ein ‘guter’ USMLE-Score für ihre Spezialität ist. Warum nutzen Sie diese Intuition nicht, indem Sie KOMPLEXE Ergebnisse mit den Zahlen melden, mit denen die meisten PDs besser vertraut sind? Machen Sie mich zum Präsidenten des NBOME, und das erste, was ich tun werde, ist, komplexe Ergebnisse auf derselben Skala zu melden, die von der USMLE verwendet wird.

Machen Sie mich jedoch zum König der medizinischen Ausbildung, und das erste, was ich tun werde, ist zu fordern, dass wir aufhören, uns so sehr auf eine einmalige Punktschätzung des Grundlagenwissens zu verlassen, die so wenig von dem misst, was PDs und Patienten wirklich wichtig ist. Aber bis dahin …

NACHTRAG: Mehrere Leser haben gefragt, warum ich nicht über die Idee diskutiert habe, COMLEX loszuwerden und stattdessen alle osteopathischen Medizinstudenten die USMLE nehmen zu lassen. Es ist eine gute Idee – aber eine, die unwahrscheinlich zu sein scheint. Für eine Sache, in einigen Staaten, COMLEX ist gesetzlich geschützt, Um es loszuwerden, müsste das Medical Practice Act geändert werden. Viele Staaten erlauben DOs, durch die USMLE lizenziert zu werden – aber dies scheint eine Option zu sein, die nur wenige DOs verfolgen. Im Jahr 2018 nahmen nur 21 DOs USMLE Schritt 3, trotz der Tausenden, die Schritte 1 und 2 CK nahmen. Vergessen wir auch nicht, dass NBOME ein berechtigtes Interesse an der Aufrechterhaltung von COMLEX hat – mit einem Umsatz von über 30 Millionen US-Dollar und einem CEO, der 2017 eine berichtspflichtige Vergütung in Höhe von 635.943 US-Dollar erhalten hat. Es ist schwer vorstellbar, dass sie sich bereitwillig erlauben, aus der Existenz gerissen zu werden. COMLEX loszuwerden und eine einzige Zulassungsprüfung für DOs und MDs anzubieten, ist ein lobenswertes Ziel – aber es wird nicht einfach sein.

DAS KÖNNTE SIE AUCH INTERESSIEREN:

Ein Leitfaden für Nicht-MBA zu NBME-Einnahmen in 9 einfachen Diagrammen

USMLE Schritt 1: Nivellierung des Spielfelds – oder Aufrechterhaltung des Nachteils?