the USMLE for DOs: How to stop fleecing osteopathic medical students

in 2018, 21.611 examinees van MD-toekenning medische scholen in de VS en Canada nam USMLE Stap 1. Ze hadden geen keus. Kijk, de USMLE is een licentie-examen – dus als je wilt oefenen als een allopathische arts in de Verenigde Staten, moet je het nemen.

maar er waren ook 4.136 osteopathische geneeskundestudenten die de USMLE volgden. Precies nul van die studenten waren verplicht om het examen af te leggen. In feite zijn ze verplicht om een andere test te nemen – de uitgebreide osteopathische medische licentie onderzoek, of COMLEX-om af te studeren van de medische school en het verkrijgen van een medische licentie.

deze studenten namen de USMLE om hun aanvraag voor verblijf te verbeteren. Omdat, ondanks de consolidatie van osteopathische en allopathische residency programma ‘ s Onder een enkel accreditatiesysteem van de ACGME, veel residency program directors (PDs) zijn niet comfortabel met behulp van COMLEX scores om aanvragers te evalueren. Dit geldt vooral voor meer concurrerende programma ‘ s en specialiteiten, en doen studenten weten het: in een enquãate, 70% van de osteopathische medische studenten aanbevolen dat toekomstige studenten nemen de USMLE om hun vooruitzichten op het vinden van een residentie te maximaliseren.

dienovereenkomstig nemen osteopathische geneeskundestudenten steeds meer USMLE, zoals hieronder wordt aangegeven.

het aantal do-studenten dat USMLE Stap 1 neemt, is sinds 1997 met een factor 13 gestegen. Deze stijging is slechts gedeeltelijk te verklaren door het toegenomen aantal do-studenten.

het afleggen van twee sets licentie-examens is niet goedkoop. De meeste doen studenten die de USMLE nemen nemen zowel Stap 1 en stap 2 CK-wat betekent dat ze betalen $1260 voor het voorrecht van het nemen van een licentie-examen dat zal niet eens helpen hen krijgen een licentie.Vorig jaar nam de American Medical Association een resolutie aan waarin werd gesteld dat de examens van DO en MD licensing gelijkelijk moeten worden bekeken. Dit is een bewonderenswaardige zet die waarschijnlijk niets zal veranderen. Dus wat moet er gedaan worden? Hoe kunnen we voorkomen dat osteopathische studenten worden gevloerd op hun licentie examens?

laten we vijf opties bekijken.

zorg ervoor dat #USMLEPassFail

doe de USMLE-scores weg, en het aantal do-studenten die ervoor kiezen de USMLE te nemen zal onmiddellijk dalen tot nul. Het probleem is dat ik het niet zie gebeuren.

het idee van een pass/fail USMLE werd overwogen tijdens de InCUS-vergadering van maart 2019, en hoewel de uiteindelijke bepaling over score-rapportage pas over een paar weken openbaar zal worden gemaakt, is mijn lezing van de theeblaadjes dat Stap 1-scores nergens heen gaan.

hiervoor zijn meerdere redenen, waaronder die welke ik hier heb genoemd. Maar het is ook belangrijk om te onthouden dat de National Board of Medical Examiners aanzienlijke financiële prikkels heeft om scorerapportages te behouden. En dit is er een van.

vorig jaar nam de NBME $4.399.320 op van osteopathische studenten die stap 1 en stap 2 CK namen. Denk je dat ze willen overleven zonder die inkomsten?

Me geen van beide.

met andere woorden, als we willen voorkomen dat studenten worden gevloerd, moeten we iets anders doen. We moeten COMLEX scores meer interpreteerbaar maken voor PDs die ze niet gewend zijn te zien.

dit kan op een aantal manieren.

“converteer” COMLEX naar USMLE-scores.

verschillende auteurs hebben de relatie tussen COMLEX-en USMLE-scores geanalyseerd. Waarschijnlijk de meest gezaghebbende analyse is deze, die 1016 studenten aan het College Of Osteopathic Medicine of the Pacific omvatte die zowel de COMLEX als de USMLE namen.

het is niet verwonderlijk dat er een lineair verband was tussen de scores op COMLEX en de USMLE.

er bestaat een sterk lineair verband tussen comlex-en USMLE-scores (R2 = 0,696). Figuur van Lee AS et al., J Grad Med Education 2014. PubMed

de auteurs hebben de volgende formule afgeleid om COMLEX naar USMLE-partituren te “converteren” :

USMLE Stap 1 = (0,2392)*(COMLEX niveau 1) + 82.563

met behulp van deze vergelijking voorspelt een 600 op COMLEX niveau 1 een USMLE Step 1 score van 226.

toch zijn er duidelijke beperkingen met deze aanpak.

Ten eerste is de correlatie tussen COMLEX en USMLE sterk, maar niet perfect.

kijk goed naar de spreiding van de gegevens in het spreidingsschema hierboven. Voor een student die een 600 scoort op COMLEX, gaat het bereik van de waargenomen USMLE Step 1 scores van ongeveer 200 naar meer dan 250. (Dit is niet verwonderlijk – zelfs een student die USMLE Stap 1 twee keer op opeenvolgende dagen kan scores die verschillen door 24 punten. Maar voor alle PDs die er zijn die ten onrechte geloven dat de USMLE biedt een perfect nauwkeurige voorspelling van de geschiktheid van een aanvrager voor residentie, zo ‘ n breed scala is problematisch.)

ten tweede werden de gegevens in de Lee paper verzameld van 2006 tot 2012. Hoewel ze een nuttige momentopname bieden, zullen ze waarschijnlijk geen geldige voorspellingen produceren voor hedendaagse testnemers. Waarom? Niet alleen is de populatie van COMLEX/USMLE test-takers aan het veranderen, maar ook de gemiddelde score voor USMLE Stap 1 stijgt met ongeveer 0,9 punten/jaar.

USMLE “score creep”. Let op de verschuiving naar rechts van de Scoreverdeling van 2015-2017 naar 2016-2018.

Score creep betekent dat hoe ouder de formule is, hoe waarschijnlijker het is dat de USMLE-scores worden onderschat.

Neem bijvoorbeeld dit artikel uit 2006, waarin ook een lineair verband werd gevonden tussen COMLEX-en USMLE-scores. Maar met hun formule voorspelt een 600 op COMLEX Level 1 een USMLE Step 1 score van slechts 211.

om ervoor te zorgen dat PDs de huidige gegevens evalueren, kunnen we iets anders proberen. We zouden…

PDS kunnen aanmoedigen om COMLEX-percentielen te berekenen.

de COMLEX score-rapporten die studenten ontvangen bevatten geen percentiel. De National Board Of Osteopathic Medical Examiners (NBOME) stelt echter wel een online tool ter beschikking die PDs zou kunnen gebruiken om het percentiel voor een bepaalde COMLEX-score te berekenen. (Een link naar deze tool verschijnt nu in het ERAS programma Directors’ werkstation voor osteopathische aanvragers.)

met behulp van de NBOMe – tool kunnen we zien dat een kandidaat met een COMLEX Level 1 score van 600 redelijk goed scoort op het 80e percentiel van alle testnemers.

huidige verdeling van COMLEX niveau 1 scores, gebaseerd op de NBOMe percentiel calculator.

maar er zijn ook ten minste twee grote problemen met deze aanpak.

de eerste is praktisch. Denken we echt dat PDs de tijd gaat nemen om een COMLEX percentiel op te zoeken? Vergeet niet, de reden dat de meeste PDs gebruik maken van licentie – examen scores is voor screening-om een snelle, ja/nee bepaling over de vraag of een kandidaat te interviewen of niet. Het idee dat deze PD ‘ s De tijd nemen om naar een aparte website te gaan – vooral een onhandige die meerdere ingangen nodig heeft om de gewenste gegevens uit te spugen – lijkt hopeloos naïef.

het tweede probleem is Betekenis. Sommige PD ‘ s houden van USMLE-scores omdat ze een universele meetlat bieden. Weten dat een sollicitant een 80e percentiel COMLEX heeft is leuk – maar het vertelt je nog steeds niet hoe die sollicitant zich verhoudt tot degenen die de USMLE hebben genomen.

maar misschien kunnen we deze zorgen gedeeltelijk omzeilen als we …

COMLEX-percentielen converteren naar USMLE-percentielen.

voordat we in de moeren en bouten van deze, laten we duidelijk zijn: COMLEX en USMLE zijn verschillende tests.

ze hebben verschillende inhoudsspecificaties en formaten en worden genomen door groepen testnemers waarvan de demografische gegevens en eerdere gestandaardiseerde testscores systematisch verschillen.Maar dat alles terzijde-wat als PDs in één oogopslag kon zien wat een COMLEX-score zou zijn als het een USMLE-score met hetzelfde percentiel zou zijn? Wat als we de conversie op een enkele tabel zetten zodat PDs niet naar de NBOMe-website hoeven te gaan en elke keer een percentiel opzoeken als ze een Do-aanvrager tegenkomen?

het zou gemakkelijk zijn om dit soort dingen te maken. Zo makkelijk zelfs, dat ik het deed.

vergelijking van COMLEX-en USMLE-percentielscores. (Data geëxtraheerd uit hier en hier.)

Is dit onwetenschappelijk? Ervoor.

maar dat geldt ook voor het gebruik van USMLE-scores om bewoners te selecteren. Dus als we onwetenschappelijk willen zijn, laten we de studenten één keer betalen voor hun examens terwijl we toch bezig zijn.

toch is er een eenvoudigere oplossing – een oplossing die niet afhankelijk is van de NBME om tegen zijn financiële belangen in te handelen, en een oplossing die niet inhoudt dat PDs een onhandige website gebruiken of de tabel hierboven afdrukken op een gelamineerde kaart.

Wijzig de comlex score reporting scale.

de schaal voor COMLEX gaat van 0 naar 1000. De schaal voor de USMLE gaat van 0 naar 300.

waarom?

PDs hebben een intuïtief gevoel van wat een ‘goede’ USMLE score is voor hun specialiteit. Waarom niet profiteren van die intuïtie door COMLEX resultaten te rapporteren met behulp van de nummers die de meeste PDs zijn meer vertrouwd met? Maak me voorzitter van de NBOME, en het eerste wat ik zal doen is beginnen met het rapporteren van COMLEX scores op dezelfde schaal gebruikt door de USMLE.

maak me de koning van het medisch onderwijs, echter, en het eerste wat ik zal doen is eisen dat we stoppen met zoveel vertrouwen op een eenmalige, puntschatting van fundamentele wetenschappelijke memorisatie die zo weinig meet van wat PDs en patiënten echt de zorg over. Maar tot die tijd…

ADDENDUM: verschillende lezers hebben gevraagd waarom ik het idee om van COMLEX af te komen niet heb besproken en dat alle osteopathische medische studenten in plaats daarvan de USMLE nemen. Het is een goed idee – maar een die onwaarschijnlijk lijkt te gebeuren. Om te beginnen is COMLEX in sommige staten wettelijk beschermd, dus om er vanaf te komen zou de wet op de medische praktijk moeten worden gewijzigd. Veel staten staan DOs toe om te worden gelicentieerd door het nemen van de USMLE – maar dit lijkt een optie te zijn die weinig DOs nastreven. In 2018 Namen slechts 21 DOs USMLE Stap 3, ondanks de duizenden stappen 1 en 2 CK. Laten we ook niet vergeten dat de NBOME heeft een gevestigd belang in het behoud van COMLEX – met een omzet van meer dan $30 miljoen en een CEO die nam in $635.943 aan meldbare compensatie in 2017. Het is moeilijk voor te stellen dat ze zichzelf vrijwillig toestaan om uit het bestaan te verdwijnen. Het wegwerken van COMLEX en het verstrekken van een enkele licentie examen voor DOs en MDs is een prijzenswaardig doel – maar het zal niet gemakkelijk zijn.

u vindt het misschien ook leuk:

a non-MBA ‘ s Guide to nbme revenue in 9 simple charts

USMLE Stap 1: het speelveld egaliseren-of het nadeel in stand houden?