USMLE för DOs: hur man slutar fleecing osteopatiska medicinska studenter

år 2018 tog 21 611 examinerade från MD-beviljande medicinska skolor i USA och Kanada USMLE Steg 1. De hade inget val. Se, USMLE är en licensiering examen – så om du vill träna som en allopatisk läkare i USA, du måste ta det.

men det fanns också 4 136 osteopatiska medicinska studenter som tog USMLE. Exakt noll av dessa studenter var skyldiga att ta provet. Faktum är att de är skyldiga att ta ett annat test – Comprehensive Osteopathic Medical Licensing Examination, eller COMLEX – för att ta examen från läkarskolan och få en medicinsk licens.

dessa studenter tog USMLE för att förbättra sin ansökan om uppehållstillstånd. Eftersom, trots konsolideringen av osteopatiska och allopatiska uppehållsprogram under ett enda ackrediteringssystem som drivs av ACGME, är många residency program directors (PDs) inte bekväma med COMLEX-poäng för att utvärdera sökande. Detta gäller särskilt för mer konkurrenskraftiga program och specialiteter, och vet eleverna det: i en undersökning rekommenderade 70% av osteopatiska medicinska studenter att framtida studenter tar USMLE för att maximera sina möjligheter att hitta ett hemvist.

följaktligen har osteopatiska medicinska studenter tagit USMLE i ökande antal, som visas nedan.

antalet DO-studenter som tar USMLE Steg 1 har ökat 13 gånger sedan 1997. Denna ökning förklaras endast delvis av det ökade antalet do-studenter.

att ta två uppsättningar licensundersökningar är inte billigt. De flesta gör studenter som tar USMLE ta både Steg 1 och steg 2 CK – vilket innebär att de betalar $1260 för förmånen att ta en licensiering examen som inte ens hjälpa dem att få licens.

förra året antog American Medical Association en resolution som säger att DO-och MD-licensprov bör ses lika. Detta är ett beundransvärt drag som sannolikt inte förändrar någonting. Så vad ska man göra? Hur kan vi förhindra osteopatiska studenter från att bli förbigångna på sina licensprov?

Låt oss ta en titt på fem alternativ.

gör #USMLEPassFail

gör bort USMLE-poäng, och antalet DO-studenter som väljer att ta USMLE kommer omedelbart att sjunka till noll. Problemet är att jag inte ser det hända.

tanken på ett pass / fail USMLE övervägdes vid Incus-mötet i mars 2019, och även om den slutliga bestämningen av poängrapportering inte kommer att släppas offentligt i ytterligare några veckor, är min läsning av tebladen att Steg 1-poängen inte går någonstans.

det finns flera orsaker till detta-inklusive den jag påpekade här. Men det är också viktigt att komma ihåg att Läkarstyrelsen har betydande ekonomiska incitament för att upprätthålla poängrapportering. Och det här är en av dem.

förra året tog NBME in $4,399,320 från osteopatiska studenter som tog steg 1 och steg 2 CK. Tror de är angelägna om att klara sig utan att intäkterna?

mig varken.

med andra ord, om vi vill hålla do studenter från att bli förbigångna, vi har att göra något annat. Vi måste göra COMLEX-poäng mer tolkbara för PDs som inte är vana vid att se dem.

det finns några sätt detta kan göras.

“konvertera” COMLEX till USMLE-poäng.

flera författare har analyserat förhållandet mellan COMLEX och USMLE-poäng. Förmodligen är den mest auktoritativa analysen den här, som inkluderade 1016-studenter vid College of Osteopathic Medicine of the Pacific som tog både COMLEX och USMLE.

inte överraskande var det ett linjärt förhållande mellan poäng på COMLEX och USMLE.

det finns ett starkt linjärt förhållande mellan COMLEX och USMLE-poäng (R2 = 0.696). Figur från Lee som et al., J Grad Med Educ 2014. PubMed

författarna härledde följande formel för att” konvertera ” COMLEX till USMLE-poäng:

USMLE Steg 1 = (0.2392) * (COMLEX Nivå 1) + 82.563

med hjälp av denna ekvation förutspår en 600 på COMLEX Nivå 1 ett USMLE Steg 1-poäng på 226.

fortfarande finns det uppenbara begränsningar med detta tillvägagångssätt.

först, även om korrelationen mellan COMLEX och USMLE är stark, är den inte perfekt.

titta noga på spridningen av data scatterplot ovan. För en student som får 600 på COMLEX går intervallet av observerade USMLE Steg 1-poäng från cirka 200 till över 250. (Detta är inte förvånande – även en student som tar USMLE Steg 1 två gånger på varandra följande dagar kan ha poäng som skiljer sig med 24 poäng. Men för alla PDs där ute som felaktigt tror att USMLE ger en perfekt exakt förutsägelse av en sökandes lämplighet för uppehållstillstånd, ett så brett spektrum är problematiskt.)

för det andra samlades uppgifterna i Lee-papperet från 2006 till 2012. Även om de ger en användbar ögonblicksbild, kommer de förmodligen inte att producera giltiga förutsägelser för samtida testtagare. Varför? Inte bara förändras befolkningen i COMLEX/USMLE-testtagare, men medelvärdet för USMLE Steg 1 ökar också med cirka 0,9 poäng/år.

USMLE”poäng kryp”. Notera högerförskjutningen av poängfördelningarna från 2015-2017 till 2016-2018.

Score creep betyder att ju äldre formeln är, desto mer sannolikt är det att förutse USMLE-poäng.

ta till exempel detta papper från 2006, som också hittade ett linjärt förhållande mellan COMLEX och USMLE-poäng. Men med hjälp av sin formel förutspår en 600 på COMLEX Nivå 1 ett USMLE Steg 1-poäng på bara 211.

istället, för att säkerställa att PDs utvärderar aktuella data, kan vi prova något annat. Vi kunde …

uppmuntra PDs att beräkna COMLEX-percentiler.

COMLEX-poängrapporterna som eleverna får innehåller inte en percentil. Men National Board of Osteopathic Medical Examiners (NBOME) gör tillgängligt ett onlineverktyg som PDs kan använda för att beräkna percentilen för en given COMLEX-poäng. (En länk till detta verktyg visas nu i ERAS Program Directors ‘ Work Station för osteopatiska sökande.)

med hjälp av NBOMe – verktyget kan vi se att en sökande med en COMLEX Nivå 1-poäng på 600 gjorde ganska bra poäng på 80: e percentilen av alla testtagare.

nuvarande fördelning av comlex Nivå 1 poäng, baserat på NBOMe percentil kalkylator.

men det finns åtminstone två stora problem med detta tillvägagångssätt också.

den första är praktisk. Tror vi verkligen att PDs kommer att ta sig tid att slå upp en COMLEX-percentil? Kom ihåg att själva anledningen till att de flesta PDs använder licensieringsundersökningsresultat är för screening-för att göra en snabb, ja/nej-bestämning om huruvida man ska intervjua en kandidat eller inte. Tanken att dessa PDs tar sig tid att gå till en separat webbplats – särskilt en klumpig som kräver flera ingångar för att spita ut de data du vill ha – verkar hopplöst naiv.

det andra problemet är betydelse. Vissa Pd: er gillar USMLE-poäng eftersom de ger en universell mätpinne. Att veta att en sökande har en 80: e percentil COMLEX är trevligt – men det berättar fortfarande inte hur den sökande jämför sig med dem som tog USMLE.

men kanske kan vi delvis komma runt dessa problem om vi…

konvertera COMLEX-percentiler till USMLE-percentiler.

innan vi går in i muttrarna och bultarna i detta, låt oss vara tydliga: COMLEX och USMLE är olika tester.

de har olika innehållsspecifikationer och format och tas av grupper av testtagare vars demografi och tidigare standardiserade testresultat skiljer sig systematiskt.

men allt detta åt sidan-vad händer om PDs kunde se, i korthet, vad en COMLEX poäng skulle vara om det var en USMLE poäng på samma percentilen? Vad händer om vi lägger konverteringen på ett enda bord så att PDs inte skulle behöva gå in på NBOMe-webbplatsen och leta upp en percentil varje gång de stöter på en DO-sökande?

det skulle vara lätt att göra den här typen av saker. Så lätt, faktiskt, att jag gick vidare och gjorde det.

jämförelse av COMLEX och USMLE percentil poäng. (Data extraherad härifrån och här.)

är detta ovetenskapligt? Säker.

men det använder också USMLE-poäng för att välja invånare. Så om vi ska vara ovetenskapliga, låt oss bara låta eleverna betala en gång för sina licensprov medan vi håller på med det.

ändå finns det en enklare lösning – en som inte litar på NBME för att agera mot sina ekonomiska intressen, och en som inte involverar PDs med en klumpig webbplats eller skriver ut tabellen ovan på ett laminerat kort.

ändra COMLEX score reporting scale.

skalan för COMLEX går från 0 till 1000. Skalan för USMLE går från 0 till 300.

varför?

PDs har en intuitiv känsla av vad som är en ‘bra’ USMLE poäng för sin specialitet. Varför inte utnyttja den intuitionen genom att rapportera COMLEX-resultat med de siffror som de flesta PD är mer bekanta med? Gör mig till president för NBOME, och det första jag ska göra är att börja rapportera COMLEX-poäng i samma skala som används av USMLE.

gör mig till kungen av medicinsk utbildning, och det första jag ska göra är att kräva att vi slutar förlita oss så mycket på någon engångsuppskattning av grundläggande vetenskapsmemorisering som mäter så lite av vad PDs och patienter verkligen bryr sig om. Men tills dess…

tillägg: flera läsare har frågat varför jag inte diskuterade tanken på att bli av med COMLEX och att alla osteopatiska medicinska studenter tar USMLE istället. Det är en bra ide – men en som verkar osannolikt att inträffa. För en sak, i vissa stater, är COMLEX skyddad enligt lag, så att bli av med det skulle kräva ändring av lagen om medicinsk praxis. Många stater tillåter DOs att licensieras genom att ta USMLE – men det verkar vara ett alternativ som få DOs bedriver. År 2018 tog endast 21 DOs USMLE Steg 3, trots de tusentals som tog steg 1 och 2 CK. Låt oss inte heller glömma att NBOME har ett egenintresse för att upprätthålla COMLEX – med intäkter på över 30 miljoner dollar och en VD som tog in 635 943 dollar i rapporterbar ersättning 2017. Det är svårt att föreställa sig att de villigt tillåter sig att lagstiftas ur existens. Att bli av med COMLEX och tillhandahålla en enda licensexamen för DOs och MDs är ett lovvärt mål – men det blir inte lätt.

du kanske också gillar:

en icke-MBA-Guide till nbme-intäkter i 9 enkla diagram

USMLE Steg 1: utjämning av spelplanen – eller bestående nackdel?