L’USMLE per DOs: Come smettere di spennare gli studenti di medicina osteopatica

In 2018, gli esaminandi 21,611 delle scuole mediche MD-grant negli Stati Uniti e in Canada hanno preso USMLE Step 1. Non avevano scelta. Vedi, l’USMLE è un esame di licenza, quindi se vuoi esercitarti come medico allopatico negli Stati Uniti, devi prenderlo.

Ma c’erano anche 4.136 studenti di medicina osteopatica che hanno preso l’USMLE. Esattamente zero di quegli studenti sono stati tenuti a sostenere l’esame. Infatti, sono tenuti a fare un test diverso-l’esame completo di licenza medica osteopatica, o COMLEX-per laurearsi in medicina e ottenere una licenza medica.

Questi studenti stavano prendendo l’USMLE per migliorare la loro domanda di residenza. Perché, nonostante il consolidamento dei programmi di residenza osteopatica e allopatica nell’ambito di un unico sistema di accreditamento gestito dall’ACGME, molti direttori del programma di residenza (PDs) non sono a proprio agio nell’utilizzare i punteggi COMLEX per valutare i candidati. Ciò è particolarmente vero per i programmi e le specialità più competitive, e gli studenti lo sanno: in un sondaggio, il 70% degli studenti di medicina osteopatica ha raccomandato che i futuri studenti prendano l’USMLE per massimizzare le loro prospettive di trovare una residenza.

Di conseguenza, gli studenti di medicina osteopatica hanno assunto l’USMLE in numero crescente, come mostrato di seguito.

Il numero di studenti DO che prendono USMLE Step 1 è aumentato di 13 volte dal 1997. Questo aumento è solo parzialmente spiegato dall’aumento del numero di studenti DO.

Prendere due serie di esami di licenza non è economico. La maggior parte degli studenti che prendono l’USMLE prendono sia Step 1 che Step 2 CK – il che significa che pagano 1 1260 per il privilegio di sostenere un esame di licenza che non li aiuterà nemmeno a ottenere la licenza.

L’anno scorso, l’American Medical Association ha approvato una risoluzione dicendo che gli esami di licenza DO e MD dovrebbero essere visti allo stesso modo. Questa è una mossa ammirevole che sembra destinata a cambiare nulla. Quindi cosa si dovrebbe fare? Come possiamo evitare che gli studenti osteopatici vengano spennati durante i loro esami di licenza?

Diamo un’occhiata a cinque opzioni.

Fai #USMLEPassFail

Elimina i punteggi USMLE e il numero di studenti DO che scelgono di prendere l’USMLE scenderà immediatamente a zero. Il problema è che non lo vedo accadere.

L’idea di un USMLE pass/fail è stata presa in considerazione alla riunione InCUS di marzo 2019, e anche se la determinazione finale sulla segnalazione del punteggio non sarà pubblicata pubblicamente per altre settimane, la mia lettura delle foglie di tè è che i punteggi del passo 1 non stanno andando da nessuna parte.

Ci sono molteplici ragioni per questo-incluso quello che ho sottolineato qui. Ma è anche importante ricordare che il National Board of Medical Examiners ha significativi incentivi finanziari per mantenere la segnalazione del punteggio. E questo è uno di loro.

L’anno scorso, il NBME ha preso in students 4,399,320 da studenti osteopatici che hanno preso Fase 1 e Fase 2 CK. Pensi che siano desiderosi di cavarsela senza quelle entrate?

Nemmeno io.

In altre parole, se vogliamo impedire agli studenti di essere tosati, dobbiamo fare qualcosa di diverso. Dobbiamo rendere i punteggi COMLEX più interpretabili per i PD che non sono abituati a vederli.

Ci sono alcuni modi in cui questo potrebbe essere fatto.

“Converti” COMLEX in punteggi USMLE.

Diversi autori hanno analizzato la relazione tra i punteggi COMLEX e USMLE. Probabilmente l’analisi più autorevole è questa, che comprendeva 1016 studenti del College of Osteopathic Medicine of the Pacific che hanno preso sia il COMLEX che l’USMLE.

Non sorprende che ci fosse una relazione lineare tra i punteggi su COMLEX e USMLE.

Esiste una forte relazione lineare tra i punteggi COMLEX e USMLE (R2 = 0.696). Figura da Lee COME et al., J Grad Med Educ 2014. PubMed

Gli autori hanno derivato la seguente formula per “convertire” i punteggi COMLEX in USMLE:

USMLE Passo 1 = (0.2392)*(COMLEX Livello 1) + 82.563

Usando questa equazione, un 600 sul livello COMLEX 1 prevede un punteggio USMLE Step 1 di 226.

Tuttavia, ci sono evidenti limitazioni con questo approccio.

Innanzitutto, anche se la correlazione tra COMLEX e USMLE è forte, non è perfetta.

Guarda attentamente la diffusione dei dati del grafico a dispersione sopra. Per uno studente che segna un 600 su COMLEX, la gamma di USMLE osservato Passo 1 punteggi va da circa 200 a oltre 250. (Questo non è sorprendente – anche uno studente che prende USMLE Passo 1 due volte in giorni consecutivi può avere punteggi che differiscono di 24 punti. Ma per tutti i PD là fuori che credono erroneamente che l’USMLE fornisce una previsione perfettamente precisa dell’attitudine di un richiedente per la residenza, una gamma così ampia è problematica.)

In secondo luogo, i dati nel Lee paper sono stati raccolti dal 2006 al 2012. Sebbene forniscano un’istantanea utile, probabilmente non produrranno previsioni valide per i test-takers contemporanei. Perché? Non solo è la popolazione di COMLEX/USMLE test-takers cambiando, ma il punteggio medio per USMLE Fase 1 è anche in aumento di circa 0,9 punti/anno.

USMLE “score creep”. Si noti lo spostamento a destra delle distribuzioni di punteggio da 2015-2017 a 2016-2018.

Score creep significa che, più vecchia è la formula, più è probabile che sia sotto-prevedere i punteggi USMLE.

Prendiamo, ad esempio, questo articolo del 2006, che ha anche trovato una relazione lineare tra i punteggi COMLEX e USMLE. Ma usando la loro formula, un 600 su COMLEX Level 1 prevede un punteggio USMLE Step 1 di soli 211.

Invece, per garantire che i PD stiano valutando i dati correnti, potremmo provare qualcosa di diverso. Potremmo Encourage

Incoraggiare PDs a calcolare i percentili COMLEX.

I rapporti punteggio COMLEX che gli studenti ricevono non includono un percentile. Tuttavia, il National Board of Osteopathic Medical Examiners (NBOME) rende disponibile uno strumento online che PDs potrebbe utilizzare per calcolare il percentile per un dato punteggio COMLEX. (Un link a questo strumento appare ora nella stazione di lavoro dei direttori del programma ERAS per i candidati osteopatici.)

Usando lo strumento NBOME, possiamo vedere che un richiedente con un punteggio COMLEX di livello 1 di 600 ha fatto abbastanza bene – segnando all ‘ 80 ° percentile di tutti i test-takers.

Distribuzione corrente di COMLEX livello 1 punteggi, sulla base della calcolatrice percentile NBOME.

Ma ci sono almeno due problemi importanti anche con questo approccio.

Il primo è la praticità. Pensiamo davvero che PDs stanno andando a prendere il tempo per cercare un percentile COMLEX? Ricorda, la ragione stessa per cui la maggior parte dei PD usa i punteggi degli esami di licenza è per lo screening – per fare una rapida, sì / no determinazione sull’opportunità di intervistare un candidato o meno. L’idea che questi PDS si prendano il tempo per andare su un sito Web separato, in particolare uno goffo che richiede diversi input per sputare i dati desiderati, sembra irrimediabilmente ingenuo.

Il secondo problema è il significato. Alcuni PD come i punteggi USMLE perché forniscono un bastoncino di misurazione universale. Sapere che un richiedente ha un 80 ° percentile COMLEX è bello – ma ancora non ti dice come quel richiedente si confronta con quelli che hanno preso l’USMLE.

Ma forse potremmo parzialmente aggirare queste preoccupazioni se Convert

Convertiamo i percentili COMLEX in percentili USMLE.

Prima di entrare nei dadi e bulloni di questo, cerchiamo di essere chiari: COMLEX e USMLE sono test diversi.

Hanno specifiche e formati di contenuto diversi e sono presi da gruppi di esaminandi i cui dati demografici e precedenti punteggi dei test standardizzati differiscono sistematicamente.

Ma tutto ciò a parte-e se PDs potesse vedere, a colpo d’occhio, quale sarebbe un punteggio COMLEX se fosse un punteggio USMLE allo stesso percentile? Che cosa succede se mettiamo la conversione su un unico tavolo in modo che PDs non avrebbe dovuto andare nel sito web NBOME e cercare un percentile ogni volta che si imbattono in un richiedente DO?

Sarebbe facile fare questo genere di cose. Così facile, infatti, che sono andato avanti e l’ho fatto.

Confronto dei punteggi percentili COMLEX e USMLE. (Dati estratti da qui e qui.)

È non scientifico? Sicuro.

Ma così sta usando i punteggi USMLE per selezionare i residenti. Quindi, se vogliamo essere non scientifici, facciamo pagare agli studenti una volta per gli esami di licenza, gia ‘ che ci siamo.

Ancora, c’è una soluzione più semplice – uno che non si basa sul NBME di agire contro i suoi migliori interessi finanziari, e uno che non coinvolge PDs utilizzando un sito web goffo o la stampa la tabella sopra su una carta laminata.

Modificare la scala di reporting del punteggio COMLEX.

La scala per COMLEX va da 0 a 1000. La scala per l’USMLE va da 0 a 300.

Perché?

PDs hanno un senso intuitivo di ciò che è un ‘buon’ punteggio USMLE per la loro specialità. Perché non sfruttare questa intuizione riportando i risultati COMLEX utilizzando i numeri con cui la maggior parte dei PD ha più familiarità? Mi fanno presidente della NBOME, e la prima cosa che farò è iniziare a riportare i punteggi COMLEX sulla stessa scala utilizzata dal USMLE.

Rendimi il re dell’educazione medica, però, e la prima cosa che farò è chiedere che smettiamo di affidarci così tanto a qualsiasi stima puntuale e puntuale della memorizzazione della scienza di base che misura così poco di ciò che PDs e pazienti si preoccupano veramente. Ma fino ad allora ADD

ADDENDUM: Diversi lettori hanno chiesto perché non ho discusso l’idea di sbarazzarsi di COMLEX e avere tutti gli studenti di medicina osteopatica prendere l’USMLE invece. È una buona idea, ma sembra improbabile che si verifichi. Per prima cosa, in alcuni stati, COMLEX è protetto dalla legge, in modo da sbarazzarsi di esso richiederebbe la modifica della legge pratica medica. Molti stati permettono DOs per essere concesso in licenza prendendo il USMLE – ma questo sembra essere un’opzione pochi DOs perseguire. Nel 2018, solo 21 DOs ha preso USMLE Passo 3, nonostante le migliaia che hanno preso passi 1 e 2 CK. Non dimentichiamo inoltre che NBOME ha un interesse acquisito nel mantenimento di COMLEX – con un fatturato di oltre million 30 milioni e un CEO che ha assunto compensation 635.943 in compensazioni segnalabili nel 2017. È difficile immaginare che si lascino volontariamente legiferare dall’esistenza. Sbarazzarsi di COMLEX e fornire un singolo esame di licenza per DOs e MDs è un obiettivo lodevole, ma non sarà facile.

POTREBBE PIACERTI ANCHE:

Guida di un non-MBA per NBME entrate in 9 semplici grafici

USMLE Passo 1: Livellamento del campo di gioco-o perpetuare svantaggio?