the USMLE for DOs: How to stop fleecing osteopathic medical students

em 2018, 21.611 examinadores de escolas de medicina nos Estados Unidos e Canadá tomaram o Passo 1 da USMLE. Eles não tiveram escolha. O USMLE é um exame de licença, por isso, se queres praticar como médico alopático nos Estados Unidos, tens de o fazer.

mas também houve 4136 estudantes de Medicina Osteopática que tomaram o USMLE. Exatamente zero desses alunos foram obrigados a fazer o exame. Na verdade, eles são obrigados a fazer um teste diferente – o exame abrangente de licença médica Osteopática, ou COMLEX – para se formar na Faculdade de Medicina e obter uma licença médica.

estes estudantes estavam tomando o USMLE para melhorar seu pedido de residência. Porque, apesar da consolidação dos programas de residência Osteopática e alopática sob um único sistema de acreditação executado pelo ACGME, muitos diretores de programas de residência (PDs) não se sentem confortáveis usando pontuações COMLEX para avaliar os candidatos. Isto é especialmente verdadeiro para programas e especialidades mais competitivos, e os alunos sabem disso: em uma pesquisa, 70% dos estudantes de Medicina Osteopática recomendaram que os futuros estudantes tomem o USMLE para maximizar suas perspectivas de encontrar uma residência.

assim, os estudantes de Medicina Osteopática têm vindo a tomar o USMLE em número crescente, como mostrado abaixo.

o número de estudantes do que tomam USMLE Step 1 aumentou 13 vezes desde 1997. Este aumento é apenas parcialmente explicado pelo aumento do número de estudantes DO.

fazer dois conjuntos de exames de licenciamento não é barato. A maioria dos estudantes que tomam o USMLE dar o Passo 1 e o Passo 2 CK-o que significa que eles pagam $1260 pelo privilégio de fazer um exame de licenciamento que nem sequer vai ajudá-los a obter licença.

no ano passado, a Associação Médica Americana aprovou uma resolução dizendo que os exames de licenciamento DO E MD devem ser vistos igualmente. Este é um movimento admirável que parece não mudar nada. Então, o que deve ser feito? Como podemos evitar que estudantes osteopatas sejam espoliados nos exames de licenciamento?

vamos dar uma olhada em cinco opções.

Make #USMLEPassFail

Do away with USMLE scores, and the number of DO students who choose to take the USMLE will instantaneamente drop to zero. O problema é que não o vejo a acontecer.

a ideia de um USMLE pass/fail foi considerada na reunião InCUS de Março de 2019, e embora a determinação final em relatórios de pontuação não será divulgado publicamente por mais algumas semanas, a minha leitura das folhas de chá é que as pontuações do Passo 1 não estão indo a lugar algum.

existem várias razões para isso – incluindo a que eu apontei aqui. Mas também é importante lembrar que o Conselho Nacional de médicos examinadores tem incentivos financeiros significativos para manter relatórios de pontuação. E este é um deles.

no ano passado, o NBME recebeu em $4.399.320 de estudantes osteopatas que tomaram o Passo 1 e o Passo 2 CK. Achas que estão ansiosos por sobreviver sem essa receita?Nem eu.

por outras palavras, se queremos impedir que os alunos do DO DO sejam espoliados, temos de fazer algo diferente. Temos de tornar as pontuações da COMLEX mais interpretáveis para os PDs que não estão habituados a vê-las.

existem algumas maneiras de fazer isso.

“Convert” COMLEX to USMLE scores.Vários autores analisaram a relação entre as pontuações COMLEX e USMLE. Provavelmente a análise mais autorizada é esta, que incluiu 1016 estudantes do Colégio de Medicina Osteopática do Pacífico que tomaram o COMLEX e o USMLE.

surpreendentemente, havia uma relação linear entre pontuações no COMLEX e no USMLE.

há uma forte relação linear entre as pontuações COMLEX e USMLE (R2 = 0.696). Figura de Lee Como et al.= = Ligações Externas = = PubMed

Os autores derivada a seguinte fórmula para “converter” COMLEX para USMLE pontuações:

USMLE Step 1 = (0.2392)*(COMLEX Nível 1) + 82.563

Usando esta equação, uma 600 no COMLEX Nível 1 prevê um USMLE Step 1 pontuação de 226.

ainda assim, existem limitações óbvias com esta abordagem.

primeiro, embora a correlação entre COMLEX e USMLE seja forte, não é perfeita.

Olhe atentamente para a disseminação de dados acima do scatterplot. Para um estudante que pontua um 600 no COMLEX, o intervalo de pontuações observadas no Passo 1 do USMLE vai de cerca de 200 a mais de 250. (Isso não é surpreendente – mesmo um estudante que leva o Passo 1 do USMLE duas vezes em dias consecutivos pode ter pontuações que diferem em 24 pontos. Mas para todos os PDs por aí que erroneamente acreditam que o USMLE fornece uma previsão perfeitamente precisa da aptidão de um candidato para residência, uma gama tão ampla é problemática.)

Second, the data in the Lee paper were collected from 2006 to 2012. Apesar de fornecerem um instantâneo útil, provavelmente não produzirão previsões válidas para os test-takers contemporâneos. Por quê? Não só a população de COMLEX/USMLE test-takers está mudando, mas a pontuação média para USMLE Passo 1 também está aumentando em cerca de 0,9 pontos/ano.

USMLE “score creep”. Observe a mudança para a direita das distribuições de pontuação de 2015-2017 para 2016-2018.

score creep significa que, quanto mais velha a fórmula, mais provável é que seja de subestimar as pontuações USMLE.

Tome, por exemplo, este artigo de 2006, que também encontrou uma relação linear entre as pontuações COMLEX e USMLE. Mas usando a fórmula deles, um 600 no COMLEX Nível 1 prevê uma pontuação USMLE Step 1 de apenas 211.

em vez disso, para garantir que PDs estão avaliando os dados atuais, podemos tentar algo diferente. Nós poderíamos …

encorajar PDs a calcular percentis COMLEX.

a pontuação COMLEX reporta que os estudantes recebem não inclui um percentil. No entanto, o National Board of Osteopathic Medical Examiners (NBOME) disponibiliza uma ferramenta online que a PDs poderia usar para calcular o percentil de uma determinada pontuação COMLEX. (Uma ligação a esta ferramenta aparece agora na estação de trabalho dos directores do programa ERAS para candidatos osteopáticos.)

usando a ferramenta NBOME, podemos ver que um candidato com uma pontuação de Nível 1 com um COMLEX de 600 fez uma boa pontuação no percentil 80 de todos os test-takers.

distribuição actual das Pontuações do nível 1 da COMLEX, com base na calculadora do percentil NBOME.

mas há pelo menos dois grandes problemas com esta abordagem, também.

a primeira é a praticidade. Será Que nós realmente pensamos que PDs vão tomar o tempo para procurar um percentil COMLEX? Lembre – se, a razão pela qual a maioria dos PDs usa pontuação de exame de licenciamento é para triagem-para fazer uma rápida, sim/não determinação sobre se entrevistar um candidato ou não. A idéia de que estes PDs vai levar o tempo para ir a um site separado-especialmente um desajeitado que requer várias entradas para cuspir os dados que você quer – parece irremediavelmente ingênuo.

o segundo problema é o significado. Alguns PDs como o USMLE pontuam porque fornecem um bastão de medição universal. Saber que um candidato tem um COMLEX de 80% é bom – mas ainda não lhe diz como esse candidato se compara com aqueles que tomaram o USMLE.

mas talvez pudéssemos contornar parcialmente estas preocupações se nós…

Converter percentis COMLEX para percentis USMLE.Antes de entrar nas porcas e parafusos, sejamos claros: a COMLEX e a USMLE são testes diferentes.

têm especificações de Conteúdo e formatos diferentes, e são obtidos por grupos de test-takers cuja demografia e pontuações de teste padronizadas anteriormente diferem sistematicamente.

mas tudo isso à parte-e se a PDs pudesse ver, de relance, o que seria uma pontuação COMLEX se fosse uma pontuação USMLE no mesmo percentil? E se colocarmos a conversão em uma única tabela para que PDs não teria que ir para o site NBOME e procurar um percentil cada vez que eles vêm em um candidato DO DO?

seria fácil fazer este tipo de coisa. Tão fácil, na verdade, que eu fui em frente e fiz isso.

Comparação das Pontuações COMLEX e USMLE percentile. (Dados extraídos daqui e aqui.)

isto não é científico? Certo.

mas também está a usar as pontuações USMLE para seleccionar os residentes. Se vamos ser pouco científicos, vamos pedir aos alunos que paguem uma vez pelos exames de licenciamento.

ainda assim, há uma solução mais fácil – uma que não confia no NBME para agir contra os seus melhores interesses financeiros, e uma que não envolve PDs usando um site desajeitado ou imprimindo a tabela acima em um cartão laminado.

alterar a escala de notificação da pontuação COMLEX.

a escala da COMLEX vai de 0 a 1000. A escala para o USMLE vai de 0 a 300.Porquê?

PDs têm um sentido intuitivo do que é uma ” boa ” pontuação USMLE para sua especialidade. Por que não aproveitar essa intuição relatando resultados COMLEX usando os números que a maioria dos PDs estão mais familiarizados? Torna-me presidente do NBOME, e a primeira coisa que vou fazer é começar a relatar pontuações COMLEX na mesma escala usada pelo USMLE.Mas a primeira coisa que vou fazer é exigir que deixemos de confiar tanto em qualquer memorização de ciência básica que mede tão pouco do que a PDs e os pacientes realmente se preocupam. Mas até então…

ADDENDUM: vários leitores perguntaram Por Que Eu não discuti a ideia de me livrar da COMLEX e ter todos os estudantes de Medicina Osteopática a tomar o USMLE. É uma boa ideia, mas parece improvável que ocorra. Por um lado, em alguns estados, a COMLEX é protegida por lei, por isso livrar-se dela exigiria alterar a lei da prática médica. Muitos estados permitem que DOs seja licenciado tomando o USMLE-mas esta parece ser uma opção que poucos dos perseguem. Em 2018, apenas 21 dos tomaram USMLE Passo 3, apesar dos milhares que tomaram os passos 1 e 2 CK. Não esqueçamos também que a NBOME tem um interesse em manter a COMLEX – com receita superior a US $30 milhões e um CEO que recebeu US $635,943 em compensações relatáveis em 2017. É difícil imaginá-los voluntariamente a deixarem-se legislar fora da existência. Livrar – se da COMLEX e fornecer um único exame de licença para DOs e MDs é um objetivo louvável-mas não será fácil.

pode também gostar de:

um guia não-MBA para a receita NBME em 9 gráficos simples

USMLE Passo 1: nivelar as condições de jogo – ou perpetuar a desvantagem?