Doctor Wise PRO bate recorde de IA médica com o melhor desempenho no United States Medical Licensing Examination (USMLE)

Doctor Wise, a plataforma de IA que auxilia os estudos em saúde e a prática médica profissional, atingiu uma marca histórica ao alcançar as maiores taxas de acerto médio já registradas no conceituado teste da USMLE (United States Medical Licensing Examination), tornando-se a única inteligência artificial do mundo capaz de alcançar mais de 90% de acertos nas 3 etapas do exame. Doctor Wise PRO tem mais acertos e mais constância do que outras inteligências artificiais testadas, superando o desempenho de especialistas e consolidando-se como a melhor IA médica do mundo.

Doctor Wise PRO e o Exame de Licenciamento dos EUA.

O USMLE é o exame oficial para obter a licença médica nos Estados Unidos. Ele é composto por três etapas ou “Steps” (Step 1, Step 2 CK e Step 3) e é coordenado pela Federação de Conselhos Médicos Estaduais (FSMB) e pelo Conselho Nacional de Examinadores Médicos (NBME) dos Estados Unidos. Os dois primeiros Steps do exame são geralmente realizados enquanto o estudante ainda está cursando Medicina, enquanto o terceiro ocorre após a conclusão do curso.

A finalidade do exame é medir o nível de conhecimento e a habilidade de um profissional médico em aplicar o que foi aprendido, incluindo conceitos e competências, no diagnóstico e tratamento de pacientes.

Para possibilitar a realização do teste pela Doctor Wise PRO, foram necessários três estágios: 

1. Seleção das questões do USMLE;
2. Execução do programa de testes de eficiência;
3. Apuração dos resultados obtidos.

1. Seleção das questões da USMLE

O primeiro estágio do processo consistiu em utilizar metodologias de análise de performance já utilizadas para avaliação de IAs. A partir disso, retiramos as questões objetivas da amostra oficial da USMLE, disponíveis em usmle.org.

Baseando- se no método utilizado por Kung et al., 2023, foram selecionadas questões de variadas categorias para cada um dos três Steps do exame, excluindo questões cuja resposta dependia da análise de imagens, gráficos, diagramas e etc.

2. Desenvolvimento do programa de testes de eficiência.

O programa é composto por um script que percorre todas as questões selecionadas, enviando separadamente cada uma delas para a Doctor Wise PRO, simulando a realização de uma consulta no chat da aplicação da ferramenta.

Conforme as respostas são geradas, o programa armazena o retorno dado em um arquivo de resultados, a fim de que um especialista avalie-o ao final do processo.

3. Apuração do resultado.

Para garantir que as respostas são válidas e corretas, um profissional médico analisa o arquivo de retorno obtido, examinando as respostas dadas a cada questão e comparando-as ao gabarito oficial.

Por fim, são contabilizados os acertos de cada step, permitindo, então, o cálculo de acurácia da inteligência artificial. 

Resultados obtidos em 01/10/24:

USMLE Step 1:

Para o Step 1 foram realizadas 94 questões, das quais 88 foram respondidas corretamente pela Doctor Wise PRO, resultando em uma acurácia de 93,61%.

USMLE Step 2:

Em seguida, no Step 2, foram obtidas 99 respostas corretas das 109 questões empreendidas, um resultado percentual de 90,82% de acurácia.

USMLE Step 3:

Por último, no Step 3, a acurácia resultante foi de 92,62% a partir de 113 acertos das 122 questões totais.

Doctor Wise PRO comparada à outras IAs

Em uma comparação direta, a Doctor Wise PRO é 1,8% mais precisa do que a antiga recordista, OpenEvidence AI, que obteve 90,7% de acertos. Embora pareça uma diferença pequena em números absolutos, essa margem representa um avanço importante em um exame de alta complexidade, onde cada ponto percentual é decisivo. 

A superioridade da Doctor Wise PRO se torna ainda mais evidente ao compará-la com outras IA: 39% superior em relação à Claude 2, que apresentou 66,47% de acertos e 6,7% superior à Google Med-PaLM 2, que alcançou 86,50%. Em um comparativo com o ChatGPT, o resultado é 57,21% superior, evidenciando as limitações da ferramenta quando se trata de informações confiáveis sobre saúde. 

Além disso, a Doctor Wise PRO supera também a taxa de aprovação de médicos humanos no USMLE, que foi de 76%. Isso significa que a IA da Doctor Wise é 21,5% mais precisa que a média dos profissionais aprovados no exame.Os resultados atestam o potencial inovador da tecnologia de IA da Doctor Wise PRO, despontando dentro do mercado de IAs médicas como a que garante maior segurança nas informações dadas e maior confiabilidade na constância em excelência.

Doctor Wise - Expertise na Prática Clínica

Quando comparada a todas as IAs existentes no mercado, a Doctor Wise destaca-se como expoente em seu objetivo principal: ser o copiloto de médicos e profissionais da saúde durante a prática clínica. Em poucos segundos e de forma acessível, é possível obter informações por meio de um assistente que possui uma taxa de acerto de 91,78% na prova da USMLE (média de acerto do Step 2 CK + Step 3), desempenho superior ao de um colega médico. A Inteligência Artificial é uma revolução em todas as áreas; integre-a à sua prática e estudos para estar na vanguarda da inovação, garantindo melhor cuidado e eficiência para seus pacientes.