Acurácia e Inconsistência no ChatGPT e Assistentes Virtuais na Área Médica: Um Olhar Crítico

O Cenário Atual da Inteligência Artificial na Saúde

A tecnologia tem transformado todos os aspectos da nossa vida, e na área da saúde, não é diferente. Nos últimos anos, assistimos a um crescimento exponencial do uso de inteligências artificiais (IAs), como o ChatGPT, na educação, pesquisa e prática médica. Com isso, vêm surgindo estudos que avaliam tanto o potencial dessas ferramentas quanto as suas limitações, especialmente no que diz respeito à acurácia das informações que elas fornecem. Recentemente, dois estudos importantes lançaram luz sobre essas questões, trazendo à tona a importância de se debater a eficácia e a segurança dessas tecnologias no contexto da saúde.

Análise do Desempenho do ChatGPT em Exames Médicos

O primeiro estudo que merece destaque analisou por cinco anos o desempenho do ChatGPT 3.5 no Exame Nacional Coreano de Licenciamento em Terapia Ocupacional (NKTOLE). A pesquisa teve como objetivo investigar a capacidade do ChatGPT de ser aplicado no campo do conhecimento nessa área. Com comandos fornecidos em coreano, foram inseridas manualmente questões de múltipla escolha, e o desempenho do modelo foi avaliado com base no número de respostas corretas.

Confesso que, como alguém que adora tecnologia e que está sempre de olho nas inovações, eu esperava mais do ChatGPT. Mas, a verdade é que ele não conseguiu atingir a pontuação mínima de 60% de precisão necessária para passar no exame. Isso acendeu um alerta: será que estamos prontos para confiar cegamente nessas ferramentas em situações críticas de saúde?

A Acurácia das IAs no Diagnóstico Ocular

Outro estudo que merece atenção envolveu pacientes com um problema ocular conhecido como “moscas volantes”. Para quem não sabe, essas “moscas” são pequenas manchas ou fios que aparecem no campo de visão e que podem indicar problemas mais sérios, como o descolamento de retina. A pesquisa usou como referência a seção “moscas volantes” do site da Academia Americana de Oftalmologia (AAO) para avaliar a eficácia de diferentes assistentes virtuais e IAs no diagnóstico dessa condição.

Aqui, a análise incluiu não apenas o ChatGPT, mas também o Bard (hoje chamado de Gemini), o Google Assistente e a Alexa. Os resultados foram, no mínimo, preocupantes. O Bard se saiu melhor, identificando 42 palavras-chave de um total de 100. O ChatGPT, por outro lado, mencionou apenas 23 palavras, ficando atrás até mesmo do Google Assistente e da Alexa. Nenhuma das IAs mencionou a urgência do diagnóstico de um descolamento de retina, o que é alarmante. Afinal, em situações como essa, tempo é visão, e qualquer atraso pode ter consequências graves.

O Que Dizem os Especialistas?

Diante desse cenário, conversei com o Dr. Paulo Henrique de Souza Bermejo, professor da Universidade de Brasília (UnB) e pesquisador em inovação tecnológica na saúde. Ele apontou que, apesar do entusiasmo em torno dessas tecnologias, ainda há um longo caminho a percorrer para que elas possam ser utilizadas de forma segura e eficaz na prática médica. Segundo o professor, o debate científico sobre os benefícios e riscos do uso dessas ferramentas é não apenas necessário, mas urgente.

O Dr. Bermejo destacou algo que considero fundamental: a precisão das IAs em domínios médicos específicos ainda não foi suficientemente avaliada. Isso significa que, embora essas ferramentas possam oferecer respostas que se assemelham às humanas e que sejam contextualmente relevantes, ainda precisamos avançar muito antes de considerá-las seguras para usos mais críticos.

As Possibilidades Futuras: IAs no Ensino Médico

Apesar das limitações evidentes, o Dr. Bermejo acredita que as IAs têm um grande potencial, especialmente no campo da educação médica. Ele sugere que, em breve, programas educacionais de oftalmologia e retina poderão utilizar IAs generativas para ajudar novos alunos a aprimorar suas habilidades clínicas. Imagine só: estudantes utilizando a IA para simular casos clínicos complexos, como se estivessem diante de um paciente real. Seria uma revolução na forma como formamos nossos profissionais de saúde.

Outra aplicação promissora seria a utilização combinada de diferentes IAs e assistentes virtuais, como o ChatGPT, Bard, Google Assistente e Alexa. Isso poderia ser particularmente útil para pacientes em situação socioeconômica desfavorável ou com dificuldades de comunicação. Nessas situações, uma abordagem mais personalizada e acessível pode fazer toda a diferença.

Desafios e Melhorias Necessárias

Claro, para que esse futuro se torne realidade, ainda há muitos desafios a serem superados. O Dr. Bermejo destaca a necessidade de que as empresas que desenvolvem essas tecnologias invistam em melhorias contínuas. Não basta apenas treinar as IAs com mais dados; é essencial que elas sejam adaptadas a domínios específicos, como a medicina, e que considerem as particularidades regionais, incluindo normas e regulamentações locais.

Como nordestino e amante das nossas tradições, vejo como crucial que essas tecnologias levem em conta a cultura local e as especificidades da nossa região. A saúde no Nordeste, por exemplo, tem suas próprias particularidades, e as IAs precisam estar preparadas para lidar com essas diferenças. Isso envolve desde a adaptação ao português, até o entendimento das nuances culturais que podem influenciar a saúde dos pacientes.

O Perigo das “Alucinações” das IAs

Outro ponto que não podemos ignorar são as chamadas “alucinações” das IAs, ou seja, quando elas geram informações falsas ou enganosas. Isso acontece porque as IAs produzem textos com base nos dados com os quais foram treinadas, e se esses dados não forem confiáveis, o resultado pode ser catastrófico.

Imagina só um médico seguindo uma orientação errada dada por uma IA em um momento crítico? As consequências podem ser desastrosas. É por isso que o Dr. Bermejo insiste na importância de treinar essas IAs de maneira adequada e de sempre verificar a qualidade das informações que elas fornecem.

A Geração Aumentada por Recuperação: Um Futuro Promissor

Mas nem tudo é preocupação. O Dr. Bermejo mencionou uma técnica inovadora chamada Geração Aumentada por Recuperação (RAG), que tem o potencial de elevar a qualidade das IAs generativas a um novo patamar. Essa técnica permite que a IA recupere informações relevantes de fontes externas e as integre ao seu processamento, gerando assim relatórios mais precisos e úteis para os profissionais de saúde.

Com a RAG, por exemplo, seria possível que uma IA recuperasse o histórico de saúde de um paciente e o utilizasse para oferecer diagnósticos mais precisos. Isso não apenas ajudaria os médicos a tomar decisões mais informadas, mas também poderia melhorar significativamente os resultados dos tratamentos.

Olhando para o futuro, é possível vislumbrar um cenário em que as IAs desempenhem um papel central no diagnóstico e tratamento de condições médicas complexas, auxiliando os profissionais de saúde a obter melhores resultados e, em última análise, salvando vidas.

Sobre o Professor Paulo Bermejo

Para finalizar, é importante destacar o currículo impressionante do Dr. Paulo Henrique de Souza Bermejo. Com mais de 25 anos de experiência em gestão, tecnologia e inovação, ele tem se destacado como um dos principais pesquisadores na interseção entre tecnologia e saúde no Brasil. Além de ser professor associado da Universidade de Brasília (UnB), ele coordena o Núcleo de Pesquisa e Desenvolvimento para Excelência e Transformação Organizacional (NEXT/UnB), onde lidera projetos que buscam transformar a prática médica através da inovação tecnológica.

O Dr. Bermejo também tem uma sólida formação acadêmica, com pós-doutorado em Inovação pela Bentley University, nos Estados Unidos, e uma certificação executiva em Estratégia e Inovação pelo renomado Massachusetts Institute of Technology (MIT). Sua vasta experiência e conhecimento são fundamentais para guiar as discussões sobre o uso seguro e eficaz das IAs na área da saúde.

Conclusão

O uso de tecnologias como o ChatGPT e outros assistentes virtuais na área da saúde é, sem dúvida, uma tendência que veio para ficar. No entanto, como vimos, ainda há muitos desafios a serem superados, especialmente no que diz respeito à precisão e confiabilidade dessas ferramentas.

Se por um lado elas oferecem um potencial enorme para transformar a educação e a prática médica, por outro, é essencial que continuemos a debatê-las criticamente, garantindo que o seu uso seja sempre pautado pela segurança e pelo bem-estar dos pacientes. E como nordestino que sou, acredito que a nossa cultura e as nossas especificidades regionais precisam ser levadas em conta nesse processo, para que possamos aproveitar o melhor que a tecnologia tem a oferecer, sem abrir mão da nossa identidade e das nossas raízes.

Portanto, a jornada da IA na medicina está apenas começando, e cabe a nós, profissionais e sociedade, garantir que ela siga o caminho certo. Afinal, como diria o velho ditado, “é melhor prevenir do que remediar”, e quando o assunto é saúde, isso nunca foi tão verdadeiro.

Por fim, deixo aqui um convite para que continuemos essa conversa. Se você, assim como eu, se interessa por tecnologia e saúde, fique à vontade para compartilhar suas opiniões e experiências. Afinal, o conhecimento cresce quando é compartilhado, e juntos podemos construir um futuro mais saudável e inovador para todos nós.