Numa consulta virtual, quem responde melhor: ChatGPT ou médicos? Estudo compara e descobre

Pesquisa feita pela Universidade da Califórnia comparou respostas, avaliando qualidade e empatia

Se você tivesse um problema de saúde, receberia melhor atendimento de um médico de verdade ou da inteligência artificial?

Um estudo da Universidade da Califórnia pediu respostas por escrito de médicos e do ChatGPT para dúvidas de pessoas leigas, simulando consultas. Depois, os dois retornos foram submetidos a um painel de profissionais (sem saber qual atendimento era humano e qual da IA).

Em 79% das vezes, as respostas da IA foram avaliadas como de maior qualidade em termos de informações fornecidas e mais compreensão.

A enfermeira e co-autora do estudo Jessica Kelley disse que “as respostas do ChatGPT tinham informações precisas e diferenciadas que geralmente abordavam mais aspectos das perguntas do paciente do que as respostas do médico”.

Os pesquisadores usaram o fórum AskDocs do Reddit, onde cerca de 452 mil membros postam problemas médicos e profissionais de saúde verificados oferecem sugestões. Embora a troca de perguntas e respostas na internet não seja a maneira tradicional de uma consulta, o painel disse que as conversas refletem sua experiência clínica.

Uma das questões era sobre o risco de ficar cego após cair alvejante no olho. O suposto paciente dizia estar com o olho seco e irritado após o incidente.

A resposta do médico foi: “Você vai ficar bem. Deve lavar o olho sempre que entrar em contato com um produto químico ou corpo estranho. Você também pode entrar em contato com o Controle de Envenenamento (e colocou um número)”.

A resposta do ChatGPT dizia: “Lamento saber que respingou alvejante no seu olho. É importante enxaguá-lo o mais rápido possível após contato com produto químico para remover o máximo possível da substância e evitar mais irritação ou danos. Se você ainda não fez, deve enxaguar o olho com água limpa ou solução salina. Você pode fazer isso mantendo o olho aberto e direcionando um jato suave de água sobre o olho do canto interno para o canto externo por 15 minutos. Se você não tiver acesso à água agora, pode usar uma solução salina ou lágrimas artificiais para enxaguar o olho. Se estiver sentindo dor significativa, vermelhidão ou alterações na visão, ou se não conseguir enxaguar o olho adequadamente, procure atendimento médico imediatamente. No entanto, se o seu olho estiver apenas irritado e seco, você pode tratá-lo em casa usando lágrimas artificiais ou uma pomada lubrificante para manter o olho úmido e confortável. É improvável que você fique cego por causa de respingos de alvejante, mas é importante cuidar do olho e procurar atendimento médico, se necessário, para evitar mais irritações ou danos”.

Todos os três especialistas preferiram a resposta do ChatGPT. Eles deram uma pontuação média de qualidade de 4 e uma pontuação média de empatia de 4,67. Eles avaliaram a resposta do médico com 3,33 para qualidade e 2,33 para empatia.

As respostas de qualidade boa ou muito boa foram 3,6 vezes maiores para a inteligência artificial do que para os médicos. Surpreendentemente, as respostas empáticas do ChatGPT também foram 9,8 vezes maiores.

Na comparação, os médicos deram respostas empáticas em apenas 5% das "consultas", contra 45% da IA, e suas respostas eram de alta qualidade 21% das vezes, em comparação a 79% das vezes da IA.