Cientistas criam método para detectar "alucinação" de inteligência artificial
Grupo da Universidade de Oxford projetou sistema que aponta com precisão razoável quando modelo de IA constrói informação falsa e a repassa como verdadeira
Uma das grandes limitações de grandes sistemas de inteligência artificial hoje é a tendência que eles têm de produzir "alucinações", construindo informação falsa e a repassando como verdadeira.
Um grupo de cientistas relatou hoje estar no caminho para resolver esse problema, submetendo a reposta à avaliação por mais dois sistemas de IA.
O problema das respostas falsas dadas a perguntas objetivas é particularmente preocupante em projetos da classe dos LLMs (grandes modelos de linguagem), como o ChatGPT, sujeitos alucinações que cientistas chamam de confabulações.
Leia também
• Inteligência Artificial inventa e distorce memória do Holocausto, diz Unesco
• Cientistas descobrem a origem da gagueira no cérebro; entenda
• Usa de inteligência artificial em notícias gera preocupações em todo o mundo
Elas ocorrem quando o sistema busca resposta convincente sem ter tido o material necessário para construí-las incluído em seus dados de treinamento, o volume enorme de informações que tipicamente abastece as LLMs.
As alucinações em grande medida porque é difícil calibrar os modelos para traçar o limite de uma ignorância responsável.
Em outras palavras, quando um LLM recebe uma pergunta, mas tem poucas informações sobre o tópico abordado, ele precisa decidir se afirma ao usuário que não tem como fazê-lo ou se tenta respondê-la mesmo assim.
Mais sobre Inteligência Artificial
Quando está confabulando, um sistema de IA pode criar uma resposta que não faz sentido, algo que usuários humanos normalmente conseguem identificar. O comportamento mais nocivo, porém, é quando a confabulação produz uma resposta convincente, mas totalmente inventada.
Um quarteto de pesquisadores da Universidade de Oxford, porém, relata hoje em estudo publicado hoje que achou uma solução para minimizar esse comportamento indesejado da inteligência artificial.
Liderados pelo cientista da computação Sebastian Farquhar, os cientistas explicam como o fizeram em um artigo na revista Nature.
"Alucinações são um problema crítico para sistemas de geração de linguagem natural, como o ChatGPT e o Gemini, porque os usuários não podem confiar que uma dada resposta está correta", afirmam os pesquisadores.
"Respostas suspeitas ou sem a necessária informação impedem a adoção de LLMs em diversas áreas. Entre os problemas estão a invenção de antecedentes legais e de fatos inverídicos em notícias em algumas áreas da medicina, como a radiologia, podem até apresentar risco de morte."
A solução que o grupo de Farquhar encontrou para minimizar o problema foi a de submeter as respostas fornecidas por LLMs ao processamento por um segundo LLM, depois um terceiro.
O que esse sistema extra de IA faz é analisar como a construção da resposta foi feita em termos de semântica, ou seja, de significado das frase construídas. E para fazer essa análise, os cientistas emprestaram um conceito da física: a entropia, que serve para medir o caos e a aleatoriedade de um sistema.
No estudo, os pesquisadores explicam que quando um LLM produz uma resposta, ele precisa selecioná-la em meio a um conjunto de possíveis respostas que o próprio sistema cria.
Quando possui pouca informação de base para dar uma resposta complexa, o sistema gera uma porcentagem mais alta de respostas que têm sentido diferente, apesar de embutirem um grupo de palavras parecidas. Em outras palavras, dados incertos levam a um maior caos interno para o sistema manejar.
Uma propriedade interessante desse caos, ou entropia, é que ele pode ser medido por segundo LLM acoplado ao sistema. E, por fim, um terceiro LLM pode ser acoplado para interpretar essa medida e dizer quão provável é uma resposta do sistema ser produto de confabulação.
Essa é a arquitetura proposta pelo grupo de Oxford para aprimorar o sistema como um todo.
Para testar a ideia, Farquhar criou sistemas de avaliação para respostas oferecidas por três ferramentas de IA já existentes. O teste foi feito com o Llama 2 (do Facebook), Mistral Instructor (da empresa francesa Mistral) e Falcon (do Instituto de Inovação Tecnológica de Dubai), que providenciaram código aberto para a pesquisa.
ChatGPT e Gemini não entraram no experimento.
Fogo contra fogo
No estudo, os pesquisadores relatam boas taxas de acerto dos sistemas avaliados (de 70% a 80%) em apontar alucinações desses sistemas em pequenas biografias geradas por inteligência artificial, além de questões de saúde e de conhecimento geral.
Em um artigo independente publicado pela própria Nature, uma outra cientista da computação comentou o avanço. Karin Vespoor, do Royal Melbourne Institute of Technology, da Austrália, reconheceu a engenhosidade do grupo em criar um método para detectar alucinações, mas afirma que ele precisa ser usado com cautela.
"Os autores do estudo propõem que LLMs podem formar um componente integral de uma estratégia para controlar outros LLMs. Em resumo, a abordagem deles consiste em usar fogo para combater o fogo", diz a cientista.
Segundo Farquhar, essa preocupação não impede, porém, que seu sistema seja implementado de maneira útil para usuários.
"A detecção de confabulações permite que os sistemas construídos em LLMs evitem responder a perguntas que possam causar confabulações, alertem os usuários da falta de confiabilidade das respostas a uma pergunta ou suplementem o LLM com uma pesquisa e coleta de dados mais fundamentada", afirma o cientista.
Veja também
Mais um grupo varejista francês endossa boicote à carne sul-americana
