Entenda o que é a "alucinação" do ChatGPT e por que a inteligência artificial às vezes "enlouquece"

Não se espante com respostas estranhas dos sistemas de IA. Pesquisa mostra, pela primeira vez, que erros aparecem em de 3% a 27% das interações de ferramentas desse tipo

Uma resposta sem sentido, que não tem conexão com a pergunta que foi feita. Os robôs de inteligência artificial (IA) generativa, como o ChatGPT, cometem erros que muitas vezes vão além de simplesmente fornecer uma informação falsa ou sem ser de fonte confiável. É o que os especialistas no setor chamam de “alucinação”.

E, agora, pela primeira vez, pesquisadores mediram a frequência com que isso ocorre. A startup Vectara, fundada por ex-funcionários do Google, esquadrinhou ferramentas de IA e constatou que as alucinações ocorrem com uma frequência que varia entre 3% e 27%.

Simon Hughes, pesquisador da Vectara que liderou o projeto, explicou que sua equipe pediu para esses sistemas realizarem uma tarefa simples e direta, facilmente verificável: resumir artigos de notícias. Mesmo assim, os chatbots persistentemente inventaram informações.

— O fato de o sistema ainda poder apresentar erros é um problema fundamental — disse Amr Awadallah, CEO da Vectara.

As tecnologias da OpenAI, laboratório que criou o ChatGPT, tiveram a taxa mais baixa de alucinação, em torno de 3%. Os sistemas da Meta, proprietária do Facebook e Instagram, ficaram em torno de 5%. O sistema Claude 2, oferecido pela Anthropic, uma concorrente da OpenAI também sediada em São Francisco, ultrapassou os 8%. Um sistema do Google, o Palm chat, teve a taxa mais alta: 27%.

Isso pode não ser um problema para quem usa as interfaces de inteligência artificial como mera diversão. Entretanto, pode gerar uma grande dor de cabeça em usos como informações médicas, dados comerciais sensíveis ou documentos judiciais.
 

O executivo de tecnologia Helbert Costa, autor do livro “ChatGPT Explicado”, aponta que as IAs generativas não foram desenhadas para serem factuais. Pelo contrário, elas foram estimuladas a ter uma pitada de criatividade para tornar a interação mais real e humanizada. Seu grau de alucinação é grande porque ela é programada para dar respostas independentemente do nível de certeza e, para isso, usa analogias:

— Uma IA que detecta carros, por exemplo... quando exposta a algum tipo de imagem, identifica a mais próxima. Se tiver 27% de semelhança com uma caminhonete, vai dizer que é uma caminhonete — explica. — Da mesma forma funciona para os textos. A IA pega as palavras que estão mais conectadas ao contexto e usa, ainda que a probabilidade seja de 2%.

Segundo André Aizim Kelmanson, sócio da Grana Capital — fintech que lançou há pouco o aplicativo Grana IA, com foco em informações do mercado —, para evitar a alucinação, é necessário um trabalho constante para fazer o modelo entender que ele não precisa ser criativo quando não encontrar a resposta requisitada.

A chance de erro é reduzida em inteligências artificiais treinadas para assuntos específicos, pelo fato de estas serem alimentadas com bancos de dados mais restritos e estarem ligadas a um determinado contexto, como é o caso do Grana IA, que usa o modelo do GPT, da OpenIA, e informações públicas relacionadas a finanças, como fatos relevantes, balanços de empresas e carteiras recomendadas por casas de análises. Ainda assim, diz Kelmanson, é preciso “educar” a máquina:

— Em quase 10 mil horas de treinamento, a gente reduziu as alucinações a praticamente zero. Existem centenas de técnicas para trazer a consistência nos dados. Uma delas envolve dizer “você não pode inventar uma resposta quando não souber”, assim como se ensina uma criança todas as vezes em que ela erra.

O sócio da Grana Capital acrescenta:

— Outro modo se chama cadeia de pensamento. Em vez de fazer só uma pergunta para a inteligência artificial, fazer a pergunta pedindo para ela explicar a resposta. Ela pode dar uma resposta inicialmente errada. Mas, quando começa a explicar, entende que havia se equivocado e se corrige no final.

As técnicas de treinamento da IA são mais difíceis, explica Kelmanson, porque envolvem lógica probabilística — é uma ferramenta diferente do método tradicional de uso de algoritmos em computação.

Bruno Diniz, sócio-fundador da consultoria de inovação Spiralem, alerta que, para o usuário, o importante é usar senso crítico e fazer a busca em diferentes bases:

— O problema é terceirizar totalmente nosso julgamento para ferramentas como essas. Esse é um dos grandes problemas que podemos enfrentar como civilização. A informação pode ter qualquer tipo de viés, ideológico por exemplo, e as pessoas propagarem isso.