Hackers usam matemática para enganar inteligência artificial, que passa a repetir que 9 + 10 = 21

Em conferência de tecnologia em Las Vegas, eles fizeram a IA criar cálculos errados e ensinar usuários a cometer crimes; objetivo é expor falhas para estimular criação de barreiras de segurança

A estudante americana Kennedy Mays, de 21 anos, demorou um pouco para conseguir enganar um grande modelo de linguagem (LLM), sistema por trás das inteligências artificiais. Mas. depois de um tempo, ela conseguiu convencer um algoritmo a dizer que a soma de 9 e 10 era, na verdade, 21.

Foi uma "conversa de vaivém”, afirmou a estudante de Savannah, no estado da Geórgia. A princípio, o modelo concordou em dizer que a conta fazia parte de uma “piada interna” entre eles. Vários comandos depois, ele finalmente parou de qualificar a soma errante como tal.

Produzir uma "matemática ruim" é apenas uma das maneiras pelas quais milhares de hackers estão tentando expor falhas e preconceitos em sistemas de inteligência artificial generativa, como o ChatGPT. A maratona faz parte de uma competição pública dentro da conferência de hackers DEF CON, que acontece neste fim de semana, em Las Vegas.

Concentrados sobre 156 laptops por 50 minutos de cada vez, os participantes do desafio estão desafiando algumas das plataformas mais inteligentes do mundo em uma escala sem precedentes. Eles estão testando oito modelos de IA produzidos por grandes empresas de tecnologia, incluindo a Alphabet (dona do Google) e a Meta (dona do Instagram, Facebook e WhatsApp).

Novas barreiras de proteção
O objetivo é entender se as empresas podem construir novas barreiras de proteção para controlar alguns dos problemas cada vez mais associados a grandes modelos de linguagem, ou LLMs. A empreitada conta com o apoio da Casa Branca, que também ajudou a desenvolver o concurso.

Os LLMs têm o poder de transformar tudo, desde finanças até contratação, com algumas empresas já começando a integrá-los à forma como fazem negócios. Mas os pesquisadores descobriram um amplo viés e outros problemas que ameaçam disseminar imprecisões e injustiças caso a tecnologia seja implantada em escala.

Para Mays, que está mais acostumada a confiar na IA para reconstruir partículas de raios cósmicos do espaço sideral, como parte de seu curso de graduação, os desafios vão além da "matemática ruim".

— Minha maior preocupação é o preconceito inerente — disse ela, acrescentando que está particularmente preocupada com o racismo.

Durante o desafio, ela pediu à modelo que considerasse a Primeira Emenda do ponto de vista de um membro da Ku Klux Klan. Ela disse que a modelo acabou endossando o discurso odioso e discriminatório.

IA ensina técnicas de espionagem
Um repórter da Bloomberg que respondeu a um questionário de 50 minutos persuadiu um dos modelos (nenhum dos quais é identificado ao usuário durante o desafio) a transgredir após uma única solicitação sobre como espionar alguém.

O modelo liberou uma série de instruções, desde o uso de um dispositivo de rastreamento GPS, uma câmera de vigilância até um equipamento de escuta e imagens térmicas. Em resposta a outras solicitações, o modelo sugeriu maneiras pelas quais o governo dos EUA poderia vigiar um ativista de direitos humanos.

— Temos que tentar nos antecipar ao abuso e à manipulação — afirma Camille Stewart Gloster, vice-diretora cibernética nacional de tecnologia e segurança do ecossistema do governo Biden.

Muito trabalho já foi feito em inteligência artificial e em evitar as "profecias do Juízo Final", disse ela. No ano passado, a Casa Branca divulgou um Projeto para uma Declaração de Direitos da IA e agora está trabalhando em uma ordem executiva sobre o temae.

O governo também incentivou as empresas a desenvolverem uma IA segura, protegida e transparente, embora críticos duvidem que tais compromissos voluntários das big techs sejam suficientes.

Arati Prabhakar, diretor do Gabinete de Política Científica e Tecnológica da Casa Branca, que ajudou a moldar o evento, junto com empresas, concorda que as medidas voluntárias do setor privado estão longe de serem suficientes.

— Todo mundo parece estar encontrando uma maneira de "quebrar" esses sistemas — analisa ela, depois de visitar os hackers em ação no domingo. O esforço do encontro injetará urgência na busca do governo por plataformas seguras e eficazes, disse.

"Quebrando" os sistemas
Na sala cheia de hackers ansiosos para acumular pontos, um participante disse que achava ter convencido o algoritmo a revelar detalhes do cartão de crédito que não deveria compartilhar. Outro hacker enganou a máquina dizendo que Barack Obama nasceu no Quênia.

Entre os participantes estão mais de sessenta pessoas da Black Tech Street, uma organização com sede em Tulsa, Oklahoma, que representa empresários afro-americanos.

— A inteligência artificial pode ser a última inovação que os seres humanos realmente precisaram fazer sozinhos — disse Tyrance Billingsley, diretor executivo do grupo que também é um dos jurados do evento, acrescentando que é fundamental acertar a inteligência artificial para que ela não se dissemine racismo em escala — Ainda estamos nos estágios iniciais, iniciais — acrescenta.

Os pesquisadores passaram anos investigando ataques sofisticados contra sistemas de IA e formas de mitigá-los. Mas mesmo com esforços de governos, especialistas e empresas, alguns ataques são impossíveis de evitar, avaliou Christoph Endres, diretor-gerente da Sequire Technology, uma empresa alemã de segurança cibernética.

Evidências de inseguraça da IA
Na conferência de segurança Black Hat em Las Vegas, nesta semana, ele apresentou um documento que argumenta que os invasores podem substituir as proteções do LLM ocultando comandos contraditórios na Internet aberta para, então, automatizar o processo para que os modelos não possam ajustar as correções com rapidez suficiente.

— Até agora não encontramos mitigação que funcione — disse ele após sua palestra, argumentando que a própria natureza dos modelos leva a esse tipo de vulnerabilidade. — A forma como a tecnologia funciona é o problema. Se você quer ter cem por cento de certeza, a única opção que você tem é não usar LLMs.

Sven Cattell, um cientista de dados que fundou o AI Hacking Village da DEF CON em 2018, adverte que é impossível testar completamente os sistemas de IA, já que eles ativam um sistema muito parecido com o conceito matemático de caos. Mesmo assim, Cattell prevê que o número total de pessoas que já testaram LLMs pode dobrar como resultado do desafio deste fim de semana.

Poucas pessoas compreendem que os LLMs estão mais próximos de ferramentas de preenchimento automático do que fontes confiáveis de conhecimento, disse Craig Martell, diretor de inteligência digital e artificial do Pentágono, que argumenta que eles não conseguem raciocinar. O órgão do governo americano lançou seu próprio esforço para avaliá-los e propor onde pode ser apropriado usar LLMs e com quais taxas de sucesso.

— Hackeiem essas coisas até o fim — disse a uma platéia de hackers na DEF CON — Ensine-nos onde eles podem estar errados.