Um detalhe no comunicado que o CEO do Google divulgou nesta semana sobre o Bard, o novo chat robô da empresa, chamou a atenção. Sundar Pichai afirmou que "a escala das maiores computações em inteligência artificial (IA) está dobrando a cada seis meses, superando em muito a Lei de Moore". Isso significa que essa área de pesquisa, famosas por super-robôs como o ChatGPT, vai esbarrar em limites físicos?

Pichai fez referência a uma observação que o engenheiro americano Gordon Moore fez em 1965 sobre o desenvolvimento de processadores. Ele reparou na época que, a cada ano, a indústria de microchips estava conseguindo dobrar a capacidade desses componentes (medida pelo número interno de transistores) sem aumentar o custo.

A Lei de Moore virou expressão corrente no mundo da computação, e o cenário que ela descreve se tornou um sinônimo de avanços rápidos, exponenciais, na indústria da tecnologia.

A taxa de avanço descrita por Gordon Moore diminuiu um pouco nas décadas seguintes, com a capacidade dos processadores dobrando a cada dois anos em vez de um. Mas o ritmo de evolução continuou bastante alto e na mesma escala de grandeza, e essa regra se aplica até hoje.

Enquanto na década de 1970 as unidades de processamento dos computadores tinham milhares ou dezenas de milhares de transistores, em 2022 esse número já ultrapassou as centenas de bilhões, com o M1 Ultra, da Apple, que a empresa anunciou como "o chip mais poderoso do mundo em um computador pessoal".

A inteligência artificial evoluiu durante esse período todo também, acompanhando o ritmo de aumento no custo e na capacidade dos processadores. Os projetos de IA, afinal, dependem não apenas dos dados e dos algoritmos usados para treiná-los, mas também da própria força bruta de computação, que é proporcionada pelos processadores cada vez mais modernos.

Um grupo de cientistas liderado por Jaime Sevilla, da Universidade de Aberdeeen (Inglaterra), produziu um histórico do poder de computação empregado pelos projetos mais modernos de inteligência artificial. São técnicas que empregam "aprendizado de máquina" (machine learning), uma técnica que permite a programas de computador incorporarem conhecimento automaticamente analisando conjuntos de dados.

A partir da década passada, cientistas já falavam em "aprendizado profundo" (deep learning), porque a IA já estava atingindo níveis de abstração muito maiores e mais poderosos.

Em sua análise, citada por Pichai no comunicado, Sevilla reparou que, a partir da década passada, a demanda computacional dos projetos de IA para treinar algoritmos começou a crescer a uma taxa mais rápida que a Lei de Moore. Já há muitos anos, computadores convencionais não dão conta de sustentar os programas mais avançados, que precisam de supercomputadores.

Nós mostramos que antes de 2010 a computação para treinamento de algoritmos cresceu proporcionalmente à lei de Moore, dobrando a cerca de cada 20 meses. Desde o advento do "deep learning" no começo da década passada, porém, a escala da computação usada em treinamento se acelerou, dobrada a aproximadamente cada seis meses, escrevem os cientistas num estudo submetido ao portal arXIv.org.

Quando se leva em conta só os projetos mais ambiciosos em inteligência artificial, diz o cientista, a demanda de processamento cresceu ainda mais, com algumas poucas empresas empregando sistemas dez ou cem vezes mais potentes do que os concorrentes.

O poder dos processadores requeridos para treinar algoritmos é uma medida do quanto o campo da IA avançou, dizem os pesquisadores. O avanço exponencial, porém, também é uma espécie de alerta para aqueles que querem fazer previsões no setor, porque o custo dessa infraestrutura pode começar a frear os avanços de ponta.

"A crescente tendência em computação de treinamento realça a importância estratégica da infraestrutura de hardware e dos engenheiros", escreve Sevilla. "Pesquisa de ponta em aprendizado de máquina se tornou sinônimo de ter acesso a grandes clusters de computação e grandes orçamentos para computação, além de expertise para alavancá-los."

ChatGPT "parou" em 2021 por limite computacional
Talvez não tenha sido à toa que Pichai tocou nesse assunto durante o anúncio do Bard, porque o ChatGPT (da OpenAI em parceria com a Microsoft) que é seu principal concorrente, já esbarra em algumas limitações de computação para se aprimorar.

Quem pergunta ao chat-robô da OpenAI por que seu algoritmo só foi atualizado pela última vez em 2021 recebe a seguinte resposta:

"A razão disso é que treinar um modelo de linguagem como o meu requer grandes quantidades de dados de texto, e o custo da computação para o processo de treinamento é muito alto", afirma a máquina. "Retreinar o modelo com dados novos pode levar várias semanas ou até meses, dependendo do tamanho do conjunto de dados."

Os superprojetos de IA também estão tendo de encarar contas de eletricidade com valores astronômicos, porque operar os superprocessadores é algo que consome grande quantidade de energia.

Enorme consumo de energia
A DeepMind, braço do Google para inteligência artificial, recentemente anunciou em estudo com resultados impressionantes do CodeAlpha, o seu robô que atua em linguagem de programação e é capaz de escrever programas simples.

O projeto, que criava um modelo de IA diferente para cada desafio que se propunha a resolver, consumiu uma quantidade recorde de "petaflops" (quatrilhões de operações de operações por segundo), a medida de processamento adotada no setor, e o Google não hesitou em ostentar seus números.

Para treinar e avaliar nosso maior modelo foram precisos 2.149 petaflops-dia e 175 Megawatts-hora, equivalente a 16 vezes o consumo de energia de uma casa de família americana por um ano todo, escreveu o líder do estudo da DeepMind, Yujia Li, na revista Science.

Veja também

Orçamento de 2024

Governo Federal bloqueia R$ 6 bilhões do Orçamento de 2024

Bolsa de Nova York

Wall Street fecha em alta com Dow Jones atingindo novo recorde

IA

Câmera de segurança filma momento em que robô com IA convence outros a "deixarem seus empregos"

Economia argentina

Economia argentina cai 0,3% em setembro, quarto mês seguido de retração

Petróleo

Petróleo sobe por riscos geopolíticos vinculados ao conflito na Ucrânia