05 Fevereiro 2025
"A ciência é um empreendimento coletivo e seu propósito é entender as coisas. A questão é até que ponto podemos aumentar a inteligência das máquinas, a que custo, com que benefícios e quais riscos", escreve escreve Nello Cristianini, professor de Inteligência Artificial no Departamento de Ciência da Computação da Universidade de Bath, em artigo publicado por Settimana News, 29-01-2024.
Vamos começar com as notícias científicas. Uma empresa de tecnologia chinesa chamada DeepSeek desenvolveu modelos de IA que apresentam desempenho tão bom quanto os melhores modelos da OpenAI e do Google, com custos de treinamento (ou seja, tempo de computação) muito menores. Eles são chamados: DeepSeek V3 e DeepSeek R1.
O modelo que está sendo muito falado hoje é o V3 (enquanto o DeepSeek-R1 é provavelmente mais importante, e falaremos sobre ele no final). Para este artigo, estou me baseando na descrição do V3 feita aqui pela empresa DeepSeek. Percebo que esses novos modelos já estão no mercado há algumas semanas e não está claro para mim por que os mercados ficaram alarmados ontem.
O DeepSeek V3 é semelhante em estrutura aos modelos principais de grandes empresas americanas, tem quase o mesmo desempenho, mas seu treinamento custa muito menos em termos de computação. Além disso, é de código aberto, o que significa que qualquer pessoa pode verificar e modificar o programa de forma transparente.
Não é fácil fazer uma comparação direta dos custos de treinamento, porque as grandes empresas americanas não divulgam mais esses dados, por questões de segredo industrial.
O V3 exigiu US$ 5,5 milhões (usando 2,7 milhões de horas de GPU do tipo H800, que não é o processador principal, e do qual eles aparentemente têm cerca de 2.000, se for assim, estamos falando de 50 dias de computação, para aprender com 15 bilhões de palavras de texto). O New York Times relatou o que as empresas americanas vêm deixando claro há algum tempo, ou seja, que seus modelos exigem muitas dezenas de milhões de dólares, mas não encontrei dados específicos para relatar sobre modelos recentes.
Uma vez que os investidores esperam atualmente que as empresas americanas ganhem vantagem devido aos recursos informáticos superiores, e uma vez que o progresso até agora tem sido feito principalmente através do “aumento da escala” do tamanho dos modelos e, portanto, dos computadores utilizados, é natural que fiquem surpreendidos e ansioso.
Outra vantagem atribuída ao OpenAI é o método, desenvolvido internamente, para ensinar a IA a pensar profundamente sobre questões científicas, antes de respondê-las. Este novo tipo de modelo resolve essencialmente o que eu havia definido em Appunti meses atrás como “o problema da previsão”. Resumindo, em setembro a OpenAI lançou um modelo completamente novo, chamado o1 (agora seguido pelo o3), capaz de resolver tarefas que exigem raciocínio: matemática, física, programação, etc.
Automatizar a programação de computadores é uma questão estratégica na indústria de IA, tanto como um mercado potencial quanto para acelerar o desenvolvimento de modelos subsequentes. Nem mesmo os detalhes da construção do o1 foram divulgados, tanto que há uma frente de pesquisa dedicada a reproduzi-lo.
Bem, o outro modelo do DeepSeek, chamado R1, do qual não se fala o suficiente, vem fazendo a mesma coisa há algumas semanas: ele reproduziu essencialmente os mesmos resultados e lançou seu método em código aberto . o1, juntamente com recursos computacionais significativos, era uma das vantagens daquela empresa.
Tenhamos em mente, porém, que o enorme investimento em centros de computação não é necessário apenas para o “pré-treinamento”, e que os novos métodos de raciocínio exigem recursos computacionais para responder a cada questão: em alguns casos, vi respostas que levavam dois minutos para serem respondidas, respostas calculadas a partir de o1. Portanto, certamente haverá necessidade de máquinas enormes como a anunciada na semana passada pela Stargate, o projeto de uma nova empresa que quer construir uma infraestrutura de US$ 500 bilhões para a OpenAI nos Estados Unidos.
Uma palavra frequentemente usada nesse setor é “fosso”, que significa proteção contra concorrentes. Se existe ou não um fosso protegendo a indústria americana de IA é uma questão para outros; para mim, é suficiente entender onde estamos na jornada em direção a máquinas cada vez mais inteligentes. Em última análise, é isso que moldará o futuro.
O importante nessas coisas é manter um olhar no longo prazo e no significado das coisas: aqui estamos falando sobre desenvolver uma nova fronteira científica e responder a algumas questões realmente fundamentais.
Do ponto de vista científico, cada replicação é uma boa notícia: o fato de um grupo separado ter replicado independentemente os mesmos resultados que outros grupos de pesquisa fornece garantia de que o caminho é seguro, a tecnologia está se tornando estável e madura e o método funciona. O fato de termos uma versão de código aberto de tudo isso permite que grupos acadêmicos e países mais pobres participem, e isso levará a uma maior aceleração no longo prazo.
A Itália também tem recursos computacionais para gerar modelos desse nível, por exemplo na Cineca de Bolonha. Seria bom ver um produto que pudesse competir com os americanos e chineses, com o mesmo desempenho nos mesmos testes.
O fato de isso ter acontecido na China não deveria ser surpreendente: os colegas chineses são excelentes, têm os mesmos recursos e preparação que os nossos e participam das mesmas conferências há muitos anos, contribuindo com seus resultados sempre em inglês. Por que deveríamos ficar surpresos se eles obtivessem os mesmos resultados?
A ciência é um empreendimento coletivo e seu propósito é entender as coisas. A questão é até que ponto podemos aumentar a inteligência das máquinas, a que custo, com que benefícios e quais riscos. Já faz cerca de seis meses que a aceleração tem sido muito clara, o desempenho dos modelos de ponta em testes (benchmarks) está se aproximando do desempenho humano em diversas disciplinas, e ainda há espaço para crescimento na tecnologia.
Nos próximos meses, devemos ficar de olho nos testes rigorosos usados pela indústria para comparar diferentes máquinas, como DeepSeek, GPT e Claude, mas cada vez mais também na comparação de máquinas com pessoas, nos mesmos problemas. Essa será a grande história que se seguirá em 2025.
Embora a Igreja tenha mantido uma relação de amor e ódio com os meios de comunicação e, em especial, com as mídias digitais,[...]
LER MAIS
