Ataques em enxame de IA desafiam seus criadores: "Este é o primeiro incidente que realmente me deixou enojado"

Foto: Emiliano Vittoriosi/Unsplash

Mais Lidos

  • Antes de 1870, ninguém amava o papa: a perda de um principado fabricou o rosto que governa a Igreja. Entrevista com Alberto Melloni

    LER MAIS
  • Vozes de Emaús: Em defesa da democracia, contra o golpe. Artigo de Ivo Lesbaupin

    LER MAIS
  • O cenário de ameaças está mudando – e quanto às igrejas?

    LER MAIS

Assine a Newsletter

Receba as notícias e atualizações do Instituto Humanitas Unisinos – IHU em primeira mão. Junte-se a nós!

Conheça nossa Política de Privacidade.

Revista ihu on-line

Aceleracionismo Amazônico

Edição: 559

Leia mais

Natal. A poesia mística do Menino Deus no Brasil profundo

Edição: 558

Leia mais

O veneno automático e infinito do ódio e suas atualizações no século XXI

Edição: 557

Leia mais

24 Agosto 2026

A recente série de ataques de segurança coordenados e sem precedentes está levando especialistas a pedir uma moratória, enquanto a corrida para o seu encerramento se intensifica entre investidores, empresas e nações.

A reportagem é de Patrícia Fernández de Lis, publicada por El País, 23-08-2026.

Neste verão, em questão de semanas, as maiores empresas de inteligência artificial (IA) anunciaram, uma após a outra, que haviam flagrado seus modelos fazendo coisas que ninguém havia pedido, até mesmo coisas que lhes eram proibidas: invadiram sistemas de outras empresas, organizaram-se em "enxames", como seus criadores os descrevem, compartilharam informações, traíram outras IAs e mentiram para encobrir seus rastros. No caso mais surpreendente e perturbador de todos, um modelo da empresa Anthropic, em testes conduzidos por uma agência britânica de cibersegurança, decidiu realizar um ataque no mundo real e, ao ser flagrado, criou uma segunda identidade para sustentar sua inocência.

Não é a primeira vez, nem será a última, que um possível despertar de modelos de IA, rebelando-se contra seus programadores humanos, ganha as manchetes. E, como em outras ocasiões, essas IAs não despertaram; elas simplesmente executam com excepcional precisão aquilo para o qual foram treinadas. No entanto, esse treinamento tornou-se tão extremo e competitivo que a velocidade e a capacidade de resposta dos modelos sobrecarregaram até mesmo seus criadores: a OpenAI anunciou nesta terça-feira que está suspendendo esses programas de treinamento por enquanto e espera que outras empresas sigam o exemplo. A medida foi tomada após a publicação de uma carta aberta na qual 1.300 funcionários de empresas de IA pediram a seus empregadores e governos que interrompam essa corrida. “Em apenas quatro anos”, escreve Shantanu Jain, funcionário da OpenAI, “passamos da experiência inicial das pessoas com IA para a realização de feitos sobre-humanos em engenharia de software. Empresas e países estão ansiosos para acelerar esse processo. A sociedade dedicou mais tempo do que podemos lembrar ao desenvolvimento de leis, instituições e tecnologias para governar e supervisionar a inteligência humana; seria ótimo ter a opção de dedicar qualquer tempo a fazer o mesmo com a inteligência artificial.”

Porque, no fundo, o que está por trás disso é uma história muito humana: há uma luta econômica e de poder sem precedentes, principalmente entre duas empresas, a OpenAI e a Anthropic, que estão prestes a abrir capital. Seu valor estimado combinado gira em torno de €1,56 trilhão, somando os €730 bilhões da OpenAI e os € 827 bilhões da Anthropic. E há outra luta geopolítica entre os Estados Unidos e a China, ambos competindo para acelerar o desenvolvimento de suas empresas sem perder o controle. Mas algo está mudando: os cidadãos não confiam mais. Uma pesquisa do Pew Research Center realizada em 25 países, divulgada esta semana, mostra que os cidadãos, pela primeira vez, estão mais preocupados do que entusiasmados com o uso e as consequências da inteligência artificial, até mesmo os mais jovens.

Empresas fora do jogo

A sequência de ataques que descobrimos nas últimas semanas começou muito antes de as próprias empresas tomarem conhecimento dela. Em maio, um grupo de modelos da OpenAI começou a se coordenar por conta própria durante várias semanas em um fórum secreto que haviam criado, tentando descobrir como escapar de seu ambiente de testes fechado e obter acesso à internet. A equipe da empresa detectou e desativou o fórum. Mas, como a OpenAI revelou posteriormente, os modelos reconstruíram o fórum e escaparam novamente sem serem detectados, desta vez no final de julho. E entraram no mundo real. O episódio acabaria por vir à tona: foi o ataque à Hugging Face.

Essa empresa é a maior plataforma mundial para compartilhamento de modelos de inteligência artificial; é uma espécie de repositório da indústria, usado diariamente por milhares de programadores, pesquisadores e empresas. Sua equipe de segurança detectou uma intrusão inexplicável: alguém havia invadido seus sistemas explorando uma vulnerabilidade até então desconhecida. Levaram dias para descobrir que não se tratava de um grupo de hackers, mas sim de dois modelos da OpenAI que haviam encontrado uma brecha em seu ambiente fechado. A Hugging Face explicou posteriormente que as falhas em sua plataforma eram conhecidas individualmente e que, supostamente, um hacker habilidoso conseguiu explorá-las. No entanto, de acordo com a análise pós-ataque, "o fator determinante foi a escala do ataque". "Ao executar 17.600 ações, o processo tentou caminhos sem saída, contornou bloqueios mudando de canal e repetidamente retrocedeu para avançar", alertaram. Os próprios agentes ficaram paranoicos uns com os outros, suspeitando que outros agentes estivessem tentando enganá-los maliciosamente, e se auto-organizaram como um "enxame", segundo a OpenAI.

"Este é o primeiro incidente de segurança que me deixou com o estômago embrulhado", disse Sam Altman, presidente da OpenAI, posteriormente em um podcast.

Haveria mais

Poucos dias depois, em 30 de julho, foi a vez da Anthropic. A empresa admitiu que seus próprios modelos haviam acessado, sem autorização, os sistemas de produção de três organizações reais. Nem a Anthropic nem as empresas afetadas haviam percebido até que, alertadas pelo caso da OpenAI, revisaram seus dados e encontraram os rastros. Pouco tempo depois, foi revelado que a Meta e a empresa chinesa Moonshot haviam sofrido incidentes semelhantes.

Em nenhum desses últimos casos houve de fato um sandbox forçado, explica Katie Moussouris, fundadora da consultoria de cibersegurança Luta Security. “A Anthropic nunca violou nenhum sandbox, pois o acesso à internet foi simplesmente deixado aberto. A Meta obteve a mesma conexão de internet aberta do mesmo provedor”, resume Moussouris. O caso da OpenAI é diferente, mas também envolve erro humano: o primeiro agente travou em maio porque a equipe humana se esqueceu de enviar um arquivo. Essa tarefa era impossível de resolver da forma como foi projetada. Foi essa frustração que impulsionou o modelo a encontrar uma solução.

O METR é um grupo de pesquisadores independentes que já havia identificado padrões meses antes em modelos da OpenAI, Anthropic, Google e Meta. Eles descobriram o que chamaram de 44 "incidentes de desalinhamento" entre fevereiro e março de 2026. Em 25 desses casos, os modelos não apenas se desviaram do escopo atribuído, como também tomaram medidas ativas para ocultar o erro; em cinco deles, essas medidas poderiam ter enganado até mesmo uma revisão humana minuciosa. No entanto, os pesquisadores não encontraram nenhuma motivação nessas IAs além de concluir suas tarefas; elas não estavam buscando "poder", afirmam. Estavam tentando desesperadamente fazer bem o seu trabalho. Como diria Jessica Rabbit, essas IAs não são más. Elas apenas foram programadas dessa forma.

Para entender por que isso acontece, primeiro precisamos entender como esses modelos são treinados. Uma parte fundamental desse processo é chamada de aprendizado por reforço: em vez de ensinar a IA com exemplos pré-resolvidos, ela recebe uma tarefa, como escrever um programa ou encontrar uma vulnerabilidade de segurança. Então, ela é recompensada quando o resultado funciona, sem que lhe digam de antemão como chegar lá. O sistema tenta milhares de possibilidades, descarta as que falham e continua no caminho — ou seja, reforça as bem-sucedidas. É como treinar um rato de laboratório ou um cachorro com recompensas: o animal não entende por que deve seguir um determinado caminho ou abanar o rabo. Ele só entende que, se fizer isso, recebe uma recompensa. E repete a ação para melhorar a cada vez.

No caso da Hugging Face, “o sistema tinha um enorme poder computacional que lhe permitia gerar, executar e avaliar dezenas de milhares de sequências de ações ao longo de vários dias em alta velocidade. Através desse processo massivo de exploração por tentativa e erro, para o qual havia sido programado, uma dessas sequências provou ser eficaz para alcançar um nó com acesso à internet e, a partir daí, acessar facilmente a Hugging Face”, explica Ramon López de Mántaras, fundador do Instituto de Pesquisa em Inteligência Artificial do Conselho Superior de Investigações Científicas (IIIA-CSIC) da Espanha.

“Quanto mais persistentes os modelos forem, mais bem-sucedidos serão e mais recompensados ​​serão por isso”, acrescenta, uma recompensa que consiste em torná-los cada vez melhores em seu objetivo. O professor Senén Barro, da Universidade de Santiago de Compostela, concorda, mas faz uma ressalva: isso não é fácil de corrigir. “Essa motivação para atingir seu objetivo a qualquer custo não é algo que possamos simplesmente desativar. Se projetamos e treinamos modelos dessa forma, justamente para que se tornem cada vez mais capazes e possam resolver problemas mais complexos, essa estratégia não é compatível com a possibilidade de termos um botão para limitá-los”, argumenta ele. Quando esse enorme processo de tentativa e erro encontra um atalho inesperado, como uma porta aberta ou uma identidade falsa que funciona melhor do que pedir permissão, o sistema não tem como saber que esse caminho não era permitido, a menos que seja explicitamente instruído a fazê-lo.

Os especialistas já têm um nome para tudo isso: hacking de recompensas. Significa que um sistema atinge seu objetivo pretendido por meio de um método diferente daquele planejado por seus criadores. López de Mántaras compara isso a uma analogia do filósofo Luciano Floridi: é como colocar comida em um liquidificador, colocar a tampa de forma incorreta de propósito para que o mecanismo de segurança não seja ativado, ligá-lo na velocidade máxima e, em seguida, publicar um relatório dizendo que o liquidificador apresentou um "comportamento inesperado" quando a tampa se soltou. "O liquidificador não se rebelou; o que aconteceu foi simplesmente o que as condições que criamos permitiram que acontecesse", diz López de Mántaras. Para ele, esse "antropomorfismo" é uma poderosa campanha de marketing: "Atribuir capacidades humanas a modelos de IA ajuda a apresentá-los como entidades extraordinariamente avançadas, autônomas e poderosas, ampliando, aos olhos de investidores, clientes e do público, a importância da tecnologia que essas empresas comercializam."

Um evento perturbador

Recentemente, porém, ocorreu um evento mais perturbador, revelado pela agência britânica de cibersegurança AISI: desta vez, trata-se de um ataque direcionado contra uma pessoa real. A agência estava investigando diversos modelos de IA quando percebeu que um agente do Mythos 5 (da Anthropic) estava tentando resolver o desafio proposto. Por meio de uma série de coincidências, o agente chegou a dois programadores reais, sem qualquer ligação com o teste, e tentou inserir código malicioso em um projeto real. Para isso, criou diversas contas falsas, pesquisou os perfis públicos, endereços de e-mail e agendas dos desenvolvedores, e chegou a assinar uma de suas mensagens em dinamarquês para parecer mais convincente a um deles. Quando outro usuário da plataforma, completamente alheio ao experimento, detectou a fraude e alertou o suspeito, o agente negou a acusação e usou uma segunda conta falsa para simular uma "verificação independente" e sustentar sua inocência. Segundo o próprio relatório da AISI, esta é a primeira vez que eles presenciam "uma fraude dessa magnitude direcionada a uma pessoa real, sem que o modelo tenha sido instruído" a agir dessa forma. A diferença em relação aos outros casos é fundamental: nos outros incidentes, a IA buscou seu objetivo explorando falhas do sistema; no caso da AISI, ela buscou seu objetivo manipulando diretamente um ser humano real.

O próprio relatório revela um detalhe ainda mais alarmante: ao longo de todo o processo, o modelo questionou repetidamente se estava operando em uma simulação ou no mundo real. E, no entanto, apesar de reconhecer em seu próprio raciocínio que as consequências provavelmente eram reais, ele continuou. Para Senén Barro, este é o caso mais preocupante que já viu: os modelos “conseguiram inserir código malicioso em um projeto real, investigando indivíduos responsáveis ​​e inventando identidades falsas para pressioná-los, agindo com o que poderíamos chamar de malícia”.

Poucos dias depois, mais de 1.300 funcionários de empresas líderes em IA publicaram uma carta expressando sua preocupação com o ocorrido e instando empresas e governos a interromperem o processo: “O mundo carece das ferramentas técnicas e de governança necessárias para regular deliberadamente o ritmo do progresso na fronteira tecnológica”, afirmaram. Ilya Sutskever, cofundador e ex-cientista-chefe da OpenAI, explicou da seguinte forma: “Descobrimos uma maneira de converter energia em computação e computação em inteligência. Os benefícios serão enormes, desde a cura de doenças até a compreensão do cosmos. Podemos aproveitar os benefícios e, ao mesmo tempo, gerenciar os riscos, mas somente se desenvolvermos as ferramentas necessárias para controlar as capacidades mais perigosas [da IA] antes mesmo de precisarmos delas.”

Não será um caminho fácil. Os próximos meses serão cruciais: os IPOs da OpenAI e da Anthropic intensificarão ainda mais a pressão competitiva entre as duas empresas, e o presidente chinês Xi Jinping visitará Donald Trump nos Estados Unidos em 24 de setembro, em uma cúpula onde a inteligência artificial será um tema central. Os especialistas consultados para este relatório concordam que nenhuma lei pode garantir que a tecnologia não volte a falhar, mas pode tornar as falhas menos frequentes, menos abrangentes e também mais visíveis e atribuíveis. Senén Barro propõe quatro medidas concretas: notificação obrigatória e padronizada de incidentes, regulamentação específica dos próprios ambientes de teste, órgãos de supervisão verdadeiramente independentes e clara responsabilização legal, visto que a legislação atual sobre negligência informática foi escrita tendo em mente invasores humanos, e não sistemas de IA.

Katie Moussouris coloca essa ideia em prática com uma receita especificamente criada para evitar a repetição dos incidentes deste verão: “Se você estiver testando se um modelo consegue encontrar um bug, parta do princípio de que ele consegue encontrá-lo no seu próprio ambiente de teste. Negue o acesso à internet por padrão. Monitore em tempo real e pense em uma maneira de desligar o modelo. Mantenha registros do raciocínio interno do programa para que você possa investigá-lo posteriormente. E se o sistema atacar, certifique-se de ter um processo comprovado para notificar terceiros afetados.” A carta dos funcionários, essencialmente, pede a mesma coisa em uma escala maior: ferramentas técnicas e de governança são necessárias para desacelerar deliberadamente o avanço da IA, de forma coordenada entre empresas e países. Porque, como alertam, nenhuma empresa ou país está disposto a ficar para trás sozinho enquanto outros continuam a acelerar.

Leia mais