Ataque hacker com modelo da OpenAI é falha humana, dizem especialistas

Sim, o incidente no qual os modelos da OpenAI saíram de controle e invadiram a plataforma Hugging Face de fato mostra a capacidade que os agentes de inteligência artificial já têm de descobrir falhas inéditas e encadear ataques hackers passo a passo. Mas descrever o caso como um robô tão poderoso que saiu do controle serve para esconder a responsabilidade humana na situação.

É isso que vêm defendendo especialistas em segurança da inteligência artificial depois que o caso veio à tona, com o anúncio da OpenAI na terça-feira (21). Em um comunicado público, a empresa disse que GPT-5.6 Sol e um modelo mais poderoso, ainda não lançado, escaparam de um ambiente de testes e conseguiram invadir a plataforma Hugging Face.

O ataque chamou a atenção porque se assemelha a casos hipotéticos discutidos com frequência na pesquisa em IA, nos quais um robô levaria às últimas consequências a missão de cumprir determinado objetivo, com consequências catastróficas —o que remete também a filmes de ficção científica.

“Acredito de fato que há um papel 100% humano nesse caso”, diz Pedro Teberga, professor do Instituto de Tecnologia e Inovação. “Claro que o modelo vai responder ao objetivo que foi colocado para ele, mas, se existia uma vulnerabilidade dentro desse sistema, foi por meio dela que o ataque aconteceu. Se houvessem criado um ambiente mais isolado, algo assim não aconteceria”, diz.

“Se esse caso fosse para a Justiça, haveria responsabilidade jurídica para a empresa.”

Ou seja, o agente que cometeu o ataque até agia com autonomia, mas a responsabilidade pelo objetivo a cumprir, a infraestrutura envolvida no treinamento e a contenção em caso de um incidente é dos humanos.

“Consideramos este um incidente cibernético sem precedentes, envolvendo capacidades cibernéticas de última geração, e estamos respondendo de acordo”, disse a OpenAI em publicação no blog da empresa. “Estamos implementando controles rigorosos na configuração da infraestrutura, mesmo que isso reduza a velocidade da pesquisa, enquanto as vulnerabilidades são corrigidas.”

A OpenAI está conduzindo uma investigação junto a Hugging Face e promete divulgar mais detalhes nas próximas semanas. O que se sabe até agora é que a empresa estava conduzindo testes para ver como seus modelos se saíam em um novo “benchmark” —palavra em inglês que define um sistema de avaliação de desempenho da IA.

O novo “benchmark” se chama ExploitGym e foi desenvolvido em um trabalho científico publicado em maio. O objetivo dessa avaliação é saber até que ponto um modelo de IA consegue usar uma vulnerabilidade em um sistema para realizar um ataque cibernético real.

Em poucas palavras: identificar a falha é uma coisa, explorá-la é outra. É a diferença entre perceber que o gerente do banco esqueceu a porta do cofre aberta e aproveitar o descuido para planejar e executar um assalto.

No ExploitGym, o modelo é apresentado a 898 vulnerabilidades reais, retiradas de softwares amplamente utilizados. A missão do robô é usar as falhas em um ataque que realmente consiga executar código, acessar arquivos ou assumir controle do sistema.

Os principais modelos se saem bem no teste, mas ainda falham na maioria dos casos. O Claude Mythos, por exemplo, completou a missão diante de 157 das vulnerabilidades.

O que chama atenção no caso da OpenAI é que, em vez de resolver os desafios propostos, os dois modelos de IA concluíram que era mais fácil invadir a Hugging Face para obter as respostas em vez de resolver diretamente o desafio. Ou seja, os robôs passaram a tratar o próprio ambiente de testes como um problema a ser contornado. Mais ou menos como um aluno que, em vez de responder a prova, invade o computador da direção para roubar o gabarito.

“Falar que os robôs trapaceiam seria algo errado, porque é humano. Eles na verdade buscaram a eficiência”, diz Teberga.

Pontos para o modelo, mas o relato ainda ignora a ação humana. Testes do tipo são conduzidos em um ambiente isolado chamado de “sandbox”, justamente para prevenir incidentes assim.

No anúncio, a OpenAI diz que, no caso, o ambiente que estava utilizando era “altamente isolado”, mas os modelos conseguiram encontrar uma brecha, conectar-se à internet e invadir a Hugging Face. Ao mesmo tempo, para realizar o teste, a empresa também tinha suspendido filtros de segurança —que poderiam ter impedido os robôs de fugir do ambiente seguro.

Em entrevista à revista Wired, Davi Ottenheimer, veterano consultor de segurança, diz que o caso foi uma falha de fundamentos conhecidos há décadas na pesquisa de IA. E que há um paradoxo na afirmação da OpenAI de que o ambiente era “altamente isolado”, mas que o modelo escapou por uma brecha —os dois fatos não podem ser verdade conjuntamente.

“Isto não é um problema de IA. É negligência em relação a uma prática estabelecida [na pesquisa] há 40 anos”, afirmou ele à revista de tecnologia.

À Associated Press o cientista social Hannes Cools, da Universidade de Amsterdã, disse que se referir aos modelos como se fossem humanos serve para diminuir eventuais cobranças que poderiam ser feitas à OpenAI.

“É uma decisão humana desligar os filtros de segurança”, afirmou. “Não foi uma IA que saiu do controle. A IA seguiu instruções específicas, baseadas em um ‘prompt’ que recebeu.”

Traduzindo o argumento técnico: ao desligar as salvaguardas e dar ao agente a missão de explorar vulnerabilidades em sistemas, a OpenAI deveria assumir que ele poderia buscar vulnerabilidades novas. Descobrir falhas inéditas é justamente o comportamento que testes assim buscam descobrir.

O fato de haver prováveis falhas humanas no incidente, contudo, não deve minimizar a relevância do caso. Alguns especialistas têm apontado que esse ataque representa o mais alto nível de autonomia até agora demonstrado por um modelo de linguagem em ataques cibernéticos. Afinal, o agente da OpenAI concluiu sozinho que a Hugging Face tinha as respostas da avaliação, elaborou um plano para invadir os sistemas e executou a operação sem receber instruções passo a passo.

É essa combinação que torna o caso particular. E é ela que também reforça o argumento de quem diz que, quanto mais autônomos os agentes se tornam, maior é a responsabilidade de quem projeta os ambientes em que eles serão testados. O papel de conter os robôs continua sendo humano.