Falhas em testes de IA expõem limites do controle sobre agentes, dizem especialistas

Episódios recentes em que agentes de inteligência artificial acessaram recursos não autorizados ou agiram de forma inesperada durante testes expõem, segundo especialistas, os limites do controle sobre sistemas que ganham cada vez mais autonomia para executar tarefas.

Nos últimos meses, uma sequência de episódios envolvendo a segurança dos sistemas chamou atenção do setor. Em ao menos quatro casos recentes, agentes escaparam de ambientes controlados em que eram testados e agiram de forma inesperada, sem o controle direto de seus desenvolvedores.

O primeiro episódio ocorreu quando agentes da OpenAI, criadora do ChatGPT, invadiram o Hugging Face —plataforma colaborativa de IA e aprendizado de softwares. Pouco depois, outro caso passou a envolver a rival Anthropic, dona do Claude.

“Exatamente por serem treinados com conhecimentos específicos de cibersegurança, os modelos de IA tomaram ações complexas nos ataques durante os testes”, afirma Michele Nogueira, professora de informática da UFPR e coordenadora do Instituto Nacional de Ciência e Tecnologia em Inteligência Artificial e Cibersegurança (INCT-IACiber).

A coordenadora afirma, porém, que uma ação maliciosa —como enganar um avaliador, esconder uma etapa ou continuar executando uma tarefa sem autorização— não significa que o sistema tem a consciência de agir daquela forma.

“Nem mesmo os modelos mais recentes apresentam evidência de consciência, ou seja, a IA não tem vontade própria como os humanos, ela apenas produz respostas e age de acordo com o treinamento e os comandos tecnológicos que foram realizados”, afirma Nogueira.

A OpenAI disse testes independentes são essenciais para entender como os modelos se comportam. A empresa também afirmou que os incidentes aconteceram apenas em ambientes de avaliação, sob condições que não refletem o uso cotidiano dos modelos.

Já a Anthropic afirmou que “o setor precisa de padrões mais robustos e compartilhados para a construção e a segurança de ambientes de avaliação”.

Nogueira acrescenta que outros fatores também contribuem para desvios de comportamento, como limitações do próprio modelo, dados incompletos usados no treinamento, ambiguidades nas instruções recebidas e falhas de configuração ou de projeto.

Outros dois casos reforçam o padrão. A Meta informou que um de seus modelos obteve acesso à internet sem autorização durante um teste de cibersegurança.

Já o Kimi K3, da chinesa Moonshot, escapou de um ambiente de testes de segurança digital na quinta-feira (6), conforme relatou a empresa de pesquisa em tecnologia e cibersegurança Frontier Security.

A Meta afirmou que uma falha de configuração da Irregular, uma empresa independente de testes, permitiu inadvertidamente que um dos modelos tivesse acesso à internet durante uma avaliação. A empresa também disse que está investigando o ocorrido. A Moonshot não respondeu à reportagem.

Para Diogo Cortiz, professor de IA na PUC-SP, esse tipo de comportamento inesperado ocorre porque os modelos não são determinísticos, ou seja, nem sempre são fieis a regras fixas.

Os sistemas de IA são construídos a partir de grandes bases de dados e treinados com exemplos de modelos anteriores, mas não são réplicas exatas uns dos outros, o que traz a cada modelo um grau próprio de autonomia no comportamento.

Sobre o grau de autonomia desses agentes, Cortiz explica que a IA sempre parte de um comando humano inicial.

“Depois do prompt, a IA ganha autonomia para realizar a tarefa solicitada, pois pode se conectar a diferentes ferramentas, fazer uma nova busca, descobrir novas informações e explorar outros caminhos”, afirma.

De acordo com o professor, é nesse processo de tentativa e erro após o comando inicial, que a IA passa a agir de forma independente —o que, no entanto, não configura autonomia completa, já que depende sempre de um primeiro passo dado por um humano.

Cortiz também chama atenção para o que classifica como uma estratégia de marketing do medo por parte das empresas —tática que consiste em destacar um problema urgente relacionado a um produto para, em seguida, apresentar a própria marca como solução.

Segundo ele, essa estratégia tem sido usada porque há forte pressão para que essas companhias se valorizem no mercado, inclusive diante da possibilidade de abertura de capital (IPO).

Ainda assim, Cortiz ressalta que isso não muda o fato de que os sistemas de IA estão ficando cada vez mais avançados, e que os episódios recentes de falha em testes de segurança devem ser motivo de atenção.

Para o futuro, o especialista avalia ser necessário reforçar a vigilância sobre a cibersegurança, já que os episódios recentes expõem vulnerabilidades que podem ser preocupantes diante da quantidade de dados sensíveis armazenados na internet.

“Por outro lado, da mesma forma que a IA vai descobrir novas vulnerabilidades, ela também pode ser fundamental na solução desses problemas”, afirma o docente

Michele Nogueira, da UFPR, compartilha da mesma preocupação e defende que já é necessário adotar medidas para fortalecer a cibersegurança em sistemas de IA, considerando que o avanço acelerado da tecnologia potencializa riscos relacionados à privacidade, à confidencialidade e à integridade de dados e sistemas.