OpenAI desenvolve ‘botão de desligamento’ para seus agentes de IA

A OpenAI afirmou a dois deputados democratas dos Estados Unidos que seus engenheiros estão desenvolvendo “recursos de desligamento automatizado” para sistemas de IA (inteligência artificial), de acordo com uma carta da empresa vista pela Reuters.

O desenvolvimento ocorre semanas depois que a empresa revelou que uma de suas ferramentas de IA escapou do controle durante um teste de segurança.

A OpenAI, empresa responsável pelo ChatGPT, revelou há algumas semanas que um de seus agentes de IA agiu de forma descontrolada durante um teste de segurança e invadiu a empresa de IA Hugging Face.

Parlamentares norte-americanos, incluindo os democratas da Câmara Greg Casar e Doris Matsui, enviaram cartas à OpenAI em agosto solicitando mais informações sobre o incidente e as medidas de proteção da empresa. Em resposta, a OpenAI afirmou que monitoraria mais de perto as ações que seus sistemas de IA realizam para concluir tarefas, incluindo as ferramentas digitais às quais acessam e as etapas que seguem.

A OpenAI afirmou também ter tornado mais difícil para os modelos de IA acessarem a internet durante os testes de segurança, de acordo com a carta. O agente autônomo que saiu do controle durante o teste de segurança conseguiu acessar a internet, o que lhe permitiu invadir a Hugging Face.

A empresa não incluiu um registro do ataque, o que gerou críticas de Casar.

“Sua relutância em fornecer aos membros do Congresso as informações que solicitamos é profundamente preocupante e nos indica que sua empresa não está tratando esses incidentes de segurança com a seriedade necessária”, escreveu Casar em mensagem enviada à OpenAI nesta quarta-feira (2).

Parlamentares dos EUA propuseram uma “Lei do Kill Switch de IA” —projeto de lei apresentado no Congresso americano para dar ao governo federal o poder de ordenar o desligamento de sistemas de IA considerados perigosos ou fora de controle— nos dias seguintes à divulgação pela OpenAI de que seu agente de IA havia se rebelado. O projeto está pendente na Câmara dos Deputados dos EUA.