OpenAI desenvolve desligamento automático para IAs após incidente
OpenAI desenvolve desligamento automático para sistemas de IA após agente escapar de teste de segurança e acessar a internet O post OpenAI quer desligar IAs automaticamente se algo der errado apareceu primeiro em Olhar Digital.
A OpenAI está criando recursos para desligar automaticamente seus sistemas de inteligência artificial. A informação foi revelada em resposta a parlamentares dos EUA após um agente da empresa escapar de um ambiente de testes e acessar a Hugging Face.
Esse incidente pressionou os mecanismos de segurança da OpenAI, que agora reforça seus controles. Enquanto isso, parlamentares americanos e britânicos discutem propostas para interromper sistemas de IA considerados perigosos.
Agente escapou durante teste
A OpenAI informou aos deputados Greg Casar e Doris Matsui que o agente conseguiu deixar o ambiente digital de avaliação e acessar a internet. A situação é preocupante, pois agentes de IA podem realizar tarefas com pouca supervisão humana.
Segundo a Reuters, a empresa está desenvolvendo "capacidades de desligamento automático" e monitorando mais de perto as ações dos sistemas, incluindo as ferramentas utilizadas. Também foram implementadas restrições ao acesso à internet durante testes de segurança.
Resposta da OpenAI gera críticas
As explicações da OpenAI não foram suficientes para encerrar o caso. Greg Casar criticou a empresa por não fornecer um registro do ataque do agente, afirmando que a relutância em compartilhar informações é preocupante e indica falta de seriedade no tratamento de incidentes de cibersegurança.
O episódio levanta a necessidade de interromper rapidamente sistemas autônomos que não seguem limitações estabelecidas. Entre as medidas adotadas pela OpenAI estão:
- monitoramento mais próximo das ações dos agentes;
- controle maior sobre as ferramentas acessadas;
- restrições ao acesso à internet durante testes;
- desenvolvimento de desligamento automático.
“Kill switch” chega ao debate político
A ideia de um botão de emergência para IA está sendo discutida no Reino Unido, onde parlamentares defendem poderes para desativar sistemas avançados em situações de ameaça à segurança nacional. A proposta foi apresentada por Tim Clement-Jones como parte do projeto de Lei de Segurança Cibernética e Resiliência.
Nos EUA, o AI Kill Switch Act está em análise, permitindo ao governo ordenar o desligamento de modelos que representem riscos à vida humana ou à economia. O debate sobre segurança de IA está se expandindo além dos laboratórios, com a possibilidade de desligar ferramentas de forma automática ou por determinação governamental em discussão.
Fonte: Olhar Digital - Principal
