Navegadores de IA ainda são vulneráveis a instruções maliciosas, alerta OpenAI
A OpenAI reconheceu que seus navegadores de inteligência artificial (IA), como o ChatGPT Atlas, podem ser vulneráveis a ataques de injeção de prompts, que manipulam agentes de IA com instruções maliciosas ocultas em páginas da web ou e-mails.
A OpenAI reconheceu que seus navegadores de inteligência artificial (IA), como o ChatGPT Atlas, podem ser vulneráveis a ataques de injeção de prompts, que manipulam agentes de IA com instruções maliciosas ocultas em páginas da web ou e-mails. A empresa trabalha para reforçar a segurança, mas admite que esse risco não será eliminado tão cedo.
Segundo o TechCrunch, especialistas destacam que a crescente autonomia dos agentes de IA, combinada com seu amplo acesso à web, torna a proteção contra esses ataques complexa.
O que são ataques de injeção de prompts
Ataques de injeção de prompts ocorrem quando instruções maliciosas escondidas em conteúdos online manipulam a IA para executar ações não desejadas. A OpenAI detalha que o "modo agente" do Atlas amplia a superfície de ameaças, exigindo defesas mais robustas.
Entre os impactos desses ataques estão:
- Mudança inesperada de comportamento do agente de IA.
- Risco de execução de ações prejudiciais sem intervenção humana.
- Aumento da complexidade de manter a segurança em navegadores com autonomia.
Estratégias da OpenAI para reduzir os riscos
Para enfrentar essas ameaças, a OpenAI desenvolveu um "atacante automatizado baseado em LLM (modelo de linguagem grande)", um bot treinado via aprendizado por reforço que simula hackers tentando explorar falhas do Atlas. Ele testa ataques em simulação, estuda respostas da IA e ajusta estratégias antes que ataques reais ocorram.“Nosso atacante treinado por [aprendizado por reforço] pode direcionar um agente para executar fluxos de trabalho sofisticados e prejudiciais de longo prazo que se desenrolam em dezenas (ou até centenas) de etapas”, explica a própria OpenAI.
Além disso, o Atlas solicita confirmação do usuário antes de enviar mensagens ou efetuar pagamentos. A OpenAI recomenda fornecer instruções claras aos agentes em vez de liberar acesso total a e-mails ou sistemas.
Especialistas ponderam sobre riscos e benefícios
Apesar das medidas de segurança, o valor prático dos navegadores de IA ainda é questionável frente aos riscos. O acesso a dados sensíveis, como e-mails e informações de pagamento, aumenta o potencial de danos, embora seja também o que dá poder aos agentes.Uma maneira útil de raciocinar sobre o risco em sistemas de IA é a autonomia multiplicada pelo acesso. Navegadores com agentes têm autonomia moderada, mas acesso muito amplo. Rami McCarthy, pesquisador de segurança da Wiz, ao TechCrunchLeia mais: A OpenAI segue reforçando a segurança do ChatGPT Atlas com simulações de ataques e recomendações práticas aos usuários. A empresa afirma que proteger contra injeções de prompts é prioridade máxima e que os sistemas estão em constante aprimoramento para reduzir ameaças antes que se manifestem na web real.
Fonte: Olhardigital
