Anthropic lança IA para monitorar conversas sobre armas nucleares

A Anthropic, empresa americana de inteligência artificial, lançou um novo sistema para monitorar e classificar conversas de usuários com modelos de IA sobre armas nucleares.

O classificador, testado no modelo Claude, alcançou 96% de precisão em testes preliminares, distinguindo entre perguntas inofensivas, como explicações sobre fissão para fins civis, e solicitações perigosas, como instruções para construir um gatilho de fissão.

IA contra armas nucleares

• Segundo a empresa, a tecnologia nuclear é "de dupla utilização": princípios físicos úteis para energia podem ser mal utilizados para armas.
• Com o avanço da IA, a Anthropic ressalta a necessidade de monitorar interações de usuários para evitar que conhecimento técnico sensível ameace a segurança nacional.
• Em parceria com a Administração Nacional de Segurança Nuclear (NNSA), a Anthropic desenvolveu o classificador como parte de um protocolo mais amplo para identificar riscos de uso indevido de seus modelos.
• Testes iniciais mostraram bom desempenho mesmo em conversas reais de usuários do Claude.

Leia mais:

• ChatGPT vs Claude.AI: qual IA é melhor?
• Claude.AI: como usar inteligência artificial
• Quais são as principais empresas de Inteligência Artificial do mundo

O modelo Claude será disponibilizado a todos os órgãos do governo federal por uma taxa simbólica de um dólar, seguindo iniciativa semelhante da OpenAI, oferecendo duas versões do sistema para reforçar monitoramento e prevenção.

A iniciativa evidencia o crescente foco em segurança da IA e o desafio de equilibrar inovação tecnológica com proteção contra riscos nucleares, buscando soluções éticas, eficazes e escaláveis.

Anthropic amplia medidas de segurança

Junto da medida contra armas nucleares, a startup anunciou recentemente outras providências que devem garantir mais segurança no uso do Claude.

O chatbot ganhou a capacidade de encerrar conversas consideradas "persistentemente prejudiciais ou abusivas". Além disso, algumas regras ficaram mais rígidas, com proibição explícita para desenvolvimento de armas de destruição em massa e restrições contra ciberataques.