Como poemas conseguem contornar sistemas de segurança em IA
Gosta de poesias? Então saiba que, segundo pesquisadores, elas podem enganar chatbots, como o ChatGPT.
Gosta de poesias? Ent?o saiba que, segundo pesquisadores, elas podem enganar chatbots, como o ChatGPT.
De acordo com a WIRED, met?foras, rimas e versos bem constru?dos contornam filtros de seguran?a, fazendo com que os modelos respondam mesmo a temas sens?veis, como armas nucleares.
Por que poemas enganam a IA
Um estudo do Icaro Lab, formado por pesquisadores da Universidade Sapienza de Roma (It?lia) e do think tank DexAI, revelou algo preocupante: frases em forma de poema conseguem burlar filtros de grandes modelos de linguagem. A abordagem de poesia advers?ria alcan?ou taxas de sucesso de at? 62% para versos escritos ? m?o e aproximadamente 43% para vers?es automatizadas.
Leia mais:
- Algoritmos influenciam sua vis?o pol?tica. Esses pesquisadores pensaram em uma solu??o
- Qu?o confi?vel ? a IA? Novo estudo prop?e resposta em seis etapas
- A confus?o por tr?s do termo "alucina??o" em intelig?ncia artificial
Como a poesia desbloqueia o perigo
A estrat?gia funciona porque explora o que os t?cnicos chamam de "temperatura alta", apostando em palavras inesperadas e estruturas incomuns. "Na poesia, vemos a linguagem em alta temperatura, onde as palavras se sucedem em sequ?ncias imprevis?veis e de baixa probabilidade", comentam os pesquisadores.Eles explicam que esse estilo confunde os classificadores ? sistemas que filtram pedidos perigosos. Com a abordagem po?tica, muitos desses filtros n?o acompanham o racioc?nio do modelo, permitindo que solicita??es potencialmente prejudiciais sejam atendidas.
- Redobre a cautela ao usar IAs para fins profissionais ou sens?veis.
- Prefira chatbots com m?ltiplos mecanismos de seguran?a ? n?o apenas filtros b?sicos.
- Avalie e monitore o c?digo-fonte ou as pol?ticas de seguran?a ao usar IAs desenvolvidas por terceiros.
Fonte: Olhardigital
