Existe algo muito simples em que os chatbots são muito ruins, segundo estudo

Um estudo recente destacou as limitações de chatbots de IA, como ChatGPT, Gemini e Grok, quando usados para busca de informações factuais. A pesquisa revelou que esses sistemas falham frequentemente em fornecer respostas precisas, errando em mais de 60% das vezes.

Mesmo quando conseguem uma resposta, muitas vezes estão excessivamente confiantes nas informações incorretas.

O estudo, conduzido pelo Tow Center for Digital Journalism, e publicado na Columbia Journalism Review, testou oito chatbots em tarefas simples, como encontrar e fornecer um link para um artigo específico.

Os chatbots testados foram o ChatGPT, Perplexity, Perplexity Pro, DeepSeek, Copilot, Grok-2, Grok-3
e Gemini.

Leia mais:

• Chatbot DeepSeek: como usar a nova inteligência artificial chinesa
• 8 coisas que você não deve compartilhar com inteligências artificiais
• Jovem se apaixona por chatbot de IA e tira a própria vida; mãe processa empresa

Embora a tarefa fosse realizável no Google, os chatbots cometeram erros significativos. O Perplexity teve o melhor desempenho, acertando 63% das vezes, enquanto o Grok-3 obteve apenas 6% de acerto.

Os principais problemas observados incluem: os chatbots fornecendo respostas erradas com confiança, ignorando protocolos de exclusão de robôs, fabricando links e citando versões erradas de artigos. Além disso, os chatbots premium (como o Copilot, da Microsoft) eram mais confiantes, mas igualmente imprecisos.

Apple acertou em parceria com o ChatGPT

• Apesar disso, a parceria da Apple com o ChatGPT para consultas não respondidas pela Siri é vista como algo positivo.
• Embora o desempenho do ChatGPT não tenha sido perfeito na atividade, foi relativamente bem entre os testados.
• O estudo confirma que chatbots podem ser úteis para gerar ideias, mas não devem ser confiáveis para respostas factuais.