A ilusão de rigor de LLMs, quando a sofisticação esconde fragilidades

A principal ameaça epistêmica

A pesquisa analisou o desempenho de três modelos de ponta do mercado (Gemini 2.5 Pro, ChatGPT-4o e Claude Opus 4) em uma tarefa de Relações Internacionais baseada no Modelo de Mapeamento de Decisão (Guevara, 2019).

• 51,7% das fontes apresentavam erros graves, incluindo citações inventadas ou distorcidas;
• 67,2% eram fontes de baixa qualidade, usadas indevidamente para sustentar argumentos complexos;
• 27,5% eram referências órfãs, listadas apenas para inflar a bibliografia.

O resultado foi um texto plausível, mas extremamente frágil. E justamente por soar convincente, a verificação de cada detalhe exige grande esforço da pessoa responsável pela pesquisa.

Researcher’s burden ou aumento da carga do pesquisador

Se a expectativa é a de que a inteligência artificial funcione como uma assistente, o pesquisador assume um papel mais próximo ao de um auditor forense, revisando fontes, confrontando evidências e identificando inconsistências.

Esse conceito, denominado researcher’s burden (ou ônus do pesquisador), alerta para o risco de se confiar excessivamente em outputs automatizados: o tempo economizado no rascunho inicial é consumido em verificações essenciais, mas demoradas.

Assimetrias globais e impactos no Sul Global

Essas falhas metodológicas dos LLMs não são apenas técnicas; elas refletem as desigualdades estruturais do sistema internacional de conhecimento.

Treinados majoritariamente em dados do Norte Global, esses modelos reforçam uma assimetria epistêmica, impondo um custo oculto aos pesquisadores do Sul Global. Para países como o Brasil, isso significa carregar um “imposto de verificação” adicional, que amplia desigualdades já existentes no acesso à ciência e à tecnologia.

Implicações para governança e uso responsável

O estudo também mostra que a questão central não é apenas melhorar a precisão dos modelos, mas desenvolver um novo tipo de letramento crítico em IA.

Isso implica compreender que LLMs não são assistentes neutros, mas objetos de estudo com lógicas próprias, vieses e limitações estruturais.

Para governos, empresas e instituições acadêmicas, essa consciência é fundamental para:

• Formular políticas de governança mais robustas;
• Avaliar riscos de dependência excessiva em outputs automáticos;
• Garantir que a inteligência artificial esteja a serviço da ciência, e não o contrário.

Quanto mais convincente uma resposta gerada por inteligência artificial, maior deve ser a cautela

A ilusão de rigor é tanto um alerta quanto um debate estratégico, principalmente para o Brasil e países do Sul Global.

Reconhecer as falhas, compreender as implicações e propor caminhos para mitigar desigualdades é parte essencial da construção de uma inteligência artificial verdadeiramente soberana.