Estudo da Microsoft aponta que chatbots ficam “mais burros” em conversas longas: um paradoxo da IA

Se você já utilizou ferramentas de Inteligência Artificial para criar software do zero ou planejar projetos complexos, pode ter percebido um padrão curioso. Nos primeiros contatos, a máquina parece extremamente competente. Contudo, após várias interações e ajustes, ela começa a falhar em regras básicas, a entrar em loops e a produzir resultados inesperados.

Recentemente, a ciência confirmou o que muitos já suspeitavam. Um estudo abrangente realizado pela Microsoft Research e pela Universidade de Cornell revelou que os Grandes Modelos de Linguagem (LLMs) apresentam uma queda significativa de desempenho durante interações prolongadas com os usuários.

### A queda vertiginosa nos números

Para chegar a essa conclusão, os pesquisadores realizaram simulações que envolveram mais de 200 mil diálogos, testando os principais modelos de Inteligência Artificial, como GPT-4.1, Gemini 2.5 Pro, Claude 3.7 Sonnet, o3, DeepSeek R1 e Llama 4. Os resultados foram alarmantes para a indústria.

Em tarefas de prompt único — onde uma pergunta direta é feita e se espera uma resposta — modelos como GPT-4.1 e Gemini 2.5 Pro apresentam taxas de sucesso em torno de 90%. Porém, quando a tarefa envolve diálogos mais complexos, a precisão desses modelos despenca para cerca de 65%.

Os pesquisadores observaram uma média de 39% de queda na produtividade em seis categorias diferentes de geração de tarefas a longo prazo.

### O efeito “bola de neve” dos erros

O estudo indicou que as Inteligências Artificiais enfrentam um desafio semelhante ao de muitos humanos: a pressa em concluir tarefas. Em diálogos mais longos, os modelos tendem a formar premissas logo no início da conversa. Quando o contexto muda ou o usuário solicita ajustes mais adiante, a IA tenta adaptar a nova instrução com base na primeira premissa, em vez de reavaliar desde o início. Isso cria um efeito “bola de neve”, onde erros anteriores interferem nas respostas subsequentes.

Para contornar essa confusão, os modelos costumam gerar textos excessivamente longos e complexos, na esperança de acertos por tentativa e erro, perdendo a clareza sobre o que foi solicitado.

### A ironia dos modelos mais simples

Curiosamente, o estudo mostrou que modelos de Inteligência Artificial menores demonstraram uma maior estabilidade em conversas longas. Como não possuem a capacidade de formar raciocínios complexos desde o início, essas IAs mais simples não ficam presas a suposições iniciais, resultando em respostas mais diretas e precisas ao longo do diálogo.

A mensagem da pesquisa é clara: antes de avançar em direção à Inteligência Artificial Geral (AGI), é vital que os desenvolvedores resolvam a questão da “memória de curto prazo” de suas ferramentas.