Conversa Longa vs Conversa Nova: Quando Recomeçar com a IA

Devo abrir uma conversa nova ou continuar na mesma?

Abra uma conversa nova quando o fio mudou de tarefa. Fique na atual enquanto cada mensagem dela ainda estiver trabalhando a seu favor.

A regra é essa, e aplicar é mais simples do que parece. Uma conversa é uma pilha de texto reenviada ao modelo a cada rodada. Enquanto essa pilha for toda relevante, ela é um ativo: o modelo mantém as suas restrições, o seu tom, o arquivo que você enviou. No instante em que parte dela deixa de ser relevante, vira ruído que o modelo ainda precisa ler antes de responder.

O custo de errar o palpite é assimétrico. Recomeçar cedo demais custa uma colagem de contexto. Ficar tempo demais custa respostas que pioram em silêncio, sem nunca avisar.

Por que conversas longas com IA pioram?

Porque detalhes importantes ficam soterrados, não porque o modelo se cansa. Pesquisa publicada sobre contextos longos mostrou que os modelos recuperam melhor a informação que está no começo ou no fim da entrada, e pior de forma mensurável quando ela está no meio, inclusive em modelos feitos para contexto longo (Liu et al., TACL 2024). Um fio de trinta mensagens joga a restrição que você deu na mensagem quatro exatamente nesse meio.

Duas coisas se acumulam junto:

• Os rascunhos recusados continuam na sala. Toda versão que você mandou o modelo não escrever segue no contexto, moldando a próxima tentativa.
• As correções viram um nó. "Mais curto" somado a "mais formal" somado a "devolve os números" chega à rodada vinte como um conjunto de instruções que brigam entre si.

E existe um teto duro. Quando o fio ultrapassa a janela de contexto do modelo, alguma coisa cede: a interface descarta as mensagens mais antigas ou a requisição falha. Se o descarte for silencioso, o modelo passa a responder sem a base que você imagina que ele ainda tem.

Quanto custa, na prática, uma conversa longa?

Cada rodada paga a conversa inteira de novo. Por baixo, o chat não guarda estado: a conversa toda é reenviada como tokens de entrada a cada nova mensagem, então um fio que chegou a 20.000 tokens cobra 20.000 tokens de entrada até para um complemento de uma linha. O cache de prompt, oferecido pelos grandes provedores, reduz o preço de reenviar um prefixo que não mudou, mas não torna grátis um fio inchado e não resolve o problema de precisão descrito acima.

Você não precisa acreditar na nossa palavra. No aiDex, o custo de cada mensagem aparece na hora, então dá para ver a conversa ficar mais cara rodada a rodada e decidir quando ela deixou de valer a pena. Use as suas próprias chaves de provedor ou as que a gente gerencia, e escolha os modelos que quiser.

Quando uma conversa longa é a escolha certa?

Fique no fio quando o contexto acumulado for justamente o ponto. Quatro casos em que recomeçar é o erro:

1. Você está iterando em um único texto. Uma cláusula, uma função, um parágrafo. A versão oito só faz sentido contra as versões um a sete.
2. Você enviou um documento. Reenviar é atrito, e em uma conversa em painel o arquivo já está compartilhado com todos os modelos da sala. É a mesma lógica de revisar um documento longo com mais de um modelo.
3. Você está depurando algo cumulativo. Cada hipótese descartada estreita a busca. Jogar isso fora significa repetir o caminho.
4. Você construiu vocabulário comum. Se o modelo já usa os seus nomes internos corretamente, esse é contexto de verdade e vale carregar.

Como levar o contexto para uma conversa nova sem a bagunça?

Peça uma passagem de bastão antes de sair. Cole isto no fim da conversa antiga:

Resuma esta conversa como um briefing para um assistente novo: o objetivo, as restrições que combinamos, as decisões já tomadas, o que descartamos e por quê, e o estado atual do rascunho. Menos de 200 palavras. Sem introdução.

Depois abra a conversa nova e cole o resultado como primeira mensagem. Você fica com as decisões e deixa para trás os rascunhos recusados, que era exatamente a troca desejada. Se as respostas do fio antigo tinham ficado estranhas, e não apenas longas, vale depurar o próprio prompt antes de levar qualquer coisa adiante.

Muda alguma coisa quando vários modelos estão na sala?

Muda, e fica mais rígido. Em uma conversa em painel todos os modelos leem o mesmo fio, então uma conversa inchada se multiplica pelo painel em vez de custar uma vez só. O mesmo problema do meio do contexto passa a valer para quatro modelos ao mesmo tempo, e eles vão discordar por motivos que nada têm a ver com a sua pergunta.

É aqui que a escolha do modo pesa mais do que a higiene da conversa. No aiDex, o Comparar manda uma pergunta para vários modelos ao mesmo tempo, o Juiz escolhe um vencedor entre as respostas, o Time deixa que eles conversem entre si, e o Pipeline passa a saída de um modelo para o próximo em etapas (Rascunho, Crítica, Revisão, Polimento). O Pipeline costuma ser a resposta real para "minha conversa está ficando longa": em vez de um fio arrastando todas as etapas, cada etapa recebe uma passagem limpa, que é o sentido de montar um pipeline em vez de um monólogo. Se estiver em dúvida sobre qual usar, comece por quando usar cada modo e explore o Dex para ver quais modelos você pode sentar à mesa.

O hábito maior mora dentro dos fluxos de trabalho com múltiplos modelos: trate a conversa como um arquivo de trabalho, não como um diário. Arquivos se fecham quando o trabalho muda.