Quando você pressiona Enter em um chatbot de IA, aproximadamente uma dúzia de estágios de processamento ocorrem antes que sua resposta apareça. A mensagem digitada não é enviada diretamente ao modelo—ela é montada em um documento contendo prompts do sistema, definições de ferramentas, memória, documentos da base de conhecimento, histórico da conversa e a nova entrada. Esse processo, chamado engenharia de contexto, determina quais informações chegam ao modelo e em que ordem.

Os modelos são apátridas (stateless) por projeto, o que significa que eles reconstruem o histórico da conversa do zero a cada turno e compartilham recursos com outros usuários. A pausa inicial antes do texto aparecer envolve etapas de pré-preenchimento e decodificação, cache e processos de streaming. Diferentes provedores estruturam esse documento de maneiras diferentes—alguns recuperam tudo antecipadamente, outros permitem que o modelo busque informações durante o processamento.

O documento montado afeta a precisão porque os modelos têm orçamentos de atenção finitos. Cada token adicionado reduz gradualmente a precisão, mesmo em tarefas simples. Isso explica por que dois produtos que usam modelos idênticos podem produzir respostas diferentes—o documento que envolve a pergunta difere. A mesma arquitetura de modelo subjacente, mas abordagens diferentes de engenharia de contexto, levam a saídas variadas. Entender essa jornada—desde a montagem da entrada passando pelas verificações de segurança até as respostas em streaming—revela por que as respostas de IA podem variar e o que acontece durante aqueles segundos aparentemente ociosos entre sua pressão no Enter e a aparição da primeira palavra.