Cuando presionas Enter en un chatbot de IA, ocurren aproximadamente una docena de etapas de procesamiento antes de que aparezca tu respuesta. El mensaje escrito no se envía directamente al modelo: se ensambla en un documento que contiene prompts del sistema, definiciones de herramientas, memoria, documentos de la base de conocimiento, historial de conversación y la nueva entrada. Este proceso, llamado ingeniería de contexto, determina qué información llega al modelo y en qué orden.

Los modelos son sin estado por diseño, lo que significa que reconstruyen el historial de conversación desde cero en cada turno y comparten recursos con otros usuarios. La pausa inicial antes de que aparezca el texto implica pasos de prellenado y decodificación, caché y procesos de transmisión. Diferentes proveedores estructuran este documento de manera diferente: algunos recuperan todo de antemano, otros permiten que el modelo obtenga información durante el procesamiento.

El documento ensamblado afecta la precisión porque los modelos tienen presupuestos de atención finitos. Cada token agregado reduce gradualmente la precisión, incluso en tareas simples. Esto explica por qué dos productos que utilizan modelos idénticos pueden producir respuestas diferentes: el documento que envuelve la pregunta difiere. La misma arquitectura de modelo subyacente, pero diferentes enfoques de ingeniería de contexto, conducen a salidas variadas. Comprender este viaje, desde el ensamblaje de la entrada pasando por las verificaciones de seguridad hasta las respuestas en transmisión, revela por qué las respuestas de IA pueden variar y qué sucede durante esos segundos aparentemente inactivos entre tu presión de Enter y la aparición de la primera palabra.