Lorsque vous appuyez sur Entrée dans un chatbot IA, environ une douzaine d'étapes de traitement se produisent avant que votre réponse n'apparaisse. Le message tapé n'est pas envoyé directement au modèle : il est assemblé dans un document contenant les invites système, les définitions d'outils, la mémoire, les documents de la base de connaissances, l'historique de la conversation et la nouvelle entrée. Ce processus, appelé ingénierie de contexte, détermine quelles informations atteignent le modèle et dans quel ordre.

Les modèles sont conçus pour être apatrides (stateless), ce qui signifie qu'ils reconstruisent l'historique de la conversation à partir de zéro à chaque tour et partagent des ressources avec d'autres utilisateurs. La pause initiale avant l'apparition du texte implique les étapes de préremplissage et de décodage, la mise en cache et les processus de diffusion. Différents fournisseurs structurent ce document différemment : certains récupèrent tout en amont, tandis que d'autres permettent au modèle d'extraire des informations pendant le traitement.

Le document assemblé a un impact sur la précision car les modèles ont un budget d'attention limité. Chaque jeton ajouté réduit progressivement la précision, même pour des tâches simples. Cela explique pourquoi deux produits utilisant des modèles identiques peuvent produire des réponses différentes : le document entourant la question diffère. La même architecture de modèle sous-jacente, mais des approches différentes d'ingénierie de contexte, conduisent à des sorties variées. Comprendre ce parcours, depuis l'assemblage de l'entrée jusqu'aux vérifications de sécurité et aux réponses en flux continu, révèle pourquoi les réponses de l'IA peuvent varier et ce qui se passe pendant ces secondes apparemment inactives entre votre pression sur Entrée et l'apparition du premier mot.