Wenn du Enter in einem AI-Chatbot drückst, finden etwa ein Dutzend Verarbeitungsschritte statt, bevor deine Antwort erscheint. Die eingegebene Nachricht wird nicht direkt an das Modell gesendet—sie wird stattdessen in ein Dokument zusammengestellt, das System-Prompts, Tool-Definitionen, Speicher, Wissensbasen-Dokumente, Chat-Verlauf und die neue Eingabe enthält. Dieser Prozess, genannt Context Engineering, bestimmt, welche Informationen das Modell erreichen und in welcher Reihenfolge.

Modelle sind von Natur aus zustandslos (stateless) gestaltet, was bedeutet, dass sie den Chat-Verlauf bei jedem Turn von Grund auf neu aufbauen und Ressourcen mit anderen Nutzern teilen. Die initiale Pause bevor Text erscheint, umfasst Prefill- und Decode-Schritte, Caching und Streaming-Prozesse. Verschiedene Anbieter strukturieren dieses Dokument unterschiedlich—einige holen alles vorher ab, andere erlauben dem Modell, während der Verarbeitung Informationen abzurufen.

Das zusammengestellte Dokument beeinflusst die Genauigkeit, weil Modelle ein begrenztes Aufmerksamkeitsbudget haben. Jeder hinzugefügte Token verringert die Präzision schrittweise, selbst bei einfachen Aufgaben. Deshalb können zwei Produkte, die identische Modelle verwenden, unterschiedliche Antworten liefern—das Dokument, das die Frage umschließt, unterscheidet sich. Die gleiche zugrundeliegende Modellarchitektur, aber unterschiedliche Ansätze beim Context Engineering, führen zu unterschiedlichen Ausgaben. Das Verständnis dieses Weges—von der Eingabezusammenstellung über Sicherheitsprüfungen bis hin zu gestreamten Antworten—klärt auf, warum AI-Antworten variieren können und was während dieser aparentemente inaktiven Sekunden zwischen deinem Drücken auf Enter und dem Erscheinen des ersten Wortes passiert.