Chaque agent exécute déjà une boucle. L'ingénierie de boucle ajoute une boucle autour de l'agent lui-même, lui permettant d'évaluer sa sortie, de réessayer lorsque le travail est insuffisant et d'affiner ses instructions lorsque les mêmes erreurs se reproduisent. Aujourd'hui, vous jouez ce rôle : examiner le travail, diagnostiquer ce qui a mal tourné et redonner des instructions à l'agent. Cet article montre comment automatiser ce processus avec un exemple concret, tout en explorant où le jugement humain reste nécessaire.

Un modèle de 70 milliards de paramètres nécessite la lecture d'environ 140 Go de poids depuis la mémoire GPU. Sur un GPU moderne de centre de données, ce transfert peut prendre des dizaines de millisecondes. Le calcul réel appliqué à ces poids ne prend qu'une fraction de ce temps. Cela signifie que les unités mathématiques du processeur sont inutilisées pendant la majeure partie du temps pris par l'étape de génération de jetons. Le décodage spéculatif est une technique qui convertit cette capacité inutilisée en sortie.

Un deuxième modèle, beaucoup plus petit, produit plusieurs jetons candidats à l'avance. Le grand modèle les évalue tous en une seule passe avant, au lieu d'une passe par jeton, ce qui entraîne une génération 2 à 3 fois plus rapide. Pour améliorer les choses, le texte produit reste statistiquement identique à la sortie du grand modèle fonctionnant seul.

La génération de texte fonctionne un jeton à la fois. Le modèle lit tout ce qui a été produit jusqu'à présent, calcule une distribution de probabilité sur son vocabulaire, sélectionne le jeton suivant, ajoute ce jeton à l'entrée et répète le cycle. Chaque cycle est appelé une passe avant, et chaque passe avant fait passer l'entrée à travers toutes les couches du modèle. Les systèmes d'inférence modernes utilisent un cache KV, qui stocke l'état d'attention pour les jetons déjà traités, réduisant le travail à l'intérieur de chaque passe, bien que l'exigence d'une passe par jeton demeure.

Entités clés : Entreprises : ByteByteGo