Pour exécuter des modèles à poids ouverts localement, les équipes choisissent entre Ollama, vLLM et SGLang. Chaque moteur gère les requêtes différemment. Ollama met en file d'attente les requêtes via FIFO et exécute des modèles GGUF pré-quantifiés, idéal pour le développement local et le matériel portable via une API compatible OpenAI.

Pour le service à fort trafic, vLLM utilise le regroupement continu et Paged Attention pour stocker les caches KV. Cela insère de nouvelles requêtes dans des lots en cours d'exécution, maximisant l'utilisation du GPU pour des milliers d'utilisateurs simultanés. Pendant ce temps, SGLang cible les agents IA et les conversations multi-tours avec un planificateur conscient des préfixes et un cache Radix Attention. Il réutilise les préfixes de prompt partagés au lieu de les recalculer, optimisant ainsi les boucles d'outils et les sorties structurées.

De plus, Anthropic a partagé ses plans pour filigraner le texte afin d'identifier le contenu généré par l'IA. Les LLM échantillonnent normalement les probabilités du mot suivant de manière aléatoire. Avec le filigrane, une fonction clé restreint les candidats valides en fonction d'une clé secrète et des mots précédents. La détection vérifie si les mots candidats correspondent à cette règle dans tout le texte, calculant un score IA malgré les préoccupations persistantes concernant les faux négatifs.

Entités clés : Entreprises : Anthropic, ByteByteGo, GitHub | Personnes : [PERSON_NAME]

Question : Comment fonctionne le filigrane de texte IA ?

Il modifie les distributions de probabilité du mot suivant en utilisant une clé secrète lors de la génération, intégrant des signaux détectables qui peuvent être vérifiés en contrôlant si les mots générés correspondent aux candidats valides prédéfinis dans tout le texte.