HeadlinesBriefing favicon HeadlinesBriefing.com

Polices d'espace de tokens LLM largeur égale

Hacker News •
×

Un nouvel outil génère des polices d'espace de tokens où chaque token LLM a une largeur égale. Il combine une police avec un tokeniseur pour créer un aperçu. Les utilisateurs peuvent taper ou coller du texte comme "The quick brown fox ate the load-bearing strawberry" pour voir comment les tokens sont rendus.

Pour l'utiliser dans Discord, sélectionnez gg sans (Discord), choisissez un preset de tokeniseur ou téléchargez-en un, puis cliquez sur Compile font. Le téléchargement du thème correspond à la police de l'aperçu. Installez le TTF dans Font Book, puis installez la police compilée même si gg sans est déjà installé. Pour une application ciblée, entrez un ID d'utilisateur Discord spécifique trouvé via le Mode développeur.

Pour Slack, installez le TTF sur votre appareil, entrez les noms d'affichage des agents ou les IDs de membres, puis téléchargez le fichier .user.js dans un gestionnaire de scripts utilisateur. Le script applique des styles aux messages correspondants sans requêtes réseau.

Les presets supportés incluent Deep Seek V4.1 Flash × Inter, Open AI, Kimi, Qwen, GLM, Llama 3, Trinity et Laguna, avec un support expérimental pour Gemma et Gemini. Le BPE au niveau d'octet brut est également accepté. La sortie est un seul TTF avec les règles de formage du tokeniseur intégrées.

Entités clés : Entreprises : Deep Seek, Open AI, Discord, Slack, Vencord, Font Book | Personnes : Tim Cook, Elon Musk | Emplacements : Hacker News