HeadlinesBriefing favicon HeadlinesBriefing.com

TERMy : Assistant de terminal rapide sans LLM

Hacker News •
×

J'aime la recherche et le développement, vous avez peut-être entendu parler de moi grâce à PJON (Padded Jittering Operative Network). C'est un protocole réseau que j'ai commencé à développer en 2010, récemment implémenté en silicium par l'université ETH Zurich grâce aux recherches de Pius Sieber.

Je suis ravi de partager avec vous TERMy, un assistant de terminal construit sur le framework NPC-Forge. Contrairement à tout ce qui est construit aujourd'hui, TERMy n'utilise pas d'embeddings, d'apprentissage automatique ou de LLM. Il fonctionne sur le CPU (même sur un Raspberry Pi Zero) à la fois dans le terminal ou côté client dans un onglet de navigateur et répond en millisecondes. C'est un assistant de terminal Linux cynique mais très compétent qui traduit votre langage naturel en commandes shell sans dépendre d'un seul neurone artificiel.

J'ai eu l'occasion de me concentrer pendant 2 mois sur mes projets personnels depuis début juillet, pendant les étranges périodes de hausse des prix de l'IA et de la fin du tokenmaxing subventionné. J'étais curieux de voir si je pouvais développer de zéro un assistant de terminal capable de gérer des demandes simples en langage naturel. J'ai une mauvaise mémoire et j'ai pris l'habitude de demander à copilot "activer l'environnement virtuel" ou des opérations triviales similaires en dépensant une somme non négligeable chaque mois.

Comment ça marche : Lorsque vous tapez une invite, elle passe par un pipeline NLU léger écrit en ~1000 lignes de Python qui implémente les étapes suivantes : 1. Supprimer les jurons, interjections, mots d'encouragement, de découragement et de remerciement (supprimer le bruit) 2. Analyse des sentiments 3. Correspondance exacte (très rapide) 4. Correspondance de modèle (plus lente) 5. Correspondance probabiliste (encore plus lente). L'étape 5 s'appuie sur IDF pour identifier les mots rares, BOW pour accommoder les inversions de mots, et Levenshtein pondéré par IDF pour gérer en toute sécurité les fautes de frappe. Le contrôle des autorisations est codé en dur dans l'ensemble de données et appliqué à toutes les commandes potentiellement destructrices, donc c'est intrinsèquement plus sûr que de laisser un LLM imprévisible s'emballer sur votre machine.