HeadlinesBriefing favicon HeadlinesBriefing.com

TERMy: Быстрый терминальный помощник без LLM

Hacker News •
×

Я люблю исследования и разработки, вы могли слышать обо мне из-за PJON (Padded Jittering Operative Network). Это сетевой протокол, который я начал разрабатывать в 2010 году, недавно реализованный в кремнии университетом ETH Zurich благодаря исследованиям Pius Sieber.

Я рад поделиться с вами TERMy, терминальным помощником, построенным на фреймворке NPC-Forge. В отличие от всего, что создается сегодня, TERMy не использует эмбеддинги, машинное обучение или LLM. Он работает на CPU (даже на Raspberry Pi Zero) как в терминале, так и на стороне клиента во вкладке браузера и отвечает за миллисекунды. Это циничный, но очень знающий терминальный помощник Linux, который переводит ваш естественный язык в команды оболочки, не полагаясь ни на один искусственный нейрон.

У меня была возможность сосредоточиться на 2 месяца на моих личных проектах с начала июля, в странные времена роста цен на ИИ и конца субсидированного tokenmaxing. Мне было любопытно, смогу ли я разработать с нуля терминального помощника, способного обрабатывать простые запросы на естественном языке. У меня плохая память, и я привык просить copilot "активировать виртуальную среду" или подобные тривиальные операции, тратя немалую сумму каждый месяц.

Как это работает: Когда вы вводите подсказку, она проходит через легкий конвейер NLU, написанный на ~1000 строках Python, который реализует следующие шаги: 1. Удаление ругательств, междометий, слов поощрения, неодобрения и благодарности (удаление шума) 2. Анализ тональности 3. Точное совпадение (очень быстро) 4. Совпадение по шаблону (медленнее) 5. Вероятностное совпадение (еще медленнее). Шаг 5 опирается на IDF для выявления редких слов, BOW для учета инверсий слов и взвешенный по IDF Левенштейн для безопасной обработки опечаток. Контроль разрешений жестко закодирован в наборе данных и применяется ко всем потенциально разрушительным командам, поэтому он по своей сути безопаснее, чем позволить непредсказуемому LLM бесконтрольно действовать на вашей машине.