HeadlinesBriefing favicon HeadlinesBriefing.com

TERMy: LLM不要の高速ターミナルアシスタント

Hacker News •
×

私は研究開発が大好きです。PJON(Padded Jittering Operative Network)で私のことを聞いたことがあるかもしれません。これは2010年に開発を始めたネットワークプロトコルで、最近ETH Zurich大学がPius Sieberの研究のおかげでシリコンに実装しました。

TERMyを皆さんと共有できることを嬉しく思います。これはNPC-Forgeフレームワーク上に構築されたターミナルアシスタントです。今日構築されている他のすべてとは異なり、TERMyは埋め込み、機械学習、LLMを使用しません。CPU上で動作し(Raspberry Pi Zeroでも)、ターミナルまたはブラウザタブのクライアントサイドの両方で動作し、ミリ秒で応答します。これは、人工ニューロンを1つも使わずに自然言語をシェルコマンドに変換する、皮肉的でありながら非常に知識豊富なLinuxターミナルアシスタントです。

7月初旬から2ヶ月間、個人的なプロジェクトに集中する機会がありました。それはAI価格高騰と補助金付きtokenmaxingの終焉という奇妙な時期でした。単純な自然言語リクエストを処理できるターミナルアシスタントをゼロから開発できるかどうか興味がありました。私は記憶力が悪く、copilotに「仮想環境をアクティブにする」などの些細な操作を頼むことに慣れており、毎月かなりの金額を費やしていました。

仕組み:プロンプトを入力すると、約1000行のPythonで書かれた軽量NLUパイプラインを通過し、次のステップを実装します:1. 悪態、間投詞、励まし、落胆、感謝の言葉を除去(ノイズ除去)2. 感情分析 3. 完全一致(非常に高速)4. テンプレート一致(遅い)5. 確率的一致(さらに遅い)。ステップ5は、まれな単語を識別するためにIDF、単語の逆転に対応するためにBOW、タイプミスを安全に処理するためにIDF加重レーベンシュタインに依存しています。権限ゲートはデータセットにハードコードされ、潜在的に破壊的なすべてのコマンドに適用されるため、予測不可能なLLMをマシン上で自由に実行させるよりも本質的に安全です。