HeadlinesBriefing favicon HeadlinesBriefing.com

TERMy: Asisten Terminal Cepat Tanpa LLM

Hacker News •
×

Saya suka penelitian dan pengembangan, Anda mungkin pernah mendengar tentang saya karena PJON (Padded Jittering Operative Network). Ini adalah protokol jaringan yang mulai saya kembangkan pada 2010, yang baru-baru ini diimplementasikan dalam silikon oleh universitas ETH Zurich berkat penelitian Pius Sieber.

Saya sangat senang berbagi TERMy dengan Anda, asisten terminal yang dibangun di atas kerangka NPC-Forge. Tidak seperti semua yang dibangun saat ini, TERMy tidak menggunakan embedding, pembelajaran mesin, atau LLM. Ia berjalan di CPU (bahkan di Raspberry Pi Zero) baik di terminal maupun di sisi klien di tab browser dan merespons dalam milidetik. Ini adalah asisten terminal Linux yang sinis tetapi sangat berpengetahuan yang menerjemahkan bahasa alami Anda menjadi perintah shell tanpa mengandalkan satu neuron buatan pun.

Saya mendapat kesempatan untuk fokus selama 2 bulan pada proyek pribadi saya sejak awal Juli, selama masa-masa aneh kenaikan harga AI dan berakhirnya tokenmaxing bersubsidi. Saya ingin tahu apakah saya bisa mengembangkan dari awal asisten terminal yang mampu menangani permintaan bahasa alami sederhana. Saya memiliki ingatan yang buruk dan terbiasa meminta copilot untuk "mengaktifkan lingkungan virtual" atau operasi sepele serupa, menghabiskan jumlah yang tidak sedikit setiap bulan.

Cara kerjanya: Saat Anda mengetik prompt, ia melewati pipeline NLU ringan yang ditulis dalam ~1000 baris Python yang mengimplementasikan langkah-langkah berikut: 1. Hapus kata-kata makian, interjeksi, kata-kata penyemangat, pengecil hati, dan ucapan terima kasih (hapus noise) 2. Analisis sentimen 3. Pencocokan tepat (sangat cepat) 4. Pencocokan template (lebih lambat) 5. Pencocokan probabilistik (lebih lambat lagi). Langkah 5 mengandalkan IDF untuk mengidentifikasi kata-kata langka, BOW untuk mengakomodasi inversi kata, dan Levenshtein berbobot IDF untuk menangani salah ketik dengan aman. Gate izin di-hardcode dalam dataset dan diberlakukan untuk semua perintah yang berpotensi merusak, sehingga secara inheren lebih aman daripada membiarkan LLM yang tidak dapat diprediksi berjalan liar di mesin Anda.