একটি বিতরিত পাইপলাইন ইনফারেন্স ইঞ্জিন যটি 1.58-বিট (Bit Net) ভাষা মডেলকে একাধিক ESP32S3-এ চালায়। স্থাপনা: এই প্রজেক্টটি 7 ESP32s3-এর একটি ক্লাস্টারে 0.5B LLM-এর একটি স্লাইস চালায়। একটি মাস্টার হিসাবে কাজ করে এবং অন্যরা নড। মাস্টার নড টোকেনাইজার এবং এমবেডিং চালায় এবং অন্য এটেনশন লেয়ার এবং MLP নডগুলোতে চালায়। মাস্টার এবং নডগুলো উচ্চ গতির SPI ডেজি-চেনের মাধ্যমে যোগাযোগ করে। মাস্টার ইনপুট প্রক্রিয়াকরণ এবং চূড়ান্ত আউটপুট জেনারেশনকে সমন্বয় করে। এটি একটি BPE টোকেনাইজার এবং INT4 টোকেন এমবেডিং (~14MB ফ্ল্যাশে) চালায়, হিডেন স্টেট ভেক্টরগুলো SPI CH A-র মাধ্যমে কম্পিউট নডগুলোতে প্রেরণ করে। কম্পিউট নডগুলো 1.58-বিট টারনারি কোয়ান্টাইজেশনের সাথে এটেনশন এবং MLP অপারেশনের জন্য ট্রান্সফর্মার লেয়ারগুলো হ্যান্ডল করে, KV ক্যাশের PSRAM-এ সংরক্ষণ করে। পাইপলাইন 6 টি কম্পিউট নডের মধ্য দিয়ে প্রবাহিত হয়, প্রতিটি 4 টি ট্রান্সফর্মার ব্লককে RMSNorm, RoPE এবং অ্যাসেম্বলি-অপটিমাইজড MAC অপারেশনের সাথে প্রক্রিয়া করে। শেষ নডটি চূড়ান্ত নর্মালাইজেশন এবং LM হেড প্রোজেক্শনের জন্য ফলাফলগুলো মাস্টারকে ফিরিয়ে দেয়। গ্রিডি স্যাম্পলিং পরবর্তী টোকেন ID তৈরি করে। প্রজেক্টটি ব্যাপক টুলিং অন্তর্ভুক্ত: কোয়ান্টাইজেশন, মডেল প্যাকিং এবং টোকেনাইজার সিরিয়ালাইজেশনের জন্য পাইथন স্ক্রিপ্ট, এবং মাস্টার এবং নড বোর্ডের জন্য ESP-IDF ফার্মওয়ার। ডকুমেন্টেশনে ওয়ার্কফ্লো, ফ্ল্যাশিং প্রক্রিয়া এবং হার্ডওয়ার ওয়ারিং অন্তর্ভুক্ত। প্রমুখ সংস্থাগুলো: প্রতিষ্ঠান: GitHub, Hacker News