एक वितरित पाइपलाइन इन्फरेंस इंजन जो कई ESP32S3 पर 1.58-बिट (Bit Net) भाषा मॉडल चलाता है। स्थापना: यह प्रोजेक्ट 7 ESP32s3 के क्लस्टर पर 0.5B LLM का टुकड़ा चलाता है। एक मास्टर के रूप में कार्य करता है और अन्य नोड हैं। मास्टर नोड टोकनाइजर और एम्बेडिंग चलाता है और अन्य एटेंशन लेयर और MLP नोड्स पर चलते हैं। मास्टर और नोड उच्ग गति SPI डेजी-चेन के माध्यम से संचार करते हैं। मास्टर इनपुट प्रोसेसिंग और अंतिम आउटपुट जनरेशन को ऑर्केस्ट्रेट करता है। यह एक BPE टोकनाइजर और INT4 टोकन एम्बेडिंग (~14MB फ्लैश) चलाता है, जो SPI CH A के माध्यम से कॉम्प्यूट नोड्स को हिडन स्टेट वेक्टर भेजता है। कॉम्प्यूट नोड 1.58-बिट टर्नरी क्वांटाइजेशन के साथ एटेंशन और MLP संचालन के लिए ट्रांसफॉर्मर लेयर्स हैंडल करते हैं, KV कैश PSRAM में स्टोर करते हैं। पाइपलाइन 6 कॉम्प्यूट नोड्स से गुजरता है, प्रत्येक 4 ट्रांसफॉर्मर ब्लॉक्स को RMSNorm, RoPE और असेंबली-ऑप्टिमाइज़्ड MAC संचालन के साथ प्रोसेस करता है। अंतिम नोड मास्टर को अंतिम नॉर्मलाइजेशन और LM हेड प्रोजेक्शन के लिए परिणाम वापस भेजता है। ग्रीडी सैंपलिंग अगला टोकन ID उत्पन्न करता है। प्रोजेक्ट में व्यापक टूलिंग शामिल है: क्वांटाइजेशन, मॉडल पैकिंग और टोकनाइजर सीरियलाइजेशन के लिए पायथन स्क्रिप्ट्स, और मास्टर और नोड बोर्ड के लिए ESP-IDF फर्मवेयर। दस्तावेज़ में वर्कफ्लो, फ्लैशिंग प्रक्रियाओं और हार्डवेयर वायरिंग शामिल है। प्रमुख इकाइयाँ: कंपनियाँ: GitHub, Hacker News