आज हम Whistle जारी कर रहे हैं, जो एक ओपन स्पीच रिकग्निशन मॉडल है और मोबाइल, वियरेबल, रोबोट, स्मार्ट होम उपकरण, ऑटोमोटिव सिस्टम और माइक्रोकंट्रोलर के लिए बनाया गया है। यह 16.9 MB की एक एकल फ़ाइल है जो बिना किसी निर्भरता के CPU पर चलती है। यह Needle के समान C++ इंजन में लोड होती है, उसका कंटेनर और क्वांटाइज़ेशन साझा करती है, इसलिए एक ही बाइनरी किसी बोले गए क्लिप को सीधे टूल कॉल में बदल सकती है।
Whistle तीनों काम पूरी तरह डिवाइस पर करता है। यह 16 kHz मोनो ऑडियो के 30 सेकंड तक का ट्रांसक्रिप्शन अंग्रेज़ी, जर्मन, फ्रेंच, स्पैनिश, इतालवी, डच और पोलिश में करता है, और जब तक कोई भाषा निर्दिष्ट न की जाए, भाषा अपने आप पहचान लेता है। यह हर शब्द के लिए शुरुआत, अंत और संभावना वाले शब्द-स्तरीय टाइमस्टैम्प बनाता है, जो डिकोडर के attention से संरेखित होते हैं। यह बिना ट्रांसक्रिप्ट डिकोड किए हर 80 ms फ्रेम के लिए एक पंक्ति वाला स्पीच एम्बेडिंग भी दे सकता है। मॉडल 11 ms में पहला टोकन दे देता है।
आर्किटेक्चर के दो हिस्से हैं। फ्रंट एंड ऑडियो को 80 log-mel बिन में बदलता है और एक convolutional stem से 30 सेकंड को 375 फ्रेम तक घटाता है। इसके बाद एन्कोडर Needle के साथ साझा आठ Simple Attention ब्लॉक लागू करता है, जिसका attention non-causal है, इसलिए 3 सेकंड पर का फ्रेम 12 सेकंड वाले फ्रेम पर ध्यान दे सकता है। डिकोडर चौड़ाई 512 के आठ Laddered Simple Attention ब्लॉक इस्तेमाल करता है, और हर परत में gated cross attention है जो एन्कोडर आउटपुट पढ़ता है। ये प्रोजेक्शन हर क्लिप के लिए एक बार गणना होते हैं, इसलिए पाँच beam search पथों की लागत ऑडियो पर पाँच पास के बजाय केवल पाँच छोटे ट्रांसक्रिप्ट कैश होती है।
डिकोडिंग में पाँच beams होते हैं, जिन्हें length-normalised log probability से स्कोर किया जाता है। कीवर्ड बायसिंग उपयोगकर्ता द्वारा दिए गए वाक्यांशों पर Aho-Corasick automaton चलाती है और खोज आगे बढ़ने के साथ उनकी संभावना बढ़ाती है। शब्दावली में 8,192 टेक्स्ट पीस और सात भाषा टोकन हैं, और ट्रांसक्रिप्ट 320 टोकन पर सीमित है।
यह मॉडल ब्राउज़र सैंडबॉक्स में भी उपलब्ध है, जहाँ ऑडियो कभी डिवाइस से बाहर नहीं जाता।
स्रोत: Hacker News · HeadlinesBriefing द्वारा सारांशित