Google का Embedding Gemma 2 एक एम्बेडिंग मॉडल है, और एक नए प्रोजेक्ट ने इसे स्पीच-टू-टेक्स्ट टूल में बदल दिया है। डेवलपर्स का कहना है कि यह बेस MacBook Air पर, पूरी तरह डिवाइस पर, लगभग 13 सेकंड में एक घंटे के ऑडियो को ट्रांसक्राइब कर सकता है।
यह तरीका मॉडल के टेक्स्ट, इमेज, ऑडियो और वीडियो के साझा स्पेस पर निर्भर करता है। बोले गए शब्द उस स्पेस में अपने लिखित रूपों के पास स्थित होते हैं, इसलिए टीम ने शब्दों को सीधे उसी स्पेस से पढ़ा। ऑडियो एन्कोडर अपरिवर्तित रहता है। एक छोटा रीडर ऑडियो के हर छोटे हिस्से को मॉडल के टेक्स्ट स्पेस में मैप करता है, और लगभग 229,000 अंग्रेज़ी शब्दों में से सबसे नज़दीकी शब्द चुना जाता है। एक अलग, छोटा मॉडल विराम चिह्न और कैपिटलाइज़ेशन जोड़ता है। केवल रीडर को प्रशिक्षित किया गया, जिसमें 8×H100 GPU पर दो घंटे से कम समय लगा और खुले लाइसेंस वाले अंग्रेज़ी भाषण का उपयोग हुआ। बेस मॉडल कभी भी स्पीच-टू-टेक्स्ट के लिए नहीं बनाया गया था।
डेवलपर्स के अपने परीक्षणों में, उसी बेस M3 MacBook Air पर इस तरीके ने एक घंटे के ऑडियो को 12.6 सेकंड में ट्रांसक्राइब किया, यानी लगभग रियल टाइम से 288 गुना तेज़। इसकी तुलना में IBM Granite Speech 5.0 Turbo को 25.7 सेकंड लगे। डेवलपर्स ध्यान दिलाते हैं कि उद्धृत अन्य बेंचमार्क बड़े, नए Mac पर और अलग ऑडियो के साथ चलाए गए थे, इसलिए ये आँकड़े सीधी रैंकिंग नहीं, बल्कि मोटे संकेत हैं।
सटीकता फिलहाल इसकी कमज़ोरी है। वर्ड एरर रेट लगभग 5% है, जबकि अग्रणी स्पीच मॉडलों के लिए यह 2–3% है। टीम का मानना है कि बेहतर प्रशिक्षित रीडर इस अंतर को पाट सकता है, और इसे अगले संस्करण की योजना के रूप में रखा गया है। यह ऐप macOS 14 या उसके बाद के संस्करण वाले Apple Silicon Mac के लिए मुफ़्त है, और 715 MB का मॉडल पहली बार लॉन्च होने पर डाउनलोड होता है। उपयोगकर्ता ऑडियो फ़ाइल डाल सकते हैं या किसी भी ऐप में बोलकर लिखने के लिए राइट Option कुंजी दबाए रख सकते हैं, और सारी प्रोसेसिंग Mac के Neural Engine पर होती है, इसलिए ऑडियो कभी डिवाइस से बाहर नहीं जाता।
स्रोत: Hacker News · HeadlinesBriefing द्वारा सारांशित