نموذج Embedding Gemma 2 من Google هو نموذج تضمين، وقد حوّله مشروع جديد إلى أداة لتحويل الكلام إلى نص. ويقول المطوّرون إنه يمكنه تفريغ ساعة من الصوت في نحو 13 ثانية على جهاز MacBook Air الأساسي، وبالكامل على الجهاز نفسه.
يعتمد هذا الأسلوب على الفضاء المشترك للنموذج للنصوص والصور والصوت والفيديو. تقع الكلمات المنطوقة قرب نظيراتها المكتوبة في ذلك الفضاء، لذلك قرأ الفريق الكلمات مباشرة منه. يبقى مشفّر الصوت دون تغيير. ويقوم قارئ صغير بتحويل كل مقطع صوتي قصير إلى الفضاء النصي للنموذج، ثم تُختار أقرب كلمة من نحو 229,000 كلمة إنجليزية. ويضيف نموذج منفصل وصغير جداً علامات الترقيم وحالة الأحرف الكبيرة. وقد دُرّب القارئ وحده، واستغرق ذلك أقل من ساعتين على وحدات معالجة الرسوميات 8×H100، باستخدام كلام إنجليزي مرخّص ترخيصاً مفتوحاً. ولم يُصمَّم النموذج الأساسي أصلاً لتحويل الكلام إلى نص.
وفي اختبارات المطوّرين أنفسهم على جهاز MacBook Air الأساسي بمعالج M3 نفسه، فرّغ هذا الأسلوب ساعة من الصوت في 12.6 ثانية، أي بسرعة تبلغ نحو 288 مرة من الزمن الفعلي. وبالمقارنة، استغرق IBM Granite Speech 5.0 Turbo 25.7 ثانية. ويشير المطوّرون إلى أن المعايير الأخرى المذكورة أُجريت على أجهزة Mac أكبر وأحدث وعلى صوت مختلف، لذا فالأرقام دليل تقريبي وليست ترتيباً مباشراً.
وتمثّل الدقة نقطة الضعف الحالية. فمعدل خطأ الكلمات نحو 5%، مقابل 2–3% لدى نماذج الكلام الرائدة. ويعتقد الفريق أن قارئاً أفضل تدريباً يمكنه سدّ هذه الفجوة، ويخطط لذلك في الإصدار التالي. والتطبيق مجاني لأجهزة Mac التي تعمل بنظام macOS 14 أو أحدث وبمعالج Apple Silicon، ويُنزَّل نموذج بحجم 715 ميغابايت عند التشغيل الأول. ويمكن للمستخدمين إسقاط ملف صوتي أو الضغط مع الاستمرار على مفتاح Option الأيمن للإملاء في أي تطبيق، وتتم كل المعالجة على المحرك العصبي في Mac، فلا يغادر الصوت الجهاز أبداً.
المصدر: Hacker News · لخّصه HeadlinesBriefing