An hour of audio transcribed in about 13s on MacBook Air

Google's Embedding Gemma 2 is an embedding model, and a new project has turned it into a speech-to-text tool. The developers report that it can transcribe an hour of audio in about 13 seconds on a base MacBook Air, entirely on the device.

The approach relies on the model's shared space for text, images, audio and video. Words spoken aloud land close to their written counterparts in that space, so the team read words directly out of it. The audio encoder stays unchanged. A small reader maps each short slice of audio into the model's text space, and the closest of roughly 229,000 English words is selected. A separate tiny model then adds punctuation and capitalization. Only the reader was trained, taking under two hours on 8×H100 GPUs using openly licensed English speech. The base model was never built for speech-to-text.

In the developers' own tests on the same base M3 MacBook Air, the approach transcribed an hour of audio in 12.6 seconds, a speed of about 288 times real time. That compares with 25.7 seconds for IBM Granite Speech 5.0 Turbo. The developers note that the other benchmarks cited were run on larger, newer Macs and different audio, so the figures are a rough guide rather than a direct ranking.

Accuracy is the current weak point. The word error rate is about 5%, compared with 2–3% for leading speech models. The team believes a better-trained reader can close the gap and plans that as the next iteration. The app is free for Mac running macOS 14 or later on Apple Silicon, with a 715 MB model that downloads on first launch. Users can drop in an audio file or hold Right Option to dictate into any app, and all processing runs on the Mac's Neural Engine so audio never leaves the machine.

نموذج Embedding Gemma 2 من Google هو نموذج تضمين، وقد حوّله مشروع جديد إلى أداة لتحويل الكلام إلى نص. ويقول المطوّرون إنه يمكنه تفريغ ساعة من الصوت في نحو 13 ثانية على جهاز MacBook Air الأساسي، وبالكامل على الجهاز نفسه.

يعتمد هذا الأسلوب على الفضاء المشترك للنموذج للنصوص والصور والصوت والفيديو. تقع الكلمات المنطوقة قرب نظيراتها المكتوبة في ذلك الفضاء، لذلك قرأ الفريق الكلمات مباشرة منه. يبقى مشفّر الصوت دون تغيير. ويقوم قارئ صغير بتحويل كل مقطع صوتي قصير إلى الفضاء النصي للنموذج، ثم تُختار أقرب كلمة من نحو 229,000 كلمة إنجليزية. ويضيف نموذج منفصل وصغير جداً علامات الترقيم وحالة الأحرف الكبيرة. وقد دُرّب القارئ وحده، واستغرق ذلك أقل من ساعتين على وحدات معالجة الرسوميات 8×H100، باستخدام كلام إنجليزي مرخّص ترخيصاً مفتوحاً. ولم يُصمَّم النموذج الأساسي أصلاً لتحويل الكلام إلى نص.

وفي اختبارات المطوّرين أنفسهم على جهاز MacBook Air الأساسي بمعالج M3 نفسه، فرّغ هذا الأسلوب ساعة من الصوت في 12.6 ثانية، أي بسرعة تبلغ نحو 288 مرة من الزمن الفعلي. وبالمقارنة، استغرق IBM Granite Speech 5.0 Turbo 25.7 ثانية. ويشير المطوّرون إلى أن المعايير الأخرى المذكورة أُجريت على أجهزة Mac أكبر وأحدث وعلى صوت مختلف، لذا فالأرقام دليل تقريبي وليست ترتيباً مباشراً.

وتمثّل الدقة نقطة الضعف الحالية. فمعدل خطأ الكلمات نحو 5%، مقابل 2–3% لدى نماذج الكلام الرائدة. ويعتقد الفريق أن قارئاً أفضل تدريباً يمكنه سدّ هذه الفجوة، ويخطط لذلك في الإصدار التالي. والتطبيق مجاني لأجهزة Mac التي تعمل بنظام macOS 14 أو أحدث وبمعالج Apple Silicon، ويُنزَّل نموذج بحجم 715 ميغابايت عند التشغيل الأول. ويمكن للمستخدمين إسقاط ملف صوتي أو الضغط مع الاستمرار على مفتاح Option الأيمن للإملاء في أي تطبيق، وتتم كل المعالجة على المحرك العصبي في Mac، فلا يغادر الصوت الجهاز أبداً.

Google-এর Embedding Gemma 2 একটি এমবেডিং মডেল, এবং একটি নতুন প্রকল্প একে স্পিচ-টু-টেক্সট টুলে পরিণত করেছে। ডেভেলপাররা জানিয়েছেন, এটি একটি বেস MacBook Air-এ সম্পূর্ণ ডিভাইসের ভেতরে প্রায় 13 সেকেন্ডে এক ঘণ্টার অডিও ট্রান্সক্রাইব করতে পারে।

এই পদ্ধতিটি মডেলের টেক্সট, ছবি, অডিও ও ভিডিওর জন্য ভাগ করা স্পেসের ওপর নির্ভর করে। কথ্য শব্দগুলো সেই স্পেসে তাদের লিখিত রূপের কাছাকাছি অবস্থান করে, তাই দল সরাসরি সেই স্পেস থেকে শব্দ পড়েছে। অডিও এনকোডার অপরিবর্তিত থাকে। একটি ছোট রিডার অডিওর প্রতিটি ছোট অংশকে মডেলের টেক্সট স্পেসে মানচিত্রায়িত করে, এবং প্রায় 229,000 ইংরেজি শব্দের মধ্যে সবচেয়ে কাছের শব্দটি বেছে নেওয়া হয়। আলাদা একটি ক্ষুদ্র মডেল পরে যতিচিহ্ন ও বড় হাতের অক্ষর যোগ করে। শুধু রিডারটিকে প্রশিক্ষণ দেওয়া হয়েছে, 8×H100 GPU-তে দুই ঘণ্টারও কম সময়ে, উন্মুক্ত লাইসেন্সের ইংরেজি বক্তৃতা ব্যবহার করে। বেস মডেলটি কখনোই স্পিচ-টু-টেক্সটের জন্য তৈরি করা হয়নি।

ডেভেলপারদের নিজেদের পরীক্ষায়, একই বেস M3 MacBook Air-এ এই পদ্ধতি এক ঘণ্টার অডিও 12.6 সেকেন্ডে ট্রান্সক্রাইব করেছে, যা প্রায় বাস্তব সময়ের 288 গুণ গতি। তুলনায় IBM Granite Speech 5.0 Turbo লেগেছে 25.7 সেকেন্ড। ডেভেলপাররা উল্লেখ করেছেন যে উদ্ধৃত অন্যান্য বেঞ্চমার্ক বড় ও নতুন Mac-এ এবং ভিন্ন অডিওতে চালানো হয়েছিল, তাই এই সংখ্যাগুলো মোটামুটি একটি দিকনির্দেশ, সরাসরি র্যাঙ্কিং নয়।

নির্ভুলতাই বর্তমান দুর্বল দিক। শব্দ ত্রুটির হার প্রায় 5%, যেখানে শীর্ষস্থানীয় স্পিচ মডেলের হার 2–3%। দলের বিশ্বাস, আরও ভালোভাবে প্রশিক্ষিত একটি রিডার এই ব্যবধান কমিয়ে আনতে পারবে, এবং তারা এটিকে পরবর্তী সংস্করণের পরিকল্পনায় রেখেছে। অ্যাপটি Apple Silicon-চালিত macOS 14 বা তার পরের সংস্করণের Mac-এর জন্য বিনামূল্যে, এবং প্রথমবার চালুর সময় 715 MB-র একটি মডেল ডাউনলোড হয়। ব্যবহারকারীরা একটি অডিও ফাইল টেনে আনতে পারেন বা যেকোনো অ্যাপে ডিক্টেট করতে ডান Option কী চেপে ধরে রাখতে পারেন, এবং সমস্ত প্রক্রিয়াকরণ Mac-এর Neural Engine-এ চলে, ফলে অডিও কখনোই যন্ত্র থেকে বের হয় না।

Googles Embedding Gemma 2 ist ein Embedding-Modell, und ein neues Projekt hat es in ein Sprache-zu-Text-Werkzeug verwandelt. Die Entwickler berichten, dass es auf einem einfachen MacBook Air eine Stunde Audio in etwa 13 Sekunden transkribieren kann, vollständig auf dem Gerät.

Der Ansatz nutzt den gemeinsamen Raum des Modells für Text, Bilder, Audio und Video. Gesprochene Wörter landen in diesem Raum nahe bei ihren geschriebenen Entsprechungen, daher las das Team die Wörter direkt daraus aus. Der Audio-Encoder bleibt unverändert. Ein kleiner Leser bildet jeden kurzen Audioabschnitt auf den Textraum des Modells ab, und das nächstliegende der etwa 229.000 englischen Wörter wird ausgewählt. Ein separates, winziges Modell ergänzt anschließend Satzzeichen und Großschreibung. Nur der Leser wurde trainiert, in weniger als zwei Stunden auf 8 H100-GPUs, mit offen lizenzierter englischer Sprache. Das Basismodell wurde nie für Sprache-zu-Text entwickelt.

In den eigenen Tests der Entwickler auf demselben einfachen MacBook Air mit M3 transkribierte der Ansatz eine Stunde Audio in 12,6 Sekunden, was etwa dem 288-Fachen der Echtzeit entspricht. Zum Vergleich: IBM Granite Speech 5.0 Turbo brauchte 25,7 Sekunden. Die Entwickler weisen darauf hin, dass die anderen genannten Benchmarks auf größeren, neueren Macs und mit anderem Audio liefen. Die Werte sind daher eine grobe Orientierung und keine direkte Rangliste.

Die Genauigkeit ist derzeit die Schwachstelle. Die Wortfehlerrate liegt bei etwa 5 %, verglichen mit 2–3 % bei führenden Sprachmodellen. Das Team glaubt, dass ein besser trainierter Leser die Lücke schließen kann, und plant dies als nächste Iteration. Die App ist für Macs mit Apple Silicon und macOS 14 oder neuer kostenlos. Ein 715 MB großes Modell wird beim ersten Start heruntergeladen. Nutzer können eine Audiodatei hineinziehen oder die rechte Wahltaste gedrückt halten, um in jede beliebige App zu diktieren. Die gesamte Verarbeitung läuft auf der Neural Engine des Macs, sodass Audio das Gerät nie verlässt.

Embedding Gemma 2 de Google es un modelo de incrustación, y un nuevo proyecto lo ha convertido en una herramienta de voz a texto. Los desarrolladores afirman que puede transcribir una hora de audio en unos 13 segundos en un MacBook Air básico, totalmente en el dispositivo.

El enfoque se basa en el espacio compartido del modelo para texto, imágenes, audio y vídeo. Las palabras habladas caen cerca de sus equivalentes escritos en ese espacio, así que el equipo leyó las palabras directamente desde él. El codificador de audio permanece sin cambios. Un pequeño lector asigna cada breve fragmento de audio al espacio de texto del modelo, y se selecciona la más cercana de las aproximadamente 229.000 palabras en inglés. Un modelo aparte y diminuto añade después la puntuación y las mayúsculas. Solo se entrenó el lector, en menos de dos horas en 8×H100 GPU, usando habla en inglés con licencia abierta. El modelo base nunca se construyó para la conversión de voz a texto.

En las pruebas propias de los desarrolladores, en el mismo MacBook Air base con M3, el enfoque transcribió una hora de audio en 12,6 segundos, a una velocidad de unas 288 veces el tiempo real. Eso se compara con 25,7 segundos de IBM Granite Speech 5.0 Turbo. Los desarrolladores señalan que los otros puntos de referencia citados se ejecutaron en Mac más grandes y recientes y con audio distinto, así que las cifras son una guía aproximada y no una clasificación directa.

La precisión es el punto débil actual. La tasa de error por palabra es de alrededor del 5 %, frente al 2–3 % de los principales modelos de voz. El equipo cree que un lector mejor entrenado puede cerrar la brecha y lo planea como la próxima iteración. La aplicación es gratuita para Mac con macOS 14 o posterior y chip Apple Silicon, con un modelo de 715 MB que se descarga en el primer inicio. Los usuarios pueden arrastrar un archivo de audio o mantener pulsada la tecla Opción derecha para dictar en cualquier aplicación, y todo el procesamiento se ejecuta en el Neural Engine del Mac, por lo que el audio nunca sale del equipo.

Embedding Gemma 2 de Google est un modèle d'embedding, et un nouveau projet en a fait un outil de reconnaissance vocale. Les développeurs affirment qu'il peut transcrire une heure d'audio en environ 13 secondes sur un MacBook Air de base, entièrement en local.

L'approche repose sur l'espace partagé du modèle pour le texte, les images, l'audio et la vidéo. Les mots prononcés se situent près de leurs équivalents écrits dans cet espace, si bien que l'équipe a lu les mots directement dedans. L'encodeur audio reste inchangé. Un petit lecteur projette chaque courte tranche audio dans l'espace textuel du modèle, et le mot le plus proche parmi environ 229 000 mots anglais est retenu. Un autre modèle, très petit, ajoute ensuite la ponctuation et les majuscules. Seul le lecteur a été entraîné, en moins de deux heures sur 8 GPU H100, à partir de parole anglaise sous licence ouverte. Le modèle de base n'a jamais été conçu pour la reconnaissance vocale.

Dans les propres tests des développeurs, réalisés sur le même MacBook Air M3 de base, l'approche a transcrit une heure d'audio en 12,6 secondes, soit une vitesse d'environ 288 fois le temps réel. Pour comparaison, IBM Granite Speech 5.0 Turbo a mis 25,7 secondes. Les développeurs soulignent que les autres benchmarks cités ont été réalisés sur des Mac plus grands et plus récents, avec un audio différent : ces chiffres donnent donc une indication approximative plutôt qu'un classement direct.

La précision constitue aujourd'hui le point faible. Le taux d'erreur par mot est d'environ 5 %, contre 2 à 3 % pour les meilleurs modèles de reconnaissance vocale. L'équipe pense qu'un lecteur mieux entraîné pourra combler cet écart et prévoit cette amélioration pour la prochaine itération. L'application est gratuite pour les Mac équipés d'Apple Silicon et fonctionnant sous macOS 14 ou une version ultérieure ; un modèle de 715 Mo se télécharge au premier lancement. Les utilisateurs peuvent déposer un fichier audio ou maintenir la touche Option droite pour dicter dans n'importe quelle application. Tout le traitement s'effectue sur le Neural Engine du Mac, de sorte que l'audio ne quitte jamais la machine.

Google का Embedding Gemma 2 एक एम्बेडिंग मॉडल है, और एक नए प्रोजेक्ट ने इसे स्पीच-टू-टेक्स्ट टूल में बदल दिया है। डेवलपर्स का कहना है कि यह बेस MacBook Air पर, पूरी तरह डिवाइस पर, लगभग 13 सेकंड में एक घंटे के ऑडियो को ट्रांसक्राइब कर सकता है।

यह तरीका मॉडल के टेक्स्ट, इमेज, ऑडियो और वीडियो के साझा स्पेस पर निर्भर करता है। बोले गए शब्द उस स्पेस में अपने लिखित रूपों के पास स्थित होते हैं, इसलिए टीम ने शब्दों को सीधे उसी स्पेस से पढ़ा। ऑडियो एन्कोडर अपरिवर्तित रहता है। एक छोटा रीडर ऑडियो के हर छोटे हिस्से को मॉडल के टेक्स्ट स्पेस में मैप करता है, और लगभग 229,000 अंग्रेज़ी शब्दों में से सबसे नज़दीकी शब्द चुना जाता है। एक अलग, छोटा मॉडल विराम चिह्न और कैपिटलाइज़ेशन जोड़ता है। केवल रीडर को प्रशिक्षित किया गया, जिसमें 8×H100 GPU पर दो घंटे से कम समय लगा और खुले लाइसेंस वाले अंग्रेज़ी भाषण का उपयोग हुआ। बेस मॉडल कभी भी स्पीच-टू-टेक्स्ट के लिए नहीं बनाया गया था।

डेवलपर्स के अपने परीक्षणों में, उसी बेस M3 MacBook Air पर इस तरीके ने एक घंटे के ऑडियो को 12.6 सेकंड में ट्रांसक्राइब किया, यानी लगभग रियल टाइम से 288 गुना तेज़। इसकी तुलना में IBM Granite Speech 5.0 Turbo को 25.7 सेकंड लगे। डेवलपर्स ध्यान दिलाते हैं कि उद्धृत अन्य बेंचमार्क बड़े, नए Mac पर और अलग ऑडियो के साथ चलाए गए थे, इसलिए ये आँकड़े सीधी रैंकिंग नहीं, बल्कि मोटे संकेत हैं।

सटीकता फिलहाल इसकी कमज़ोरी है। वर्ड एरर रेट लगभग 5% है, जबकि अग्रणी स्पीच मॉडलों के लिए यह 2–3% है। टीम का मानना है कि बेहतर प्रशिक्षित रीडर इस अंतर को पाट सकता है, और इसे अगले संस्करण की योजना के रूप में रखा गया है। यह ऐप macOS 14 या उसके बाद के संस्करण वाले Apple Silicon Mac के लिए मुफ़्त है, और 715 MB का मॉडल पहली बार लॉन्च होने पर डाउनलोड होता है। उपयोगकर्ता ऑडियो फ़ाइल डाल सकते हैं या किसी भी ऐप में बोलकर लिखने के लिए राइट Option कुंजी दबाए रख सकते हैं, और सारी प्रोसेसिंग Mac के Neural Engine पर होती है, इसलिए ऑडियो कभी डिवाइस से बाहर नहीं जाता।

Embedding Gemma 2 dari Google adalah model embedding, dan sebuah proyek baru telah mengubahnya menjadi alat speech-to-text. Para pengembang melaporkan bahwa model ini dapat mentranskripsikan satu jam audio dalam sekitar 13 detik di MacBook Air dasar, sepenuhnya di perangkat.

Pendekatannya bergantung pada ruang bersama model untuk teks, gambar, audio, dan video. Kata-kata yang diucapkan berada dekat dengan padanan tertulisnya di ruang tersebut, sehingga tim membaca kata-kata langsung dari ruang itu. Encoder audio tetap tidak berubah. Sebuah pembaca kecil memetakan setiap potongan audio pendek ke ruang teks model, dan kata bahasa Inggris terdekat dari sekitar 229.000 kata dipilih. Model terpisah yang sangat kecil kemudian menambahkan tanda baca dan kapitalisasi. Hanya pembaca yang dilatih, dalam waktu kurang dari dua jam menggunakan 8 GPU H100, dengan ucapan bahasa Inggris berlisensi terbuka. Model dasar tidak pernah dibuat untuk speech-to-text.

Dalam pengujian para pengembang sendiri di MacBook Air M3 dasar yang sama, pendekatan ini mentranskripsikan satu jam audio dalam 12,6 detik, yaitu kecepatan sekitar 288 kali waktu nyata. Sebagai perbandingan, IBM Granite Speech 5.0 Turbo membutuhkan 25,7 detik. Para pengembang mencatat bahwa tolok ukur lain yang dikutip dijalankan pada Mac yang lebih besar dan lebih baru serta audio yang berbeda, sehingga angka-angka ini hanya panduan kasar, bukan peringkat langsung.

Akurasi saat ini menjadi titik lemahnya. Tingkat kesalahan kata sekitar 5%, dibandingkan 2–3% untuk model ucapan terkemuka. Tim meyakini pembaca yang dilatih lebih baik dapat menutup celah ini dan merencanakannya sebagai iterasi berikutnya. Aplikasi ini gratis untuk Mac dengan macOS 14 atau lebih baru dan Apple Silicon, dengan model berukuran 715 MB yang diunduh saat pertama kali dijalankan. Pengguna dapat menjatuhkan file audio atau menahan tombol Option kanan untuk mendikte ke aplikasi apa pun, dan semua pemrosesan berjalan di Neural Engine Mac sehingga audio tidak pernah meninggalkan perangkat.

GoogleのEmbedding Gemma 2は埋め込みモデルですが、新しいプロジェクトによって音声テキスト変換ツールに転用されました。開発者によれば、ベースモデルのMacBook Airで、1時間の音声を約13秒、完全にデバイス上で文字起こしできるといいます。

この手法は、テキスト、画像、音声、動画を扱うモデルの共有空間に依存しています。話し言葉は、その空間内で書き言葉に近い位置に配置されるため、チームは空間から直接単語を読み取りました。音声エンコーダーは変更されていません。小さなリーダーが音声の短い区間ごとにモデルのテキスト空間へ写像し、約22万9千の英単語の中から最も近いものを選びます。別の極めて小さなモデルが、句読点と大文字化を追加します。学習させたのはリーダーだけで、オープンライセンスの英語音声を用い、8基のH100 GPUで2時間足らずで完了しました。ベースモデルは、もともと音声テキスト変換用に作られたものではありません。

開発者自身によるテストでは、同じベースのM3 MacBook Airで、この手法は1時間の音声を12.6秒で文字起こししました。これは実時間の約288倍の速さです。比較対象として、IBM Granite Speech 5.0 Turboは25.7秒かかりました。開発者は、引用された他のベンチマークはより大型で新しいMacと異なる音声で実行されたものなので、この数値は直接の順位付けではなく大まかな目安だと述べています。

現在の弱点は精度です。単語誤り率は約5%で、主要な音声モデルの2〜3%に比べ高くなっています。チームは、より良く学習させたリーダーならこの差を縮められると考えており、次の反復での改善を計画しています。このアプリは、Apple Silicon搭載でmacOS 14以降のMacなら無料で利用でき、初回起動時に715 MBのモデルがダウンロードされます。ユーザーは音声ファイルをドロップするか、右Optionキーを押し続けて任意のアプリに口述入力できます。すべての処理はMacのNeural Engineで行われ、音声が端末の外に出ることはありません。

O Embedding Gemma 2 do Google é um modelo de incorporação, e um novo projeto transformou-o numa ferramenta de voz para texto. Os desenvolvedores afirmam que ele consegue transcrever uma hora de áudio em cerca de 13 segundos num MacBook Air básico, inteiramente no próprio dispositivo.

A abordagem depende do espaço partilhado do modelo para texto, imagens, áudio e vídeo. As palavras faladas ficam próximas das suas versões escritas nesse espaço, por isso a equipa leu as palavras diretamente a partir dele. O codificador de áudio permanece inalterado. Um pequeno leitor mapeia cada curto trecho de áudio para o espaço de texto do modelo, e é selecionada a mais próxima de cerca de 229.000 palavras em inglês. Um modelo separado e minúsculo acrescenta depois a pontuação e as maiúsculas. Apenas o leitor foi treinado, em menos de duas horas em 8 GPUs H100, usando fala em inglês com licença aberta. O modelo base nunca foi construído para a conversão de voz em texto.

Nos testes dos próprios desenvolvedores, no mesmo MacBook Air base com M3, a abordagem transcreveu uma hora de áudio em 12,6 segundos, uma velocidade de cerca de 288 vezes o tempo real. Em comparação, o IBM Granite Speech 5.0 Turbo levou 25,7 segundos. Os desenvolvedores observam que os outros benchmarks citados foram executados em Macs maiores e mais recentes e com áudio diferente, pelo que os números são um guia aproximado e não uma classificação direta.

A precisão é o ponto fraco atual. A taxa de erro por palavra é de cerca de 5%, contra 2–3% dos principais modelos de voz. A equipa acredita que um leitor mais bem treinado pode fechar a diferença e planeia isso como a próxima iteração. A aplicação é gratuita para Macs com macOS 14 ou posterior e chip Apple Silicon, com um modelo de 715 MB que é descarregado no primeiro arranque. Os utilizadores podem arrastar um ficheiro de áudio ou manter premida a tecla Option direita para ditar em qualquer aplicação, e todo o processamento corre no Neural Engine do Mac, pelo que o áudio nunca sai da máquina.

Embedding Gemma 2 от Google — это модель эмбеддингов, и новый проект превратил её в инструмент распознавания речи. Разработчики сообщают, что она может расшифровать час аудио примерно за 13 секунд на базовом MacBook Air, полностью на устройстве.

Подход опирается на общее пространство модели для текста, изображений, аудио и видео. Произнесённые слова оказываются в этом пространстве близко к своим письменным эквивалентам, поэтому команда считывала слова прямо из него. Аудиокодировщик остаётся без изменений. Небольшой «читатель» отображает каждый короткий фрагмент аудио в текстовое пространство модели, и выбирается ближайшее из примерно 229 000 английских слов. Отдельная крошечная модель затем добавляет знаки препинания и заглавные буквы. Обучался только «читатель», менее чем за два часа на 8 GPU H100, на открыто лицензированной англоязычной речи. Базовая модель никогда не создавалась для распознавания речи.

В собственных тестах разработчиков на том же базовом MacBook Air с M3 подход расшифровал час аудио за 12,6 секунды, что примерно в 288 раз быстрее реального времени. Для сравнения, IBM Granite Speech 5.0 Turbo потребовалось 25,7 секунды. Разработчики отмечают, что остальные приведённые тесты проводились на более крупных и новых Mac и на другом аудио, поэтому эти цифры служат ориентиром, а не прямым рейтингом.

Точность на данный момент — слабое место. Доля ошибок в словах составляет около 5 % против 2–3 % у ведущих моделей распознавания речи. Команда считает, что более качественно обученный «читатель» сможет сократить этот разрыв, и планирует это в следующей итерации. Приложение бесплатно для Mac с Apple Silicon под управлением macOS 14 или новее; модель объёмом 715 МБ загружается при первом запуске. Пользователи могут перетащить аудиофайл или удерживать правый Option, чтобы диктовать в любое приложение, а вся обработка выполняется на Neural Engine Mac, поэтому аудио никогда не покидает устройство.

Google 的 Embedding Gemma 2 是一个嵌入模型,而一个新项目已将其改造为语音转文字工具。开发者称,它可以在基础款 MacBook Air 上完全在设备端,约 13 秒转录一小时的音频。

该方法依赖于该模型在文本、图像、音频和视频之间的共享空间。口语单词在该空间中会落在与其书面形式相近的位置,因此团队直接从该空间中读取单词。音频编码器保持不变。一个小型读取器将每个短音频片段映射到模型的文本空间,然后从约 229,000 个英语单词中选出最接近的一个。另有一个微型模型负责添加标点符号和大小写。只有读取器经过训练,使用公开授权的英语语音数据在 8×H100 GPU 上训练不到两小时。该基础模型原本并非为语音转文字而构建。

在开发者自己对同一台基础款 M3 MacBook Air 进行的测试中,该方法转录一小时音频仅用 12.6 秒,速度约为实时的 288 倍。相比之下,IBM Granite Speech 5.0 Turbo 用时 25.7 秒。开发者指出,所引用的其他基准测试是在更大、更新的 Mac 上以不同音频运行的,因此这些数据只是粗略参考,而非直接排名。

准确率目前是其薄弱环节。词错误率约为 5%,而领先的语音模型为 2–3%。团队认为,经过更好训练的读取器可以缩小这一差距,并计划将其作为下一个迭代版本。该应用免费提供,适用于搭载苹果芯片、运行 macOS 14 或更高版本的 Mac;715 MB 的模型会在首次启动时下载。用户可以拖入音频文件,或按住右 Option 键将语音听写到任意应用中,所有处理均在 Mac 的神经网络引擎上运行,因此音频不会离开设备。