Googles Embedding Gemma 2 ist ein Embedding-Modell, und ein neues Projekt hat es in ein Sprache-zu-Text-Werkzeug verwandelt. Die Entwickler berichten, dass es auf einem einfachen MacBook Air eine Stunde Audio in etwa 13 Sekunden transkribieren kann, vollständig auf dem Gerät.
Der Ansatz nutzt den gemeinsamen Raum des Modells für Text, Bilder, Audio und Video. Gesprochene Wörter landen in diesem Raum nahe bei ihren geschriebenen Entsprechungen, daher las das Team die Wörter direkt daraus aus. Der Audio-Encoder bleibt unverändert. Ein kleiner Leser bildet jeden kurzen Audioabschnitt auf den Textraum des Modells ab, und das nächstliegende der etwa 229.000 englischen Wörter wird ausgewählt. Ein separates, winziges Modell ergänzt anschließend Satzzeichen und Großschreibung. Nur der Leser wurde trainiert, in weniger als zwei Stunden auf 8 H100-GPUs, mit offen lizenzierter englischer Sprache. Das Basismodell wurde nie für Sprache-zu-Text entwickelt.
In den eigenen Tests der Entwickler auf demselben einfachen MacBook Air mit M3 transkribierte der Ansatz eine Stunde Audio in 12,6 Sekunden, was etwa dem 288-Fachen der Echtzeit entspricht. Zum Vergleich: IBM Granite Speech 5.0 Turbo brauchte 25,7 Sekunden. Die Entwickler weisen darauf hin, dass die anderen genannten Benchmarks auf größeren, neueren Macs und mit anderem Audio liefen. Die Werte sind daher eine grobe Orientierung und keine direkte Rangliste.
Die Genauigkeit ist derzeit die Schwachstelle. Die Wortfehlerrate liegt bei etwa 5 %, verglichen mit 2–3 % bei führenden Sprachmodellen. Das Team glaubt, dass ein besser trainierter Leser die Lücke schließen kann, und plant dies als nächste Iteration. Die App ist für Macs mit Apple Silicon und macOS 14 oder neuer kostenlos. Ein 715 MB großes Modell wird beim ersten Start heruntergeladen. Nutzer können eine Audiodatei hineinziehen oder die rechte Wahltaste gedrückt halten, um in jede beliebige App zu diktieren. Die gesamte Verarbeitung läuft auf der Neural Engine des Macs, sodass Audio das Gerät nie verlässt.
Quelle: Hacker News · Zusammengefasst von HeadlinesBriefing