Embedding Gemma 2 de Google est un modèle d'embedding, et un nouveau projet en a fait un outil de reconnaissance vocale. Les développeurs affirment qu'il peut transcrire une heure d'audio en environ 13 secondes sur un MacBook Air de base, entièrement en local.
L'approche repose sur l'espace partagé du modèle pour le texte, les images, l'audio et la vidéo. Les mots prononcés se situent près de leurs équivalents écrits dans cet espace, si bien que l'équipe a lu les mots directement dedans. L'encodeur audio reste inchangé. Un petit lecteur projette chaque courte tranche audio dans l'espace textuel du modèle, et le mot le plus proche parmi environ 229 000 mots anglais est retenu. Un autre modèle, très petit, ajoute ensuite la ponctuation et les majuscules. Seul le lecteur a été entraîné, en moins de deux heures sur 8 GPU H100, à partir de parole anglaise sous licence ouverte. Le modèle de base n'a jamais été conçu pour la reconnaissance vocale.
Dans les propres tests des développeurs, réalisés sur le même MacBook Air M3 de base, l'approche a transcrit une heure d'audio en 12,6 secondes, soit une vitesse d'environ 288 fois le temps réel. Pour comparaison, IBM Granite Speech 5.0 Turbo a mis 25,7 secondes. Les développeurs soulignent que les autres benchmarks cités ont été réalisés sur des Mac plus grands et plus récents, avec un audio différent : ces chiffres donnent donc une indication approximative plutôt qu'un classement direct.
La précision constitue aujourd'hui le point faible. Le taux d'erreur par mot est d'environ 5 %, contre 2 à 3 % pour les meilleurs modèles de reconnaissance vocale. L'équipe pense qu'un lecteur mieux entraîné pourra combler cet écart et prévoit cette amélioration pour la prochaine itération. L'application est gratuite pour les Mac équipés d'Apple Silicon et fonctionnant sous macOS 14 ou une version ultérieure ; un modèle de 715 Mo se télécharge au premier lancement. Les utilisateurs peuvent déposer un fichier audio ou maintenir la touche Option droite pour dicter dans n'importe quelle application. Tout le traitement s'effectue sur le Neural Engine du Mac, de sorte que l'audio ne quitte jamais la machine.
Source: Hacker News · Résumé par HeadlinesBriefing