Embedding Gemma 2 от Google — это модель эмбеддингов, и новый проект превратил её в инструмент распознавания речи. Разработчики сообщают, что она может расшифровать час аудио примерно за 13 секунд на базовом MacBook Air, полностью на устройстве.
Подход опирается на общее пространство модели для текста, изображений, аудио и видео. Произнесённые слова оказываются в этом пространстве близко к своим письменным эквивалентам, поэтому команда считывала слова прямо из него. Аудиокодировщик остаётся без изменений. Небольшой «читатель» отображает каждый короткий фрагмент аудио в текстовое пространство модели, и выбирается ближайшее из примерно 229 000 английских слов. Отдельная крошечная модель затем добавляет знаки препинания и заглавные буквы. Обучался только «читатель», менее чем за два часа на 8 GPU H100, на открыто лицензированной англоязычной речи. Базовая модель никогда не создавалась для распознавания речи.
В собственных тестах разработчиков на том же базовом MacBook Air с M3 подход расшифровал час аудио за 12,6 секунды, что примерно в 288 раз быстрее реального времени. Для сравнения, IBM Granite Speech 5.0 Turbo потребовалось 25,7 секунды. Разработчики отмечают, что остальные приведённые тесты проводились на более крупных и новых Mac и на другом аудио, поэтому эти цифры служат ориентиром, а не прямым рейтингом.
Точность на данный момент — слабое место. Доля ошибок в словах составляет около 5 % против 2–3 % у ведущих моделей распознавания речи. Команда считает, что более качественно обученный «читатель» сможет сократить этот разрыв, и планирует это в следующей итерации. Приложение бесплатно для Mac с Apple Silicon под управлением macOS 14 или новее; модель объёмом 715 МБ загружается при первом запуске. Пользователи могут перетащить аудиофайл или удерживать правый Option, чтобы диктовать в любое приложение, а вся обработка выполняется на Neural Engine Mac, поэтому аудио никогда не покидает устройство.
Источник: Hacker News · Сводку подготовил HeadlinesBriefing