Embedding Gemma 2 de Google es un modelo de incrustación, y un nuevo proyecto lo ha convertido en una herramienta de voz a texto. Los desarrolladores afirman que puede transcribir una hora de audio en unos 13 segundos en un MacBook Air básico, totalmente en el dispositivo.
El enfoque se basa en el espacio compartido del modelo para texto, imágenes, audio y vídeo. Las palabras habladas caen cerca de sus equivalentes escritos en ese espacio, así que el equipo leyó las palabras directamente desde él. El codificador de audio permanece sin cambios. Un pequeño lector asigna cada breve fragmento de audio al espacio de texto del modelo, y se selecciona la más cercana de las aproximadamente 229.000 palabras en inglés. Un modelo aparte y diminuto añade después la puntuación y las mayúsculas. Solo se entrenó el lector, en menos de dos horas en 8×H100 GPU, usando habla en inglés con licencia abierta. El modelo base nunca se construyó para la conversión de voz a texto.
En las pruebas propias de los desarrolladores, en el mismo MacBook Air base con M3, el enfoque transcribió una hora de audio en 12,6 segundos, a una velocidad de unas 288 veces el tiempo real. Eso se compara con 25,7 segundos de IBM Granite Speech 5.0 Turbo. Los desarrolladores señalan que los otros puntos de referencia citados se ejecutaron en Mac más grandes y recientes y con audio distinto, así que las cifras son una guía aproximada y no una clasificación directa.
La precisión es el punto débil actual. La tasa de error por palabra es de alrededor del 5 %, frente al 2–3 % de los principales modelos de voz. El equipo cree que un lector mejor entrenado puede cerrar la brecha y lo planea como la próxima iteración. La aplicación es gratuita para Mac con macOS 14 o posterior y chip Apple Silicon, con un modelo de 715 MB que se descarga en el primer inicio. Los usuarios pueden arrastrar un archivo de audio o mantener pulsada la tecla Opción derecha para dictar en cualquier aplicación, y todo el procesamiento se ejecuta en el Neural Engine del Mac, por lo que el audio nunca sale del equipo.
Fuente: Hacker News · Resumido por HeadlinesBriefing