O Embedding Gemma 2 do Google é um modelo de incorporação, e um novo projeto transformou-o numa ferramenta de voz para texto. Os desenvolvedores afirmam que ele consegue transcrever uma hora de áudio em cerca de 13 segundos num MacBook Air básico, inteiramente no próprio dispositivo.
A abordagem depende do espaço partilhado do modelo para texto, imagens, áudio e vídeo. As palavras faladas ficam próximas das suas versões escritas nesse espaço, por isso a equipa leu as palavras diretamente a partir dele. O codificador de áudio permanece inalterado. Um pequeno leitor mapeia cada curto trecho de áudio para o espaço de texto do modelo, e é selecionada a mais próxima de cerca de 229.000 palavras em inglês. Um modelo separado e minúsculo acrescenta depois a pontuação e as maiúsculas. Apenas o leitor foi treinado, em menos de duas horas em 8 GPUs H100, usando fala em inglês com licença aberta. O modelo base nunca foi construído para a conversão de voz em texto.
Nos testes dos próprios desenvolvedores, no mesmo MacBook Air base com M3, a abordagem transcreveu uma hora de áudio em 12,6 segundos, uma velocidade de cerca de 288 vezes o tempo real. Em comparação, o IBM Granite Speech 5.0 Turbo levou 25,7 segundos. Os desenvolvedores observam que os outros benchmarks citados foram executados em Macs maiores e mais recentes e com áudio diferente, pelo que os números são um guia aproximado e não uma classificação direta.
A precisão é o ponto fraco atual. A taxa de erro por palavra é de cerca de 5%, contra 2–3% dos principais modelos de voz. A equipa acredita que um leitor mais bem treinado pode fechar a diferença e planeia isso como a próxima iteração. A aplicação é gratuita para Macs com macOS 14 ou posterior e chip Apple Silicon, com um modelo de 715 MB que é descarregado no primeiro arranque. Os utilizadores podem arrastar um ficheiro de áudio ou manter premida a tecla Option direita para ditar em qualquer aplicação, e todo o processamento corre no Neural Engine do Mac, pelo que o áudio nunca sai da máquina.
Fonte: Hacker News · Resumido por HeadlinesBriefing