Google 的 Embedding Gemma 2 是一个嵌入模型,而一个新项目已将其改造为语音转文字工具。开发者称,它可以在基础款 MacBook Air 上完全在设备端,约 13 秒转录一小时的音频。
该方法依赖于该模型在文本、图像、音频和视频之间的共享空间。口语单词在该空间中会落在与其书面形式相近的位置,因此团队直接从该空间中读取单词。音频编码器保持不变。一个小型读取器将每个短音频片段映射到模型的文本空间,然后从约 229,000 个英语单词中选出最接近的一个。另有一个微型模型负责添加标点符号和大小写。只有读取器经过训练,使用公开授权的英语语音数据在 8×H100 GPU 上训练不到两小时。该基础模型原本并非为语音转文字而构建。
在开发者自己对同一台基础款 M3 MacBook Air 进行的测试中,该方法转录一小时音频仅用 12.6 秒,速度约为实时的 288 倍。相比之下,IBM Granite Speech 5.0 Turbo 用时 25.7 秒。开发者指出,所引用的其他基准测试是在更大、更新的 Mac 上以不同音频运行的,因此这些数据只是粗略参考,而非直接排名。
准确率目前是其薄弱环节。词错误率约为 5%,而领先的语音模型为 2–3%。团队认为,经过更好训练的读取器可以缩小这一差距,并计划将其作为下一个迭代版本。该应用免费提供,适用于搭载苹果芯片、运行 macOS 14 或更高版本的 Mac;715 MB 的模型会在首次启动时下载。用户可以拖入音频文件,或按住右 Option 键将语音听写到任意应用中,所有处理均在 Mac 的神经网络引擎上运行,因此音频不会离开设备。
来源: Hacker News · 由HeadlinesBriefing整理摘要