Embedding Gemma 2 dari Google adalah model embedding, dan sebuah proyek baru telah mengubahnya menjadi alat speech-to-text. Para pengembang melaporkan bahwa model ini dapat mentranskripsikan satu jam audio dalam sekitar 13 detik di MacBook Air dasar, sepenuhnya di perangkat.
Pendekatannya bergantung pada ruang bersama model untuk teks, gambar, audio, dan video. Kata-kata yang diucapkan berada dekat dengan padanan tertulisnya di ruang tersebut, sehingga tim membaca kata-kata langsung dari ruang itu. Encoder audio tetap tidak berubah. Sebuah pembaca kecil memetakan setiap potongan audio pendek ke ruang teks model, dan kata bahasa Inggris terdekat dari sekitar 229.000 kata dipilih. Model terpisah yang sangat kecil kemudian menambahkan tanda baca dan kapitalisasi. Hanya pembaca yang dilatih, dalam waktu kurang dari dua jam menggunakan 8 GPU H100, dengan ucapan bahasa Inggris berlisensi terbuka. Model dasar tidak pernah dibuat untuk speech-to-text.
Dalam pengujian para pengembang sendiri di MacBook Air M3 dasar yang sama, pendekatan ini mentranskripsikan satu jam audio dalam 12,6 detik, yaitu kecepatan sekitar 288 kali waktu nyata. Sebagai perbandingan, IBM Granite Speech 5.0 Turbo membutuhkan 25,7 detik. Para pengembang mencatat bahwa tolok ukur lain yang dikutip dijalankan pada Mac yang lebih besar dan lebih baru serta audio yang berbeda, sehingga angka-angka ini hanya panduan kasar, bukan peringkat langsung.
Akurasi saat ini menjadi titik lemahnya. Tingkat kesalahan kata sekitar 5%, dibandingkan 2–3% untuk model ucapan terkemuka. Tim meyakini pembaca yang dilatih lebih baik dapat menutup celah ini dan merencanakannya sebagai iterasi berikutnya. Aplikasi ini gratis untuk Mac dengan macOS 14 atau lebih baru dan Apple Silicon, dengan model berukuran 715 MB yang diunduh saat pertama kali dijalankan. Pengguna dapat menjatuhkan file audio atau menahan tombol Option kanan untuk mendikte ke aplikasi apa pun, dan semua pemrosesan berjalan di Neural Engine Mac sehingga audio tidak pernah meninggalkan perangkat.
Sumber: Hacker News · Diringkas oleh HeadlinesBriefing