Hari ini kami merilis Whistle, model pengenalan ucapan terbuka yang dibuat untuk ponsel, perangkat wearable, robot, perangkat rumah pintar, sistem otomotif, dan mikrokontroler. Ini adalah satu berkas berukuran 16,9 MB yang berjalan di CPU tanpa dependensi apa pun. Model ini dimuat ke mesin C++ yang sama dengan Needle, berbagi kontainer dan kuantisasinya, sehingga satu biner dapat mengubah klip ucapan langsung menjadi pemanggilan alat.
Whistle menjalankan tiga tugas sepenuhnya di perangkat. Model ini mentranskrip audio mono 16 kHz hingga 30 detik dalam bahasa Inggris, Jerman, Prancis, Spanyol, Italia, Belanda, dan Polandia, dan mendeteksi bahasa kecuali jika bahasa ditentukan. Model ini menghasilkan penanda waktu per kata, dengan waktu mulai, waktu selesai, dan probabilitas untuk setiap kata, yang diselaraskan dari perhatian decoder. Model ini juga dapat menghasilkan embedding ucapan, satu baris per frame 80 md, tanpa mendekode transkrip. Model mencapai token pertama dalam 11 md.
Arsitekturnya terdiri dari dua bagian. Front end mengubah audio menjadi 80 pita log-mel dan menggunakan stem konvolusional untuk mengurangi 30 detik menjadi 375 frame. Encoder kemudian menerapkan delapan blok Simple Attention yang dibagi dengan Needle, dengan atensi non-kausal, sehingga frame pada detik ke-3 dapat memperhatikan frame pada detik ke-12. Decoder menggunakan delapan blok Laddered Simple Attention berlebar 512, dengan gated cross attention di setiap lapisan yang membaca keluaran encoder. Proyeksi ini dihitung sekali per klip, sehingga lima jalur beam search hanya memerlukan lima cache transkrip pendek, bukan lima kali pemindaian audio.
Dekoding menggunakan lima beam yang dinilai berdasarkan probabilitas log yang dinormalisasi panjangnya. Pembobotan kata kunci menjalankan automaton Aho-Corasick atas frasa yang Anda berikan, dan menaikkan probabilitasnya seiring pencarian berlangsung. Kosakata terdiri dari 8.192 potongan teks ditambah tujuh token bahasa, dan transkrip dibatasi hingga 320 token.
Model ini juga tersedia di sandbox browser, tempat audio tidak pernah meninggalkan perangkat.
Sumber: Hacker News · Diringkas oleh HeadlinesBriefing