Hai HN, saya Toby dari Nari Labs. Kami telah bekerja untuk membuat model suara OSS menjadi sangat cepat. Tahun lalu, kami membangun Dia, model text-to-speech OSS pertama yang mampu melakukan dialog alami. Sejak itu, banyak model suara hebat lainnya telah dirilis. Namun pasar masih didominasi oleh model closed source. Kami pikir ini masalah inferensi. Sistem yang ada seperti vLLM / SGLang tidak cocok untuk inferensi multimodal. Untuk membuktikannya, kami membangun mesin inferensi khusus untuk Qwen3-TTS dan membukanya. Berjalan dengan latensi di bawah 50 ms pada 10 RPS, ini menunjukkan model terbuka dapat dijalankan jauh lebih cepat dan lebih murah.

Sejak itu, kami telah bekerja keras untuk menghadirkan layanan murah, cepat, dan berkualitas tinggi untuk semua. Dan kami bahkan mengalahkan model closed dalam permainan mereka sendiri! Diukur pada benchmark AI suara Coval (YC S24) yang banyak dikutip, endpoint Qwen3-TTS kami bukan hanya #2 dalam latensi, tetapi #1 dalam akurasi (WER) dibandingkan dengan 11Labs, Cartesia dll. sambil menjadi endpoint termurah. Endpoint Qwen3-ASR kami memiliki latensi terendah dan akurasi #2, hanya 0,1% dari #1. Ini adalah model termurah kedua dalam daftar.

Dibutuhkan banyak rekayasa inferensi yang cerdas untuk membuat model ini cepat, berkinerja baik, sambil menjaga biaya tetap rendah. Menariknya, endpoint resmi Alibaba tampaknya berkinerja lebih buruk dalam hal akurasi dan latensi dibandingkan dengan milik kami. Namun demikian, banyak cinta untuk tim Qwen karena telah membuka model suara menakjubkan ini. Kami ingin terus menurunkan harga untuk menjadikan teknologi suara sebagai komoditas - sehingga setiap aplikasi dapat memiliki TTS dan STT yang hebat tanpa mengkhawatirkan biaya per unit. Kami juga sedang mengerjakan bagian audio lainnya seperti diarisasi - serta inferensi video dan model dunia. Lebih banyak lagi akan datang!

Entitas Kunci: Perusahaan: Nari Labs, Qwen, Coval, 11Labs, Cartesia, Alibaba, Assembly AI, Deepgram, Fluxions | Orang: Toby