Mistral memperkenalkan Voxtral 3, sebuah keluarga baru model speech-to-text dan text-to-speech yang dipadukan dengan SDK agen suara. Sistem ini menyatukan kemampuan mendengarkan, bernalar, memanggil alat, dan berbicara dalam satu pipeline streaming real-time, yang dirancang untuk pengalaman percakapan alami di pusat kontak, meja layanan, asisten virtual, dan kopilot hands-free.
Model speech-to-text, Voxtral Small Transcribe 3, digambarkan sebagai yang terdepan dalam transkripsi multibahasa. Model ini mendukung lebih dari 50 bahasa, mengidentifikasi siapa yang mengatakan apa (diarisasi), menggunakan frasa kunci untuk meningkatkan akurasi (context-biasing), dan mendeteksi kapan pembicara selesai berbicara sehingga agen dapat merespons tanpa jeda. Daftar bahasa yang diperluas mencakup 24 bahasa resmi UE serta banyak bahasa Asia dan India yang minim sumber daya.
Model text-to-speech, Voxtral Mini TTS 3, menawarkan suara-suara baru yang menyesuaikan emosi, tempo, dan penekanan berdasarkan konteks percakapan, dengan dukungan untuk lebih dari 35 bahasa dan 50+ dialek. Untuk kebutuhan profesional, adaptasi Pro Voice dapat mereproduksi karakter khas, rentang emosi, dan gaya bicara seorang pembicara lintas bahasa hanya dengan 30 menit audio.
Voxtral 3 dirancang untuk penerapan berdaulat. Model ini tersedia melalui API yang dihosting di UE milik Mistral atau untuk penerapan mandiri di infrastruktur organisasi, sehingga memberi kendali atas lokasi pemrosesan audio, cara data ditangani, dan apakah percakapan disimpan. Hal ini membuatnya cocok untuk percakapan sensitif yang harus tetap berada dalam lingkungan yang terkendali.
Sumber: Hacker News · Diringkas oleh HeadlinesBriefing