Mistral a présenté Voxtral 3, une nouvelle famille de modèles de reconnaissance vocale et de synthèse vocale, accompagnée d'un SDK pour agents vocaux. Le système réunit l'écoute, le raisonnement, l'appel d'outils et la parole dans un seul pipeline de streaming en temps réel, conçu pour offrir des expériences conversationnelles naturelles dans les centres de contact, les guichets de service, les assistants virtuels et les copilotes mains libres.
Le modèle de reconnaissance vocale, Voxtral Small Transcribe 3, est présenté comme l'état de l'art en transcription multilingue. Il prend en charge plus de 50 langues, identifie qui a dit quoi (diarisation), utilise des mots-clés pour améliorer la précision (biais contextuel) et détecte la fin de la prise de parole d'un locuteur afin que les agents puissent répondre sans délai. La liste élargie des langues comprend les 24 langues officielles de l'UE ainsi que de nombreuses langues asiatiques et indiennes peu dotées en ressources.
Le modèle de synthèse vocale, Voxtral Mini TTS 3, propose de nouvelles voix qui ajustent l'émotion, le rythme et l'accentuation en fonction du contexte de la conversation, avec la prise en charge de plus de 35 langues et de plus de 50 dialectes. Pour les usages professionnels, l'adaptation Pro Voice peut reproduire le caractère distinctif, la palette émotionnelle et le style d'élocution d'un locuteur dans différentes langues à partir de seulement 30 minutes d'audio.
Voxtral 3 est conçu pour un déploiement souverain. Il est disponible via l'API hébergée dans l'UE de Mistral ou en auto-hébergement sur l'infrastructure d'une organisation, ce qui permet de contrôler où l'audio est traité, comment les données sont gérées et si les conversations sont conservées. Il convient ainsi aux échanges sensibles qui doivent rester dans un environnement maîtrisé.
Source: Hacker News · Résumé par HeadlinesBriefing