Mistral ha presentado Voxtral 3, una nueva familia de modelos de voz a texto y texto a voz junto con un SDK para agentes de voz. El sistema reúne la escucha, el razonamiento, la llamada a herramientas y la respuesta hablada en una única canalización de transmisión en tiempo real, diseñada para experiencias conversacionales naturales en centros de contacto, mostradores de servicio, asistentes virtuales y copilotos de manos libres.
El modelo de voz a texto, Voxtral Small Transcribe 3, se describe como el estado del arte en transcripción multilingüe. Admite más de 50 idiomas, identifica quién dijo qué (diarización), utiliza frases clave para mejorar la precisión (sesgo contextual) y detecta cuándo un hablante ha terminado para que los agentes puedan responder sin demora. La lista ampliada de idiomas incluye los 24 idiomas oficiales de la UE y muchos idiomas asiáticos e indios con pocos recursos.
El modelo de texto a voz, Voxtral Mini TTS 3, ofrece nuevas voces que ajustan la emoción, el ritmo y el énfasis según el contexto de la conversación, con soporte para más de 35 idiomas y más de 50 dialectos. Para casos de uso profesionales, la adaptación de voz Pro Voice puede reproducir el carácter distintivo, el rango emocional y el estilo de habla de un hablante en distintos idiomas con solo 30 minutos de audio.
Voxtral 3 está diseñado para el despliegue soberano. Está disponible a través de la API alojada en la UE de Mistral o para su autoinstalación en la infraestructura de una organización, lo que permite controlar dónde se procesa el audio, cómo se gestionan los datos y si las conversaciones se conservan. Esto lo hace adecuado para conversaciones sensibles que deben permanecer dentro de un entorno controlado.
Fuente: Hacker News · Resumido por HeadlinesBriefing