A Mistral apresentou o Voxtral 3, uma nova família de modelos de conversão de voz em texto e de texto em voz, acompanhada de um SDK para agentes de voz. O sistema reúne escuta, raciocínio, chamada de ferramentas e fala em um único pipeline de streaming em tempo real, projetado para experiências conversacionais naturais em centrais de atendimento, balcões de serviço, assistentes virtuais e copilotos de mãos livres.
O modelo de voz para texto, Voxtral Small Transcribe 3, é descrito como o estado da arte em transcrição multilíngue. Ele oferece suporte a mais de 50 idiomas, identifica quem disse o quê (diarização), usa frases-chave para melhorar a precisão (viés de contexto) e detecta quando um falante terminou de falar, para que os agentes respondam sem atraso. A lista ampliada de idiomas inclui os 24 idiomas oficiais da UE e muitos idiomas asiáticos e indianos de poucos recursos.
O modelo de texto para voz, Voxtral Mini TTS 3, oferece novas vozes que ajustam emoção, ritmo e ênfase com base no contexto da conversa, com suporte a mais de 35 idiomas e mais de 50 dialetos. Para casos de uso profissionais, a adaptação Pro Voice pode reproduzir o caráter distintivo, a faixa emocional e o estilo de fala de um locutor em diferentes idiomas usando apenas 30 minutos de áudio.
O Voxtral 3 foi projetado para implantação soberana. Ele está disponível pela API hospedada na UE da Mistral ou para autoimplantação na infraestrutura de uma organização, oferecendo controle sobre onde o áudio é processado, como os dados são tratados e se as conversas são retidas. Isso o torna adequado para conversas sensíveis que precisam permanecer dentro de um ambiente controlado.
Fonte: Hacker News · Resumido por HeadlinesBriefing