Mistral представила Voxtral 3 — новое семейство моделей преобразования речи в текст и текста в речь, а также SDK для голосовых агентов. Система объединяет прослушивание, рассуждение, вызов инструментов и речевой ответ в едином потоковом конвейере реального времени, рассчитанном на естественное диалоговое взаимодействие в контакт-центрах, сервисных службах, виртуальных ассистентах и голосовых помощниках для работы без помощи рук.
Модель распознавания речи Voxtral Small Transcribe 3 описана как современное решение для многоязычной транскрипции. Она поддерживает более 50 языков, определяет, кто что сказал (диаризация), использует ключевые фразы для повышения точности (контекстное смещение) и распознаёт момент, когда говорящий закончил фразу, чтобы агенты могли отвечать без задержек. Расширенный список языков включает 24 официальных языка ЕС, а также многие азиатские и индийские языки с ограниченными языковыми ресурсами.
Модель синтеза речи Voxtral Mini TTS 3 предлагает новые голоса, которые регулируют эмоции, темп и акценты в зависимости от контекста разговора, с поддержкой более 35 языков и более 50 диалектов. Для профессиональных задач адаптация Pro Voice способна воспроизвести характерный тембр, эмоциональный диапазон и манеру речи говорящего на разных языках всего по 30 минутам аудио.
Voxtral 3 создан для суверенного развёртывания. Он доступен через размещённый в ЕС API Mistral или для самостоятельного развёртывания на инфраструктуре организации, что даёт контроль над тем, где обрабатывается аудио, как обращаются с данными и сохраняются ли разговоры. Это делает модель подходящей для конфиденциальных разговоров, которые должны оставаться в контролируемой среде.
Источник: Hacker News · Сводку подготовил HeadlinesBriefing