Mistral 推出了 Voxtral 3,这是一个语音转文本和文本转语音模型系列,并配套语音智能体 SDK。该系统将听取、推理、工具调用和语音播报整合到单一的实时流式处理管道中,专为呼叫中心、服务台、虚拟助手和免提副驾驶等场景下的自然对话体验而设计。
语音转文本模型 Voxtral Small Transcribe 3 被描述为多语言转录领域的最先进技术。它支持 50 多种语言,能够识别每句话的说话人(说话人分离),利用关键短语提高准确率(上下文偏置),并能检测说话人何时结束发言,使智能体无需延迟即可作出回应。扩展后的语言列表包括 24 种欧盟官方语言以及许多资源匮乏的亚洲和印度语系语言。
文本转语音模型 Voxtral Mini TTS 3 提供全新语音,可根据对话语境调整情绪、语速和重音,支持 35 多种语言及 50 多种方言。对于专业应用场景,Pro Voice 定制功能仅需 30 分钟音频,即可跨语言复现说话人独特的音色特征、情感范围和说话风格。
Voxtral 3 专为主权部署而设计。它可通过 Mistral 位于欧盟的托管 API 使用,也可部署在组织自有基础设施上,使其能够掌控音频的处理位置、数据的处理方式以及对话是否留存。这使其适用于必须保留在受控环境内的敏感对话。
来源: Hacker News · 由HeadlinesBriefing整理摘要