Mistralは、音声認識（音声からテキスト）モデルと音声合成（テキストから音声）モデルのファミリーであるVoxtral 3と、音声エージェントSDKを発表しました。このシステムは、聞き取り、推論、ツール呼び出し、発話を単一のリアルタイムストリーミングパイプラインに統合し、コンタクトセンター、サービスデスク、バーチャルアシスタント、ハンズフリーのコパイロットなどで自然な会話体験を実現するよう設計されています。
音声認識モデルのVoxtral Small Transcribe 3は、多言語文字起こしにおける最先端の技術と説明されています。50以上の言語に対応し、誰が何を話したかを識別し（話者分離）、キーフレーズを用いて精度を高め（文脈バイアス）、話者の発話終了を検出するため、エージェントは遅延なく応答できます。拡張された言語リストには、EUの公用語24言語と、多くの低リソースのアジアおよびインド系言語が含まれます。
音声合成モデルのVoxtral Mini TTS 3は、会話の文脈に応じて感情、話す速度、強調を調整する新しい音声を提供し、35以上の言語と50以上の方言をサポートします。プロフェッショナルな用途では、Pro Voice適応機能により、わずか30分の音声を用いて、話者の特徴的な声質、感情の幅、話し方を複数の言語にわたって再現できます。
Voxtral 3は主権的なデプロイを前提に設計されています。MistralのEU内ホストのAPIを通じて利用できるほか、組織自身のインフラへのセルフデプロイも可能です。これにより、音声をどこで処理するか、データをどのように扱うか、会話を保存するかどうかを管理できます。そのため、管理された環境内にとどめる必要がある機密性の高い会話にも適しています。
出典: Hacker News · 要約：HeadlinesBriefing