Mistral AI 发布 Voxtral 3：语音转文字、TTS 与语音智能体 SDK

Mistral AI 刚刚发布 Voxtral 3。Mistral Voxtral 3 是一套语音模型家族，并配套一个语音智能体 SDK。它包含 3 个转写模型、1 个文本转语音模型，以及一个基于 LiveKit 构建的 SDK。听、推理、工具调用和说话，都在同一处完成。4 个模型均已在 Mistral API 上进入公开预览。

要点

规模： Voxtral Mini Transcribe 3 有 4B 参数。Small Transcribe 3 的规模未披露。两个批处理模型都标注 32k 上下文。
运行方式： 通过 Mistral API（欧盟、美国及全球端点），或经 Mistral 销售团队部署在自有基础设施上。GPU 与显存需求未披露。Mistral 称 Mini 适合资源受限环境。
表现： 在独立语音转文字榜单上排名前三，在说话人分离和多语言批处理转写上最强。
最好的一项： Small Transcribe 3 的 AA-WER 为 2.1%，在 Artificial Analysis 上排名第 3。
最弱的一项： 实时模式在 240 ms 下，FLEURS 35 的 WER 为 7.4%，而 Gemini 3.5 Realtime 为 4.2%。

Voxtral 3 家族包含什么？

Mistral 列出了 4 个模型和 1 个 SDK：

Voxtral Small Transcribe 3： 旗舰级批处理转写与说话人分离模型。文档还列出翻译、语音问答、摘要和函数调用能力。
Voxtral Mini Transcribe 3： 4B 模型，面向更便宜、更快的批处理任务。
Voxtral Mini Transcribe Realtime 3： 通过 WebSocket 进行流式 ASR，支持话轮结束检测。
Voxtral Speech 3： 文本转语音，在官方博文中也称 Voxtral Mini TTS 3。

所有转写模型都支持说话人分离和上下文偏置。上下文偏置可输入关键术语或自由文本，以提升召回。批处理转写覆盖 50 种语言，包括 24 种欧盟官方语言。

Voxtral 语音智能体 SDK 如何工作？

该 SDK 基于 LiveKit 构建，以一条流式管道运行 3 个阶段。Realtime Transcribe 3 负责聆听并判断来话方何时停止说话。通用 LLM（例如 Mistral Small 4）负责推理并调用工具。Voxtral Speech 3 用此前对话的语气作出回应。

每一轮交互在 1 秒内完成。当来电方打断时，智能体会停止说话。它支持通过 SIP 处理电话呼叫，也支持通过 WebRTC 处理浏览器或 App 会话。由于每个阶段都是独立模型，团队可以替换 LLM、声音或语言。

Voxtral Transcribe 3 有多准？

以下数字由 Mistral 自行报告：

FLEURS 45（WER，指定语言 / 推断语言）： Small 4.1% / 4.0%；MAI-Transcribe-2 同为 4.1% / 4.0%；Mini 4.6% / 4.5%；Whisper large-v3 16.0% / 14.9%。
说话人分离（cpWER，5 个公开数据集）： Small 18.4%，Mini 18.6%。Pyannote 为 19.0%，MAI-Transcribe-2 为 20.3%。
关键词组召回（Earnings 22）： Small 带上下文时 94.6%，不带上下文 81.4%。Scribe v2 分别为 94.3% 和 84.0%。

在 Artificial Analysis 上，Small 得分 2.1% AA-WER，Mini 2.2%。只有 Fun-Realtime-ASR-preview（1.7%）和 MAI-Transcribe-2（2.0%）排名更高。差距在速度：Small 的速度因子为 65.8x，而 MAI-Transcribe-2 为 307.5x。

实时转写与 TTS 表现如何？

在 FLEURS 35 上，实时模型以精度换时延。它在 2,400 ms 下 WER 为 5.7%，480 ms 下为 6.4%，240 ms 下升至 7.4%。Gemini 3.5 Realtime Transcribe 为 4.2%，MAI-Transcribe-2 Streaming 为 5.8%。GPT Live Transcribe（8.4%）和 Scribe v2 Realtime（8.7%）落后于 Voxtral 的所有档位。

Voxtral Speech 3 定价为每 100 万字符 13 美元。Mistral 称这一价格低于 OpenAI TTS-1、Deepgram、ElevenLabs Flash 和 Gemini Flash。显式可控项覆盖 emotion（情绪）、pacing（节奏）和 emphasis（重音）。模型页面列出约 90 ms 的首音频时延和 34 种情绪标签。Pro Voice 可从 30 分钟音频中学习某位说话人的风格。Artificial Analysis 将其列入两个 TTS 榜单的前 12 名。

Voxtral 3 对比 MAI-Transcribe-2、Scribe v2 与 Gemini 3.5 Transcribe

项目	Voxtral Small Transcribe 3	MAI-Transcribe-2	ElevenLabs Scribe v2	Gemini 3.5 Transcribe
开发商	Mistral AI	Microsoft AI	ElevenLabs	Google
参数量	未披露（Mini 为 4B）	未披露	未披露	未披露
语言数	50	60	90+	85+
FLEURS 45 WER，指定 / 推断（Mistral）	4.1% / 4.0%	4.1% / 4.0%	4.9% / 4.9%	6.1% / 4.5%
说话人分离 cpWER（Mistral）	18.4%	20.3%	23.0%	38.4%
AA-WER（Artificial Analysis）	2.1%	2.0%	2.2%	2.6%
AA 速度因子（Artificial Analysis）	65.8x	307.5x	65.4x	89.5x
每 1,000 分钟价格（Artificial Analysis）	$4.00	$1.67	$3.67	$5.00
厂商标价	$0.004/分钟	$0.10/小时（限时优惠）	$0.22/小时	按 token 计费，见 Google 定价