Zyphra 发布 ZONOS3-Mini：仅 1 亿激活参数的开源 TTS 模型

Zyphra 发布了 ZONOS3-Mini，这是一个面向本地设备实时运行的开源文本转语音模型。ZONOS3-Mini 采用稀疏混合专家（MoE）架构，总参数 8 亿、每 token 激活参数约 1 亿。它支持零样本语音克隆和词级表达控制，权重以 Apache 2.0 协议发布。对 AI 开发者而言，尺寸是核心看点：它可以在一个浏览器标签页里、在笔记本上、或在服务器 GPU 上运行。

核心要点

规模： 总参数 8 亿，每 token 激活约 1 亿（64 个专家，top-2 路由）；上下文长度 32,768；单次生成最长 10 分钟音频。
运行平台： NVIDIA GPU 通过 SGLang-Omni；Apple Silicon 通过 MLX；CPU/CUDA/Metal/Vulkan 通过 ggml；手机或笔记本上通过浏览器内的 WebGPU。
性能： 在 Zyphra 自建的 ZTTS2-Eval 能力指数上位列开源模型第一（自报数据）。
最佳表现： 单块 H100、8 路并发请求下，首字节音频（TTFA）中位数 80 毫秒；峰值吞吐为每秒生成 457 秒音频。
最差表现： Pixel 9 浏览器中首字节音频约 570 毫秒以内，而 M3 MacBook Air 上不到 150 毫秒。
结论： 最佳之处——以 1 亿激活参数达到前沿水平的开源 TTS 质量；最差之处——所有基准测试均由 Zyphra 自己执行，且参考音频片段克隆模式的得分远低于嵌入模式。

ZONOS3-Mini 是什么？

ZONOS3-Mini 是 Zyphra 推出的一款紧凑型零样本语音克隆 TTS 模型，可在设备端实时运行。Zyphra 用 112 块 NVIDIA H100 训练了 2.5 天。它接续的是 ZONOS2，后者使用 80 亿参数和 86 Hz 编解码器，那样的体积限制了 ZONOS2 的部署场景。

ZONOS3-Mini 的架构如何工作？

Zyphra 改动了技术栈的三层：

全新编解码器： Zyphra 训练了 Zyphra Audio Codec 1（ZAC-1）来取代 Descript Audio Codec。ZAC-1 以 15 Hz 运行，包含 10 个码本、每个 4,096 条目：1 个语义码本和 9 个声学码本。Zyphra 报告称，在相似数据约束下，相比用 DAC 训练的模型，词错误率降低 10 倍。一个因果 iSTFT 头会在每一帧生成的瞬间将其渲染为 44.1 kHz 音频。
混合 MoE 主干： 模型卡列出 11 层、模型维度 1,024。序列混合按 3:1 的比例：9 层 Gated DeltaNet 加 2 层全局注意力。Zyphra 还加入了潜在 MoE、Q 平衡（Q balancing）和注意力残差。
全新说话人编码器： 声音表征从 Qwen3-TTS 的说话人编码器改为 MECT-B2。模型可接受最长 60 秒的原始参考音频，或单个 192 维说话人嵌入。后训练阶段先使用 DPO，再用 GRPO，以提升鲁棒性。

词级语音控制如何工作？

身份类控制通过说话人嵌入向量和口音任务向量，覆盖年龄、性别、口音和音质。表达类控制通过激活引导（activation steering），覆盖语速、情绪、投射感和生动度。学习得到的对齐头让引导可以在流式生成过程中作用于特定词。另一个基于 VoiceCraft 方案的独立编辑模型，可以在生成之后修改句子。

ZONOS3-Mini 在基准测试中表现如何？

Zyphra 在其新的 ZTTS2-Eval 基准上评估了该模型。该基准涵盖 35 种语言的干净朗读语音和 20 种语言的自然场景录音。能力指数基于项目反应理论，在 420 个题目上计算。

ZONOS3-Mini 在说话人嵌入模式下该指数得分为 66.2。Fish Audio S2 Pro 为 61.7，MOSS-TTS v1.5 为 60.2。在干净集上，ZONOS3-Mini 取得 7.79 的 WER 和 83.4 的说话人相似度。

但也存在保留意见。基准由 Zyphra 自己构建并执行。参考片段模式的指数得分仅为 44.7。其干净集 MSR-UTMOS 质量分 3.07，落后于 Fish S2 Pro（3.16）和 Qwen3-TTS 1.7B（3.54）。

ZONOS3-Mini 与其他开源 TTS 模型对比添加到对话

指标	ZONOS3-Mini	Fish Audio S2 Pro	MOSS-TTS v1.5	Qwen3-TTS 1.7B
总参数	8 亿	50 亿（40 亿慢速 AR + 4 亿快速 AR）	80 亿	17 亿
激活参数	约 1 亿（MoE）	未披露	未披露	未披露
许可证	Apache 2.0	Fish Audio 研究许可（商用需单独授权）	Apache 2.0	Apache 2.0
编解码器帧率	15 Hz	约 21 Hz	未披露	12.5 FPS
语言	无官方列表（在 35 种语言上评估）	80+	31	10
官方浏览器运行时	有，WebGPU	未披露	未披露	未披露
报告延迟	80 ms TTFA（1×H100，8 并发）	约 100 ms TTFA（1×H200）	未披露	97 ms 端到端
ZTTS2 能力指数*	66.2	61.7	60.2	37.7
干净集 WER*（越低越好）	7.79	11.06	11.01	25.55
干净集说话人相似度*	83.4	81.2	82.9	69.6
干净集 MSR-UTMOS*	3.07	3.16	3.04	3.54

数据来自 Zyphra 的 ZTTS2-Eval 浏览器，全语言集，ZONOS3-Mini 为说话人嵌入模式。由 Zyphra 执行，未经独立验证。各延迟数据使用不同 GPU，不能直接互比。

开发者如何部署 ZONOS3-Mini？

据 GitHub 仓库，共有 4 条官方路径：

浏览器： WebGPU 演练场完全在你的 GPU 上运行，无需安装或服务器。
NVIDIA 服务器： SGLang-Omni 提供兼容 OpenAI 的 /v1/audio/speech 接口，支持流式输出。
原生部署： 面向 Apple Silicon 的 MLX 服务器，以及面向 CPU、CUDA、Metal 或 Vulkan 的 C++/ggml 服务器与命令行工具。
托管服务： Zyphra Cloud，运行在 NVIDIA H200 上。

关键要点