Block 发布 Dessa:仅用语音训练的全双工语音模型

Block 的 AI 研究实验室发布了 Dessa,一个仅用人类对话语音训练的全双工语音模型。Block 于 2026 年 10 月 23 日 以研究预览版的形式宣布了这一成果。Dessa 是 Block 推出的语音到语音(speech-to-speech)模型,可以同时听和说。Block 表示,其训练过程没有使用任何文本,也没有使用任何预训练模型。这与当今大多数语音智能体所采用的”文本优先”技术栈截然不同。

Block 发布 Dessa:仅用语音训练的全双工语音模型

要点速览

  • 运行环境: MacBook Pro M4 Max 或更高配置,本地运行,速度快于实时。
  • 表现: 目前仅有演示。实际录音中展现出附和插话、句中笑声和自然打断等能力。
  • 最优: 仅用 1 台 NVIDIA GB200 NVL72 机架(72 块 GPU)训练。而 Moshi 用了 1,016 块 H100 GPU。
  • 最差: 公开的基准测试得分为零。没有权重、论文、API 或定价。

Block 的 Dessa 是什么?

Dessa 是一个真正的语音到语音模型:音频进,音频出。据 Block 项目页面介绍,它所掌握的一切知识都来自人类语音。

它是全双工的,也就是说边说边听。Block 称,它从真实对话中学会了何时插话,也学会了何时用”嗯””对”之类的简短附和来回应。

Block 的演示片段显示,Dessa 会在句中发笑,被要求大声点时会提高音量。其中一段片段展示了它与 OpenAI 的 GPT-Live-1 对话。Block 表示,没有任何一段演示是人为引导的。

纯语音训练是如何工作的?

大多数语音系统串联三个部分:语音识别、文本模型、再接语音合成。Block 团队认为,这种串联方式会丢失情绪、讽刺、笑声和叹息。而 Dessa 直接聆听并直接生成这些信号。

Block 尚未公布架构。以下是目前已披露的信息:

  • 训练数据: 仅人类对话音频。没有文本,也没有预训练模型。
  • 算力: 1 台 NVIDIA GB200 NVL72,它将 72 块 Blackwell GPU 与 36 颗 Grace CPU 连接在一起。
  • 数据效率: Block 称,Dessa 学习语言所需词汇量比 LLM 少数百倍。
  • 推理: 速度快于实时,可在 MacBook Pro M4 Max 或更高配置上本地运行。

该实验室还解释了这件事为什么难:语音从不完全重复。同一个口语单词所占的字节数是文本形式的数千倍。

Kyutai 的 Moshi 是目前最知名的开源全双工模型,走的是另一条路线。Moshi 从一个文本语言模型骨干网络起步,在预测音频 token 之前先预测时间对齐的文本 token。其模型卡列出的预训练音频为 700 万小时,使用了 1,016 块 H100 GPU。

Dessa 与 Moshi、PersonaPlex、GPT-Live-1 的对比

维度Dessa(Block)Moshi(Kyutai)PersonaPlex-7B-v1(NVIDIA)GPT-Live-1(OpenAI)
起点仅语音,无文本,无预训练模型Helium 文本语言模型骨干 + 音频从 Moshi(Moshiko)权重微调未披露;将推理委托给后端智能体
参数量未披露8B(Hugging Face 页面)7B(模型卡)未披露
训练算力1 台 GB200 NVL72(72 块 GPU)1,016 块 H100 GPU未披露未披露
训练音频未披露700 万小时无监督,2,000 小时 Fisher,20,000 小时合成Fisher 英语,不足 10,000 小时未披露
延迟未披露(”快于实时”)实测 200 ms,理论 160 ms轮次切换 0.170 秒,打断 0.240 秒(FullDuplexBench)模型页面未披露
权重与许可未发布开放,CC-BY 4.0开放,NVIDIA Open Model License闭源
运行环境MacBook Pro M4 Max 或更高GPU;提供 MLX、Candle 和 PyTorch 检查点NVIDIA A100 / H100,LinuxOpenAI 云端
获取与价格研究预览,候补名单免费下载免费下载(受限)API,语音层每分钟 0.05 美元

核心结论

  • Dessa 是全双工的语音到语音模型,仅用人类对话音频训练。
  • Block 用 1 台 GB200 NVL72 机架完成训练;Moshi 用了 1,016 块 H100。
  • 它可以在 MacBook Pro M4 Max 上本地运行,快于实时。
  • Block 未发布任何基准测试成绩、参数量或权重。
  • 目前的获取方式是候补名单。

本文来自作者投稿,版权归原作者所有。如需转载,请注明出处:https://www.nxrte.com/jishu/72884.html

赞 (0)

相关推荐