Soniox STT v6 为语音智能体新增“智能体文本输入”与回声过滤功能

Soniox 发布了 Soniox STT v6,这是其语音转文本 API 的最新一代。Soniox STT v6 是一个语音转文本模型,它一边听取通话方的语音,一边读取语音智能体所说的内容。它利用这些文本识别简短回复,并剔除智能体自身的声音。本次发布提供流式版本 stt-rt-v6 与文件版本 stt-async-v6,覆盖 60 多种语言。

Soniox STT v6 为语音智能体新增“智能体文本输入”与回声过滤功能

摘要

  • 规模: Soniox STT v6 是专有托管模型,未公布参数规模。
  • 运行方式: 仅可通过 Soniox 云端 API 使用(WebSocket 流式与异步 REST)。未披露自托管或端侧部署选项。
  • 性能: Soniox 称其精度比 v5 “显著”更高,但目前尚未公布 v6 的具体数字。
  • 优势: 价格。流式 $0.12/小时、异步 $0.10/小时,并包含说话人分离与语种识别。
  • 劣势: v6 没有任何独立测试结果。上一代 v5 在 Pipecat 上的语义 WER 为 1.34%,反而落后于 v4 的 1.25%。

Soniox STT v6 解决了什么问题?

在级联式(cascaded)语音智能体中,STT 通常只“听”到通话方,永远看不到智能体正在回答的问题是什么。

短回复受影响最大。在 Soniox 的文档中,“River Roast” 会被识别成 “River Road”,“a tow” 会被识别成 “a tour”。

第二个问题是回声。智能体的音频会通过免提设备和笔记本扬声器泄漏回来,被当作通话方的语音转写,导致智能体打断自己。

智能体文本输入如何工作?

在启动请求中用一个参数即可启用:"enable_agent_text_input": true。该功能仅在 stt-rt-v6 上可用,异步模型不支持。

在智能体说话期间,你通过与通话方音频相同的 WebSocket 流式发送它的文字。每条消息是一个小型 JSON 帧:{"type": "agent_text", "text": "...", "end_of_segment": true}。

时序很关键。消息本身不带时间戳,模型会根据文本到达音频流的位置来定位。Soniox 建议每一段文字在播放前 500 毫秒到 1 秒发送,并按 TTS 时间戳控制节奏。

遇到打断(barge-in)时,你需要冲刷已播放的部分,发送 end_of_segment: true,并丢弃尚未播放的剩余文本。智能体的文本本身永远不会出现在返回的转写结果中。

智能体语音回声消除如何工作?

开启智能体文本输入后,v6 就知道智能体在说什么。它利用这些信息把残留的智能体音频与通话方语音分离开并过滤掉。

它在播放期间持续收音,因此通话方仍然可以打断。它并不替代声学回声消除(AEC)。它处理的是你现有 AEC 处理后残留的部分,所以 AEC 仍需保持开启。

v6 还有哪些变化?

  • 语音输入(voice typing)更准确:数字、货币、单位、日期、ID、人名及专业术语。
  • “period”“new line” 这类语音指令会按字面写成单词,由你的应用自行处理。
  • 会议转写与说话人分离(实时或录制)均有改进。
  • 对重口音、句中语码转换(code-switching)与语种切换的支持更强。

升级前有一处格式变化需要测试。v6 会把 “15 dollars and 20 cents” 按口语原样写出,而不是写成 “$15.20”。代码中的连字符只有在口语中说出时才会出现。

Soniox 在基准测试上的表现如何?

Soniox 尚未公布 v6 的精度或延迟数据。其基准测试页面上报告的仍是 v5 在开源 Pipecat STT benchmark 上的成绩。该基准使用 1,000 个真实场景样本,衡量语义 WER 与最终分段耗时(TTFS)。

在该基准上,stt-rt-v5 的语义 WER 为 1.34%,完全正确转写率 83.3%,TTFS 中位数 260 毫秒,P95 延迟 305 毫秒。Azure 的 WER 均值最低,为 1.21%,但延迟中位数高达 1,016 毫秒。

特性Soniox stt-rt-v6AssemblyAI Universal-3.5 Pro RealtimeDeepgram Nova-3ElevenLabs Scribe v2 Realtime
模型规模未披露未披露未披露未披露
流式支持语种60+1860+(Nova 系列)90+
流式价格 / 小时$0.12$0.45$0.46 单声道 / $0.55 多声道$0.39
智能体侧文本上下文支持,带时序的 agent_text支持,agent_context未披露未披露
模型级智能体回声过滤支持未披露未披露未披露
说话人分离费用已包含未披露+$0.0020/分钟未披露
Pipecat 语义 WER 均值1.34%(v5;v6 未测)1.44%1.71%(nova-3-general)3.16%
Pipecat 完全正确转写率83.3%(v5)84.7%76.5%81.3%
Pipecat TTFS 中位数260 ms(v5)282 ms247 ms281 ms

Pipecat 数据来自 Pipecat STT benchmark README。Soniox 的数字为 v5,因为 v6 尚未参加该基准测试。

Soniox 真的是第一家吗?

Soniox 称 v6 是首个“知道你的语音智能体在说什么”的模型。这个说法需要加个限定条件。

AssemblyAI 已于 2026 年 7 月在 Universal-3.5 Pro Realtime 中推出 agent context,同样是向流式 STT 输入智能体的回复内容。

更明确的差异在回声上。Soniox 的文档描述了如何利用这些文本过滤泄漏的智能体音频;AssemblyAI 的 context 文档中没有类似的过滤描述。

部署、价格与迁移

v6 可无缝切换:只需把模型名改为 stt-rt-v6 或 stt-async-v6。

v5 系列模型已弃用,将于 2026 年 12 月 15 日下线。此后,v5 的请求会自动路由到 v6。

计费基于 token。Soniox 列出的价格约为流式 $0.12/小时、异步 $0.10/小时。智能体文本按输入文本 token 计费,实时场景为 $4.00 / 1M token。

关键要点

  • Soniox STT v6 通过读取智能体文本来转写通话方的回复。
  • 回声过滤在常规 AEC 之上,进一步去除泄漏的智能体语音。
  • 流式价格为 $0.12/小时,且包含说话人分离。
  • 目前尚无 v6 的基准测试数据;v5 在 Pipecat 上为 1.34%。
  • v5 模型将于 2026 年 12 月 15 日退役,请求自动路由至 v6。

本文来自作者投稿,版权归原作者所有。如需转载,请注明出处:https://www.nxrte.com/jishu/72977.html

赞 (0)

相关推荐