词错误率在真实通话中遗漏了什么

第三方测试机构 Cekura 最新发布的语音转文字基准测试显示,主流流式语音识别模型在公开的“干净音频”上的排名,与它们在真实电话通话中的表现存在显著偏差。在最准确的模型上,词错误率(WER)从 1.75% 升至 4.83%,接近三倍;19 个被测模型中有 16 个在真实通话上表现更差,错误率上升的中位数达到 54%。

该结论由 Cekura 联合创始人兼 CEO Tarush Agarwal 在 11 月 10 日发表于 Speech Technology Magazine 的行业专栏中披露。Cekura 的业务之一是测试语音智能体,并定期发布其组成组件的基准结果。

词错误率在真实通话中遗漏了什么

测试设计:两组差异显著的音频

本轮测试覆盖 19 个流式语音转文字模型,分别运行于两组音频之上。第一组是 1,000 条来自 Pipecat 公开基准数据集的短音频片段;第二组是从四段真实两人电话通话中截取的 8 条录音,由 Ocular AI 授权提供,每位说话人单独成轨,该数据集不对外公开。

结果显示,在干净片段上最准确的模型 WER 为 1.75%,而在通话数据上同一模型的错误率升至 4.83%。这一差距远超两组数据各自的误差范围。此外,干净片段上表现最好的五个模型,在通话数据上的错误率全部至少翻倍;在通话数据上表现最佳的模型错误率为 2.93%,但它在干净片段上仅排名第六。

按词数换算,这批通话共含 12,561 个词。以 2.93% 的错词率计,模型约错 370 词;以 4.83% 计,约错 610 词。若买家仅依据干净音频成绩圈定前三名,其入选模型在真实通话上的得分将落在 4.5% 至 5.2% 区间,与真正领先者的 2.93% 相差明显。

文章同时提示,由于真实通话样本仅 8 条,部分得分的差异落在彼此误差范围之内,具体名次不宜过度解读;但干净片段前五名出现的跃升,已明显超出误差范围。

高分为何无法迁移:对话场景与训练数据双重因素

Agarwal 指出,干净片段与电话通话在声学特征上存在本质差异。对话中人们会抢话、重说句子、话未说完即中断,并在对方讲话时插话;来电者可能处于免提、耳机或车载环境,这些情况在短小的干净片段中均不存在。

训练数据亦可能是影响因素。语音模型依赖从网络采集的海量音频训练,OpenAI 的 Whisper 模型即使用了 68 万小时音频。公开发布的测试集有可能被纳入模型训练数据,从而使模型因“见过考题”而获得高分,这一现象被称为“测试集污染”,其优势不会延续到客户通话场景。Cekura 表示,其数据无法解释具体模型的波动成因,也未指认任何模型存在污染,但保留一批真实对话作为独立验证集,是目前少数可行的检验手段。

微小差距多为噪声,单一分数易被误读

排行榜通常为每个模型只呈现一个数字,而单一数字极易被过度解读。在 Cekura 的真实通话数据集上,另有 14 个模型的成绩落在第一名误差范围之内;在干净片段上,这一数字为 7 个。Agarwal 认为,两个模型相差零点几个百分点,对采购决策几乎不具参考价值,除非基准同时披露其不确定性。

这一判断与今年 9 月 Yi Zhong 在同类专栏中提出的观点形成呼应:WER 将漏掉的一个语气词与账号中错的一位数字同样计为一个错误,其统计口径本身即存在缺陷。Agarwal 进一步指出,WER 的问题不仅在“统计什么”,还在于“在哪里统计”。

企业自测的六条建议

文章认为,公开基准仍可作为构建候选名单的合理起点,但最终决策应基于与自身客户声音特征相符的音频。Cekura 给出的操作建议包括:

  • 用企业自有通话录音构建测试集,并遵循相应隐私与同意规则;需覆盖实际出现的口音、设备、线路质量与通话类型,并由人工仔细转写,因为所有模型都将以该参考文本评分;
  • 在自建测试集上为每个模型评分,并与公开分数对照,同时关注差距幅度;在干净音频与真实音频之间准确率变化极小的模型,更可能在未见过的通话上保持稳定;
  • 测试音频量应足够大,使据以决策的差异大于噪声,并为每个分数标注误差范围;
  • 对人名、日期、账号、地址等业务关键字段单独评估准确率;
  • 为最终转写计时:语音智能体通常需等待最终转写才能回复,测试中从来电者说完到最终文本抵达的等待中位数,因模型不同在 38 毫秒至 652 毫秒之间浮动;
  • 每当更换模型或厂商发布更新时重跑测试。

结语

Agarwal 指出,在其测试中,那个在干净片段排名居首的模型看起来是“稳妥之选”,但在真实电话通话上,其错误率比实际表现最佳的模型高出 65%。对采购方而言,排行榜可以提供起点,但无法替代基于自身业务音频的验证。

Tarush Agarwal 系 Cekura 联合创始人兼 CEO。

本文来自作者投稿,版权归原作者所有。如需转载,请注明出处:https://www.nxrte.com/jishu/73277.html

赞 (0)

相关推荐