Qwen Audio：复杂人声干扰下，如何让 ASR “听对人”

在安静环境里，语音识别的问题很直接：用户说什么，模型就转录什么。但在会议、车内或咖啡厅里，用户的声音经常会和旁人交谈一起进入麦克风。

假设用户说“打开导航”，旁边的人同时说“我们明天几点出发”。一种常见错误不是把“导航”识别成别的词，而是把两个人的话都写进结果。

模型并非没有听清，恰恰可能是听得太清楚了。旁人的声音完整、清晰，也符合语言规律，ASR 自然倾向于把它转成文字。可对产品来说，能听见的内容并不都应该输出。系统真正需要判断的是：

在同时出现的多路人声中，谁才是这次交互的主角？

问题也由此从“听清楚”变成了“听对人”。

‍真正的难点，不是噪声，而是人声

空调声、风声和道路噪声通常不包含明确的语言内容，传统降噪可以尽量保留语音、抑制非语音干扰。背景人声却不同：它同样包含音素、词汇和语法，对 ASR 来说是一段合理的语音。

因此，语音增强即使成功保留了“人声”，也可能同时保留用户和旁人。VAD 可以判断有没有人说话，却无法判断这个人是否在与设备交互。

这不是普通的降噪问题，而是目标说话人选择：系统不仅要理解“说了什么”，还要决定“谁的话应该进入结果”。

让 ASR 听对人，一种思路是给出说话人的身份，另一种思路是让模型判断谁处在交互前景。两者没有对错之分，只是使用的目标线索不同。

Target-Speaker ASR（TS-ASR，目标说话人语音识别）会先通过注册语音获得声纹或说话人特征，再从混合语音中寻找匹配的声音。这相当于给模型一张“声音证件”：即使目标更远、更小声，也以身份匹配为主要依据。

这类方案适合个人设备、固定用户或需要持续跟踪指定说话人的场景。边界也很明确：系统需要可靠的 speaker enrollment（说话人注册）；注册语音质量、声音状态变化和声学环境失配，都可能影响效果。在缺少目标身份信息时，这类方案也无法确定需要跟踪的说话人。

另一条路线不要求提前知道用户是谁，而是根据距离、能量、方向、混响、时间关系和交互上下文，判断哪一路声音更像当前交互主体。为便于讨论，本文将这种以场景线索选择交互主体的思路称为“前景说话人转录”。

它没有注册门槛，更适合共享设备和免注册入口。但它依赖场景中存在足够明确的线索。如果两个说话人的距离、音量、方向和上下文完全相同，模型就没有充分依据做出选择。这是信息不足，而不是简单增加数据就能解决的问题。

两条路线不是替代关系：身份线索擅长持续锁定一个人，场景线索擅长发现当前正在交互的人。产品能获得哪种可靠线索，决定了更适合的路线；条件允许时，两者也可以组合。

两条路线使用的目标线索不同，需要构造的声学世界却高度相似。单人语音、转录文本、背景说话人、环境噪声、房间混响，以及重叠关系、音量比例、距离和方向，都可以进入同一套数据流水线。

同一段包含说话人 A 和 B 的混合音频，可以分别服务两种任务：Target-Speaker ASR 输入混合音频和 A 的注册语音，标签是 A 的文本；前景转录则把 A 构造成当前交互者，标签同样是 A 的文本。

但同一段混音不能机械地共用标签。比如 A 是注册用户，却站得较远；B 没有注册，但正在麦克风前发起交互。对基于注册信息的 TS-ASR 来说，目标仍是 A；对前景路线，目标可能是 B。两类任务能够共用的是数据底座，不能混用的是任务语义。

回到开头的例子：训练输入中同时出现“打开导航”和“我们明天几点出发”，如果前者来自当前交互者，标签就只保留“打开导航”。这种关系反复出现后，模型才可能学会：能够识别，不代表应该输出。

仅将两段语音随机叠加，还不足以形成有效的前景监督。数据至少要处理好三组关系。

时间关系。前景与背景既可能同时说话，也可能前后出现。重叠样本训练模型在竞争中保持目标；非重叠样本则防止模型把单独出现、内容完整的背景语音顺手转录出来。
能量关系。前景通常更近、更响，但这不是绝对规则。如果背景声永远很小，模型很容易把任务简化成“转录音量最大的人”。数据需要覆盖不同能量关系，让音量只是线索之一。
空间关系。远场人声不只是音量更低，还包含距离、混响、拾音方向和设备响应等特征。只把背景语音调小，无法还原真实空间感。

比混音参数更重要的，是标签定义始终一致。前景数据设计不是制造尽可能困难的干扰，而是在各种变化中持续表达同一件事：谁属于这次交互。