Interspeech2026 | MSU-Bench：多说话人对话理解评测基准

近年来，音频语言模型（Audio Language Model, ALMs）推动语音理解从传统单任务系统走向统一的音频到文本生成范式。在这一框架下，说话人验证、语音识别、说话人识别与时间戳标注等任务都可以被重新组织为可交互、可解释的生成式任务。

真实多人语音对话并不是简单的“多人轮流说话”。在会议、访谈、播客、影视片段和日常交流中，说话人会频繁接续、打断、补充和回应彼此。此时，模型不仅要听清“说了什么”，还要分清“谁在说”、理解“对谁说”，并追踪不同说话人的观点、情绪和互动关系。

近期，由西工大音频语音与语言处理实验室（ASLP@NPU）联合南京大学、理想汽车完成的论文 “MSU-Bench: Towards Speaker-Centric Understanding in Conversational Multi-Speaker Scenarios” 被 Interspeech 2026 接收。该论文提出了面向多说话人会话理解的诊断型评测基准 MSU-Bench，围绕说话人中心理解构建“说话人识别”与“多说话人对话推理”双层评估框架，覆盖 5 个能力维度、16 个子任务和 2,300 条经过验证的 QA 样本。MSU-Bench 采用客观选择题形式，并通过诊断型错误选项设计，支持自动评分和细粒度错误分析。

论文题目：MSU-Bench: Towards Speaker-Centric Understanding in Conversational Multi-Speaker Scenarios

作者列表：孙照凯，王帅，林振楠，王成有，高德辉，曹宇昂，和春江，周盼，谢磊

合作单位：南京大学、理想汽车论文预印版：https://arxiv.org/abs/2606.22868

Demo Page: https://aslp-lab.github.io/msu-bench.github.io/

Source Code: https://github.com/ASLP-lab/MSU-Bench

Huggingface Dataset：https://huggingface.co/datasets/ASLP-lab/MSU-Benchmark

背景动机

当前，语音理解评测仍主要集中在单说话人语音或相对孤立的子任务上，例如自动语音识别[1]、说话人属性识别和情感识别等。现有多说话人研究也更多关注转录质量、说话人归属等指标[2][3]，能够衡量模型是否“听清楚、分清楚”，但难以进一步回答：当一段音频中有多个人持续交互时，模型是否真正理解了“谁在说什么”，以及“说话人之间发生了什么”？

此前，西北工业大学音频语音与语言处理研究组（ASLP@NPU）联合南京大学（NJU）和趣丸科技开源了端到端多说话人语音理解大模型 Speaker Reasoner[4]，探索了从完整音频分析到局部切片解码的渐进式交互流程。该工作进一步引出了一个更基础的问题：当前大型音频语言模型在真实多说话人对话中，究竟能理解到什么程度？

例如，在一段多人对话中，模型可能已经正确转录出全部文本，却仍然无法判断：

某句话对应的是哪位说话人；

某位说话人是否赞同另一位说话人的观点；

说话人之间是否存在问答关系；

某个说话人某个情绪变化是由谁引起的；

某个社会身份应该归属于哪位说话人。

这说明，多说话人理解不仅是语音识别问题，也不仅是说话人识别问题，而是一个融合声学感知、说话人定位、对话结构分析和跨说话人推理的综合问题。MSU-Bench 因此从更细粒度的 speaker-centric视角出发，系统评估大型音频语言模型在真实多说话人场景中的能力边界。

MSU-Bench核心思路

MSU-Bench 面向真实多说话人对话场景，构建了一套从音频标注、QA 构造、质量控制到诊断评估的完整流程。它不仅关注模型能否听清语音内容，更关注模型能否定位目标说话人，理解不同说话人的身份、属性、观点和互动关系，并进一步完成跨说话人的对话推理。

任务设计：从说话人定位到对话推理

MSU-Bench 采用两层级任务体系，从基础的说话人定位与识别逐步过渡到复杂的多说话人对话推理。整体设计围绕 speaker-centric understanding 展开，覆盖 5 个能力维度和 16 个代表性子任务。

• 第一层级：Speaker Grounding and Identification

第一层级关注模型是否能够将语音内容、说话人身份和说话人属性准确绑定起来。换句话说，模型需要知道“谁是谁”“谁说了什么”“某个属性属于谁”。这一层级包括说话人检索、说话人验证、说话人计数、说话人属性识别、情感识别和说话人画像等任务。

虽然这些任务看似基础，但在真实多说话人音频中并不简单。说话人可能快速轮换，语音可能存在重叠，不同说话人的语速、情绪和表达风格也会发生变化。如果模型无法稳定完成这一层级的 speaker grounding，后续更复杂的对话推理也很难可靠完成。

• 第二层级：Multi-Speaker Dialogue Reasoning

第二层级进一步关注多说话人之间的关系、结构和上下文推理。模型不仅要知道“谁说了什么”，还要理解“这些话在对话中意味着什么”。例如，模型可能需要根据多轮对话判断某位说话人的角色，分析谁在回答谁的问题，识别不同说话人之间的观点差异，或者推断某位说话人的情绪变化如何影响其他参与者。

这些任务更接近真实语音交互系统所需的能力，也更能暴露当前大型音频语言模型在复杂多说话人场景中的深层短板。

• 说话人引用方式设计

除了评测不同层级的任务，MSU-Bench 还设计了多种说话人引用方式，即 speaker-referencing schemes，用来评估模型在不同目标说话人指定方式下的鲁棒性。

在真实应用中，我们并不总是以同一种方式指定目标说话人。有时我们会给模型一段目标说话人的音频片段，有时会说“第 10 秒到第 15 秒说话的人”，有时也会引用一句话，让模型根据转录内容找到对应说话人。

因此，MSU-Bench 考虑了五种说话人引用方式：

• No Index：直接给出目标说话人的音频片段，作为声学锚点。
• Time Index：通过时间范围指定目标说话人。
• Transcript Index：通过引用转录文本标识目标说话人。
• Speaker Index：通过说话人出现顺序标识目标说话人。
• Complex Index：组合多种线索，例如时间、文本和说话人相关信息，综合定位说话人身份。

这样的设计可以进一步回答一个关键问题：当模型在多说话人对话理解中失败时，错误究竟来自语音内容理解，还是来自目标说话人定位，抑或是来自更高层的跨说话人推理？

数据来源和质量控制

为了覆盖更真实、更复杂的多说话人语音场景，MSU-Bench 使用了多种中英文多说话人数据来源，涵盖电话对话、会议、播客和影视片段等场景。相比单一语料库，这种设计能够更好地检验模型在不同声学环境、对话风格和说话人组织形式下的泛化能力。

在数据构建上，MSU-Bench 采用了自动化生成与人工复核相结合的流程：

第一步，使用模型对候选音频进行对话质量评估，筛选信息量更高、上下文更完整的对话片段。

第二步，对高质量片段进行多维度标注，包括说话人分离、转录文本、说话人身份、声音事件和副语言信息等。

第三步，基于原始音频、结构化标注和任务提示词，按照不同任务类型和说话人引用方式生成 QA 候选。

第四步，由具备音频背景的人工标注人员进行质量复核，并对无效或歧义样本进行修订或移除。

最终，MSU-Bench 构建了 2,300 条经过验证的多说话人 QA 样本，覆盖 16 个 speaker-centric 子任务，为大型音频语言模型在真实多说话人对话中的理解能力提供了系统化、可诊断的评估基准。

实验评估

基于 MSU-Bench 的任务设计，我们对现有大型音频语言模型（Large Audio-Language Models, LALMs）[1]进行了系统评估，并从整体性能、说话人引用方式和错误类型三个角度分析模型在多说话人理解中的能力边界。

评估设计

MSU-Bench 采用四选一选择题形式进行评估。每个问题只有一个由音频证据支持的正确答案，模型需要输出 A/B/C/D 中的一个选项，并使用 exact-match accuracy 作为主要指标。

与开放式问答相比，选择题形式可以减少答案归一化和 LLM-as-a-judge 带来的噪声，使评测结果更加客观稳定。同时，MSU-Bench 对干扰项进行了诊断型设计：

Wrong-speaker：内容来自对话本身，但被错误归因给了其他说话人。

Hallucination：引入了音频中没有明确支持的内容。

Unknown：模型错误地认为当前问题无法回答。

此外，当模型没有按照要求输出合法的单个选项字母时，MSU-Bench 会将其单独统计为 Instruction-following failure。因此，MSU-Bench 不仅可以判断模型“答得对不对”，还可以进一步分析模型“为什么答错”。

整体结果

论文评测了 9 个代表性的语音语言模型，如表 3所示，包括 

• Qwen2.5-Omni、
• Qwen3-Omni[7]、
• AudioFlamingo-3[8]、
• Kimi-Audio[9]、
• StepAudio2[10]、
• MiMoAudio[11]、
• Gemini 系列闭源模型。

实验结果显示，不同模型之间存在明显性能差距。闭源模型整体表现更强，其中 Gemini-3-Flash 取得最高整体准确率，Avg 达到 0.77，并在 Tier 1 和 Tier 2 上分别达到 0.73 和 0.84。开源模型中，MiMoAudio 表现最好，整体准确率达到 0.56，在 Tier 1 和 Tier 2 上分别达到 0.52 和 0.64。

更重要的是，即使是表现最好的模型，也仍然没有完全解决多说话人理解问题。模型在目标说话人定位、跨说话人归因和复杂对话推理中仍然存在明显短板。

发现一：Time Index 仍是最难的说话人引用方式

当模型需要通过时间范围定位目标说话人时，性能通常明显下降。这说明在多说话人音频中进行 temporal grounding 仍然具有较高难度，尤其是在说话人快速切换、对话轮次密集或存在语音重叠的场景下。

相比之下，Complex Index 在代表性模型上通常能够带来更好的表现。原因在于它同时提供了时间、文本和说话人相关信息等多种互补线索，有助于模型更稳定地定位目标说话人。例如，Gemini-3-Flash 在 Tier 2 的 Complex Index 设置下达到 0.92，明显高于 Time Index 下的 0.76。

这说明，多线索说话人引用方式能够缓解部分定位困难，但也进一步表明：当前模型对时间锚点和说话人身份之间的精确对齐能力仍然不足。

发现二：强模型仍然容易“答错人”

错误类型分析显示，对于能力相对较弱的模型，错误常常表现为选择 Unknown，即模型倾向于认为问题无法回答。以 Qwen3-Omni 为例，其 Unknown 错误率从 Tier 1 的 0.27 上升到 Tier 2 的 0.40，说明当任务从基础说话人定位转向复杂对话推理时，模型更容易退回到“不确定”的答案。

而对于能力更强的模型，错误更多转向 wrong-speaker attribution。换句话说，强模型不是不会回答，而是更容易在复杂互动中“答错人”。例如，MiMoAudio 在 Tier 2 上的 wrong-speaker 错误率达到 0.53，Gemini-3-Flash 进一步达到 0.67。

这类错误尤其值得关注。相比直接回答“不知道”，错误归因在真实应用中可能更具风险：模型看起来给出了明确答案，但答案却被绑定到了错误的人。

发现三：通用音频理解能力不等于稳定的说话人中心理解能力

实验还显示，通用 omni-style 模型并不一定在 speaker-centric understanding 上表现最好。在本评测中，部分 omni-style 模型并未稳定优于更偏音频理解和说话人建模的模型。

这说明，多说话人理解并不是通用音频理解能力的自然延伸。它要求模型具备更强的说话人建模、时间对齐、目标说话人定位和跨轮次上下文聚合能力。未来的大型音频语言模型仍需要在多说话人结构建模、目标说话人引用、跨说话人归因和对话级推理等方面进行更有针对性的优化。

意义与展望

MSU-Bench 面向真实多说话人对话场景，构建了一个 speaker-centric 的多层级诊断评测基准。它覆盖 16 个任务和 2,300 条人工验证 QA 样本，并从说话人定位、对话结构分析和跨说话人推理等角度系统评估大型音频语言模型。

MSU-Bench 的核心价值不只是给模型排序，而是提供一个能够诊断多说话人理解瓶颈的评测框架。它从任务层级、说话人引用方式和错误类型三个维度出发，帮助研究者更系统地分析模型能力：

• 模型是否能够定位目标说话人？
• 模型是否能够将内容归因到正确说话人？
• 模型是否能够理解多说话人之间的关系和互动？
• 模型失败时，是因为幻觉、归因错误，还是因为直接放弃回答？
• 不同说话人引用方式下，模型的鲁棒性是否一致？

这些问题对于会议助手、智能座舱、访谈分析、语音代理和多方对话系统等真实应用都非常关键。未来，如果我们希望语音模型真正进入多人交流场景，它们就必须不仅能“听见声音”，还要能“分清是谁”，并进一步“理解人与人之间发生了什么”。

我们期待 MSU-Bench 能够推动大型音频语言模型从“听懂一句话”，进一步走向“听懂一场多人对话”。

参考文献

[1]Shi X, Wang X, Guo Z, et al. Qwen3-ASR Technical Report[J]. arXiv preprint arXiv:2601.21337, 2026.

[2]Nam K H, Heo J, Bae S, et al. SpeakerLLM: A Speaker-Specialized Audio-LLM for Speaker Understanding and Verification Reasoning[J]. arXiv preprint arXiv:2605.15044, 2026.

[3]Yin H, Chen Y, Deng C, et al. Speakerlm: End-to-end versatile speaker diarization and recognition with multimodal large language models[C]//Proceedings of the AAAI Conference on Artificial Intelligence. 2026, 40(40): 34467-34475.

[4]Lin Z, Wang S, Sun Z, et al. Speaker-Reasoner: Scaling Interaction Turns and Reasoning Patterns for Timestamped Speaker-Attributed ASR[J]. arXiv preprint arXiv:2604.03074, 2026.

[5]Y. Su, J. Bai, Q. Xu, K. Xu, and Y. Dou, “Audio-language models for audio-centric tasks: A survey,” arXiv preprint arXiv:2501.15177, 2025

[6]Xu J, Guo Z, Hu H, et al. Qwen3-omni technical report[J]. arXiv preprint arXiv:2509.17765, 2025.

[7]Ghosh S, Goel A, Kim J, et al. Audio flamingo 3: Advancing audio intelligence with fully open large audio language models[J]. Advances in Neural Information Processing Systems, 2026, 38: 41819-41886.

[8]Ding D, Ju Z, Leng Y, et al. Kimi-audio technical report[J]. arXiv preprint arXiv:2504.18425, 2025.

[9]Wu B, Yan C, Hu C, et al. Step-audio 2 technical report[J]. arXiv preprint arXiv:2507.16632, 2025.

[10]Zhang D, Wang G, Xue J, et al. MiMo-Audio: Audio Language Models are Few-Shot Learners[J]. arXiv preprint arXiv:2512.23808, 2025.