dLLM-ASR:先验引导自适应去噪,语音大模型语音识别加速4.44倍

近年来,基于大语言模型的自动语音识别(LLM-ASR)凭借预训练模型的语言理解能力,在识别精度上取得了显著进展。然而,逐 token 的自回归解码使推理延迟随输出长度增长,成为语音大模型走向低延迟应用的重要瓶颈。离散扩散大语言模型能够并行生成文本,但直接将其用于语音识别,仍会遇到从纯噪声开始去噪、输出长度固定、计算预算分配不灵活等问题。

近期,西工大音频语音与语言处理研究组(ASLP@NPU)联合英炜智慧提出了 dLLM-ASR,相关论文“dLLM-ASR: A Faster Diffusion LLM-based Framework for Speech Recognition”已公开预印本。该研究将扩散解码重构为先验引导的自适应去噪过程,通过ASR 先验初始化、长度自适应剪枝与置信度早停协同减少冗余计算,在保持与自回归 LLM-ASR 相当识别精度的同时,实现相对 Whisper-LLaMA3 基线 4.44 倍的推理加速。

dLLM-ASR:先验引导自适应去噪,语音大模型语音识别加速4.44倍

论文题目:dLLM-ASR: A Faster Diffusion LLM-based Framework for Speech Recognition

合作单位:英炜智慧

作者列表:田文杰、穆秉甡、马国斌、耿雪龙、赵致闲、黄英刚、谢磊

论文网址:https://arxiv.org/abs/2601.17902

背景动机

语音识别需要兼顾准确性与效率。一方面,以 Whisper[1] 等预训练语音模型为基础的系统为声学理解提供了强大支撑,进一步结合大语言模型能够利用语言知识辅助转写,但自回归解码仍需依次生成每个 token。另一方面,非自回归模型能够快速并行输出,却较少引入大规模预训练语言模型,在复杂句式、罕见实体和依赖上下文的表达上仍有提升空间。以 LLaDA[2] 为代表的离散扩散大语言模型提供了新的可能:通过多轮并行去噪完成文本生成,将顺序计算从逐 token 解码转变为若干轮迭代。然而,语音转写受到声学输入的强约束,直接沿用面向开放式文本生成的扩散流程,会忽略可利用的识别先验,并在填充位置和已收敛位置上浪费计算。

针对上述问题,本文提出 dLLM-ASR,将语音识别从“由全掩码序列生成转写”转变为“在识别先验的引导下自适应细化转写”。其核心贡献在于:

  • 先验引导的扩散解码:利用轻量级 ASR 分支提供初始转写和长度参考,为去噪过程提供更充分的上下文。
  • token 级自适应计算:结合长度剪枝与置信度早停,删除冗余填充位置,让已确定的 token 提前退出后续去噪。
  • 精度与效率兼顾:在约 8B 参数的 LLM/dLLM 对比模型中,取得最低平均词错误率和实时率,展现出更好的精度—效率权衡。

实验中,dLLM-ASR 的平均词错误率为 6.34%,平均实时率为 0.063;相较 Whisper-LLaMA3,识别精度保持相当,推理速度提升 4.44 倍。相较直接接入 LLaDA 的扩散基线,推理速度提升约 27.6 倍,表明将并行生成能力转化为实际加速,需要针对语音识别任务重新设计解码流程。

dLLM-ASR:先验引导自适应去噪,语音大模型语音识别加速4.44倍
图1 不同模型的平均词错误率与平均实时率。两项指标均越低越好;数据来自原论文表1。

提出的方案

语音编码器与扩散大语言模型的跨模态对齐

dLLM-ASR 由冻结的语音编码器、轻量适配器和扩散大语言模型解码器组成。模型先将声学信息映射到语言模型的输入空间,再在语音条件下并行恢复被掩码的转写 token。

dLLM-ASR:先验引导自适应去噪,语音大模型语音识别加速4.44倍
图2 dLLM-ASR 模型概览。 左侧展示了模型架构与训练流程(输入包含提示词、语音及真实文本标签;红色为可训练模块,蓝色为冻结模块)。右侧展示了推理阶段的演进过程:子图 1 为基线模型 Whisper-LLaDA,子图 2–4 依次展示了逐步引入基于置信度的去噪、剪枝及 ASR 先验初始化后的改进方法。 
  1. 语音特征提取:采用 Whisper-large-v3 编码器,并在训练过程中保持冻结,以保留预训练声学表征。
  2. 跨模态映射:适配器通过一维卷积和线性层,将声学特征映射至 LLaDA 的嵌入空间,同时将特征帧率从 25 Hz 降至 12.5 Hz,缩短输入序列。
  3. 扩散转写学习:采用 LLaDA-8B-Instruct 作为解码骨干,在训练时随机掩码真实转写中的 token,并以语音特征为条件预测其原始内容;损失仅在被掩码位置计算。

两阶段训练与对话式输入组织

为完成声学特征与语言模型的对齐,研究采用两阶段训练,并使用对话式格式组织输入,使跨模态任务更贴近预训练模型的指令使用方式。

  1. 适配器对齐:冻结语音编码器和扩散解码器,仅训练适配器,建立声学特征与语言表示之间的映射。
  2. LoRA 联合微调:在扩散解码器中引入低秩适配模块 LoRA,联合优化适配器与 LoRA 参数,进一步适应语音识别任务。
  3. 对话式提示组织:使用自然语言提示将语音表征和转写包装为对话格式。消融结果表明,这种输入组织方式有助于提升识别质量。

先验引导的自适应去噪

针对扩散解码中的冗余计算,dLLM-ASR 将初始状态、输出长度和 token 的确定时机纳入统一的自适应流程。

  1. ASR 先验初始化:利用基于冻结声学特征的轻量级 CTC 分支产生初始识别结果,为去噪提供上下文,并锚定生成长度。该分支由下采样卷积和分类头组成,额外计算开销较小。
  2. 置信度早停:以当前位置预测分布中的最大概率衡量置信度。当置信度超过阈值 τ = 0.9时,确定该 token,后续迭代集中更新尚未确定的位置。
  3. 长度自适应剪枝:在首轮去噪中识别并删除高置信度的冗余填充 token,后续继续剪枝,动态收紧序列长度,减少无效计算。
  4. 语音缓存复用与推进保障:缓存语音特征对应的 KV,并在后续去噪中复用;若某轮没有 token 达到阈值,则确定置信度最高的 1 个 token,保障迭代持续推进,直至全部位置确定。

这套机制让计算量随语句和位置的难度变化:容易确定的内容尽早收敛,需要进一步结合声学信息与上下文判断的内容则保留更多迭代机会。

实验

实验设置

1. 数据集构成

  • 训练数据:LibriSpeech、CommonVoice-22.0-English 与 GigaSpeech,共 13,900 小时语音。
  • 域内评估:LibriSpeech test-clean、test-other,以及 CommonVoice-22.0-English 测试集。
  • 域外评估:VoxPopuli 英语测试集,用于检验模型对未见数据分布的泛化能力。

2. 评估指标与对比模型

  • 词错误率(WER)↓:衡量转写准确性,越低越好。
  • 实时率(RTF)↓:计算耗时与输入音频时长之比,越低表示推理越快。
  • 平均前向次数(NFE)↓:衡量每条语音需要执行的模型前向次数;平均结果按测试集取均值。
  • 对比模型:自回归基线 Whisper-LLaMA3、Whisper-Qwen3;扩散基线 Whisper-LLaDA;非自回归参考模型 Whisper-CTC、Drax。实验采用一致的训练数据和设置进行比较。

实验结果

1. 识别精度:在约 8B 模型中取得最低平均 WER在四个测试集上,dLLM-ASR 的平均 WER 为 6.34%,优于 Whisper-LLaMA3 的 6.54%、Whisper-Qwen3 的 7.15% 和 Whisper-LLaDA 的 6.51%。

  • LibriSpeech test-other:WER 为 5.17%,优于 Whisper-LLaMA3 的 5.58%。
  • CommonVoice:WER 为 8.36%,优于 Whisper-LLaMA3 的 8.55%,也低于非自回归参考模型 Drax 的 14.01%。
  • VoxPopuli 域外测试:WER 为 9.56%,为所比较的约 8B 模型中的最低值。
  • LibriSpeech test-clean:WER 为 2.28%,接近 Whisper-LLaMA3 的 2.15%。
dLLM-ASR:先验引导自适应去噪,语音大模型语音识别加速4.44倍
表1 不同模型的 WER(%)↓与 RTF↓。LS 表示 LibriSpeech,CV 表示 CommonVoice;Whisper-CTC 与 Drax 为非自回归参考模型。

2. 推理效率:平均仅需 7.3 次前向计算dLLM-ASR 的平均 RTF 为 0.063,在所比较的约 8B 模型中取得最高推理效率。

  • 相较 Whisper-LLaMA3(RTF 0.280),推理加速 4.44 倍。
  • 相较 Whisper-Qwen3(RTF 0.389),推理加速 6.17 倍。
  • 相较原始扩散基线 Whisper-LLaDA(RTF 1.736),推理加速约 27.6 倍。
  • 平均前向次数从原始扩散基线的 128 次降至 7.3 次;不同语句需要 2~26 次,体现出自适应计算特征。实验转写的平均长度约为 30 个 token。

3. 组件消融:三项机制协同支撑加速与精度研究在 LibriSpeech 两个测试集上进行消融,验证各组件对精度和效率的影响。

  • 去掉 ASR 先验:test-clean 的 RTF 从 0.057 增至 0.069,test-other 从 0.076 增至 0.084,说明先验初始化有助于减少去噪开销。
  • 去掉长度剪枝:两个测试集的 RTF 分别增至 0.071、0.089,WER 变化较小,体现出剪枝对效率的贡献。
  • 去掉对话式提示:两个测试集的 WER 分别从 2.28%、5.17%升至 2.87%、5.76%,表明输入格式对识别质量具有影响。
  • 仅在原始扩散基线上加入置信度去噪:test-clean 的 RTF 降至 0.077,但 WER 升至 2.98%;test-other 也出现精度下降。这说明单独使用早停存在精度损失,需要其他机制协同支持。
dLLM-ASR:先验引导自适应去噪,语音大模型语音识别加速4.44倍
表2 LibriSpeech test-clean 与 test-other 上的消融实验。WER(%)与 RTF 均越低越好。

4. 置信度阈值:在速度与准确性之间取得平衡

置信度阈值决定 token 被确定的时机。阈值从 0.9 降至 0.6 时,更多 token 提前确定,RTF 降低,但 WER 上升;提高阈值则有利于准确性,同时增加迭代开销。研究发现 τ = 0.9 与 τ = 0.95 的 WER 差异很小,因此采用 τ = 0.9 作为默认配置。

dLLM-ASR 展示了扩散大语言模型用于语音识别的一条有效路径:利用声学先验降低生成难度,再通过自适应去噪减少冗余计算。当前实验验证了英语、非流式语音识别场景下的精度与效率,后续研究将进一步探索这一范式在流式语音识别中的应用。

参考文献

[1] Alec Radford, Jong Wook Kim, Tao Xu, et al., “Robust Speech Recognition via Large-Scale Weak Supervision,” ICML, 2023. https://arxiv.org/abs/2212.04356

[2] Shen Nie, Fengqi Zhu, Zebin You, et al., “Large Language Diffusion Models,” NeurIPS, 2025. https://arxiv.org/abs/2502.09992

[3] Edward J. Hu, Yelong Shen, Phillip Wallis, et al., “LoRA: Low-Rank Adaptation of Large Language Models,” arXiv:2106.09685, 2021. https://arxiv.org/abs/2106.09685

版权声明:本文内容转自互联网,本文观点仅代表作者本人。本站仅提供信息存储空间服务,所有权归原作者所有。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至1393616908@qq.com 举报,一经查实,本站将立刻删除。

赞 (0)

相关推荐