阿里推出 FunAudio-ASR：解决语音大模型企业落地的“最后一公里”

语音大模型识别不准？“幻觉”“串语种”频发？定制词总被忽略？

当前语音大模型的主流架构，是在大语言模型（LLM）前接入声学编码器，将音频特征映射到文本空间，再由LLM生成转写结果。这一方案虽显著提升了识别准确率，但在实际产品落地中，仍面临幻觉、串语种、重复解码、定制化效果不稳定等问题。这些问题虽不常出现，一旦发生，便直接影响用户体验和产品可靠性。

今天，阿里正式推出 FunAudio-ASR —— 一款专为解决企业落地难题而生的端到端语音识别大模型。它不仅拥有高精度的通用识别能力，还通过创新的 Context 增强模块，针对性优化了“幻觉”、“串语种”等工业场景中的关键问题。

Context 增强模块：优化“幻觉”和“串语种”等问题

在语音大模型落地过程中，我们发现“幻觉”与“串语种”是两类高频出现的典型问题。其根源在于 LLM 缺乏准确、稳定的上下文引导。

为此，我们创新性地设计了 Context 增强模块 —— 一个轻量、高效的前端结构，通过 CTC 解码器快速生成第一遍转写文本，并将该结果作为上下文信息输入 LLM，辅助其更准确地理解音频内容。

由于 CTC 是轻量化、非自回归结构，该模块几乎不增加额外推理耗时，却带来了双重优化效果：

01 优化“幻觉”问题

相比于文本 LLM，语音大模型的“幻觉”问题尤为突出。这是因为声学特征与文本特征在向量空间上天然存在差异，导致模型在“听”完音频后，容易“脑补”出大量不存在的内容。

尽管通过训练将声学特征对齐到文本特征空间，由于声学特征 Embedding 与真实的文本 Embedding 仍然存在这一定的差距，这会导致LLM在生成文本时发生幻觉的现象。

阿里推出 FunAudio-ASR：解决语音大模型企业落地的“最后一公里” — 声学特征Embedding与真实的文本Embedding分布差异
图片来源：https://arxiv.org/pdf/2410.18908

我们通过探索发现，给语音大模提供必要的上下文，可以减少文本生产时候的幻觉现象。

为此，我们设计了 Context 增强模块：该模块通过 CTC 解码器快速生成第一遍解码文本，并将该结果作为上下文信息输入 LLM，辅助其理解音频内容。由于 CTC 结构轻量且为非自回归模型，几乎不增加额外推理耗时。

此外，我们观察到幻觉问题在高噪声场景中更易发生，因此在训练数据中加入了大量仿真数据。我们构建了一个包含 28 条易触发幻觉音频的测试集，经优化后，幻觉率从78.5% 下降至 10.7%。

02 缓解“串语种”问题

“串语种”是语音大模型落地中的另一类典型问题。具体表现为：输入音频内容为英文，模型输出却为中文文本。这是因为文本 LLM 本身具备翻译能力，在声学特征映射不够精确时，模型可能在推理过程中“自动启动”翻译功能，从而影响语音识别的准确性。

在 FunAudio-ASR 的 Context 增强模块中，CTC 解码器经过高质量数据训练，本身发生串语种的概率极低。通过将 CTC 的第一遍解码结果作为 Prompt 输入给 LLM，可有效引导模型聚焦于语音识别任务，缓解“翻译”行为的发生。

模型性能对比

将 FunAudio-ASR 与行业典型模型及开源 SOTA 模型进行对比测试，重点关注语音识别在远场、嘈杂背景等挑战性场景下的表现。为此，阿里构建了五大类测试集。

FunAudio-ASR-nano 为轻量化版本，在保持较高识别准确率的同时，具备更低的推理成本，适合对资源敏感的部署环境。

行业定制能力提升

在 ASR 的工业落地中，个性化定制是必不可少的技术。所谓定制化，是指在识别过程中对特定词/短语（如人名、地名、品牌、专业术语等）施加额外概率偏好，从而显著提高它们的识别召回率，同时尽量不损伤通用识别准确率。

当前行业主流做法，是将用户提供的领域词直接作为 Prompt 输入 LLM。该方法虽简单有效，但随着词量增加，干扰也随之上升，导致召回率下降——即“定制化能力衰减”。

为缓解这一问题，我们在 Context 增强结构中引入 RAG（检索增强生成）机制：

构建知识库：将用户配置的定制词构建成专属 RAG 库；
动态检索：依据 CTC 第一遍解码结果，从RAG库中抽取相关词汇；
精准注入：仅将相关词汇注入 LLM 的 Prompt 中，避免无关信息干扰。

该方案在不增加推理复杂度的前提下，将定制化上文数量扩充到上千个以上，并且保持较高的定制化识别效果。

领域词定制化能力对比表 ⬇️

（【错误率】表示整条音频识别错误率，越低表示识别效果越好。【关键词准确率】识别结果中，领域词识别的准确率，越高表示领域词识别越好。）

效果验证：我们在微积分学、有机化学、物理学、哲学、人名等5个领域，选取了1000个专业词汇进行测试。FunAudio-ASR 在关键词准确率上表现优异，满足工业级定制化需求。

目前，FunAudio-ASR 已在钉钉的“AI听记”、视频会议、DingTalk A1硬件等多个场景中应用，验证了其在真实企业环境中的稳定性和高精度识别能力，特别是在垂直行业专业术语、高噪声环境等复杂场景下的表现。

魔搭社区体验：https://modelscope.cn/studios/iic/FunAudio-ASR

阿里云百炼平台：

https://help.aliyun.com/zh/model-studio/recording-file-recognition?spm=a2c4g.11186623.help-menu-2400256.d_0_3_1.f43e7432ytYkAa&scm=20140722.H_2880903._.OR_help-T_cn~zh-V_1

技术报告：https://github.com/FunAudioLLM/FunAudioLLM.github.io/blob/master/pdf/FunAudio-ASR.pdf