技术漫谈｜ASR中的瑞士军刀：方言识别

“你食咗饭未呀？”

如果把这句粤语交给语音识别系统，它应该写成“你食咗饭未呀”，还是“你吃过饭了吗”？

乍看之下，方言识别似乎只是准不准的问题。但两个答案可能都对，也可能都不够对：前者保留了说话人的语言习惯和地域色彩，却未必方便所有人阅读；后者更容易理解，却已经不只是转写，而是在进行方言到普通话的语义转换。

这正是方言语音识别最有意思、也最棘手的地方：AI 不仅要听清一个人说了什么，还要决定应该怎样把它写下来。

口音、方言和另一种语言，并不是一回事

日常生活中，人们常把“不标准的普通话”统称为方言。但对语音识别系统来说，这几类现象并不相同。

有人只是带着地方口音说普通话，词汇和语法仍然是普通话；有人会在普通话里夹杂几个家乡词；还有人从发音、词汇到句法都使用本地方言。同一个人在会议、家庭和菜市场里，也可能不断切换这些状态。

因此，方言识别并不是给普通话模型增加几种发音那么简单。模型首先要判断眼前的变化来自口音、方言词汇、语法差异，还是一次临时的语言切换。现实中的边界往往又是模糊的：一句话的前半句是普通话，后半句可能自然滑入家乡话。

这也是为什么，一个在普通话测试集上表现很好的模型，遇到真实方言对话时仍可能突然失灵。它面对的不只是“同一个字被读得不一样”，而是一套部分重叠、不断切换的语言系统。

一句话难倒 AI，难的可能不是“听”

方言识别的困难通常可以分成三个层次。

第一层是声音。不同方言可能有普通话里不存在的声母、韵母和声调，同一个字的读音也可能相去甚远。模型如果主要从普通话数据中学习，很容易把陌生的方言音节强行套进熟悉的普通话发音。

第二层是词汇和语法。方言里有大量本地词、语气词和固定表达，有些找不到完全对应的普通话词语；有些字虽然相同，用法却不同。模型即使听清了每个音，也未必理解整句话。

第三层是书写。很多方言长期以口语形式存在，没有统一、普及的书写习惯。同一句方言，有人按本字写，有人借同音字写，也有人直接写成意思相近的普通话。于是，当模型输出与人工标注不同时，往往很难立即判断究竟是谁错了。

这也给评价带来了一个额外问题。普通话识别常用“字错了多少”来衡量效果；到了方言场景，这个指标可能把“忠实记录原话”和“正确表达意思”混在一起。若评价标准本身没有先回答产品要什么，模型分数再精确，也未必代表真实体验更好。

‍普通话语音大模型，能自然学会方言吗？

大模型确实带来了新的可能。

传统混合式语音识别系统通常分别优化声学模型和语言模型；端到端语音大模型则尝试在统一框架中利用更长的上下文、跨语言知识和文本知识，结合前后语义理解生僻的方言表达。多语言训练也可能让模型从相近语言和方言之间迁移能力；少量标注数据、方言词表或提示信息，都有机会发挥更大的作用。

但“能猜出来”不等于“真正听懂”。如果模型主要依赖上下文补全，它可能在声音模糊时生成一句很合理、却不是说话人原意的话。方言数据越稀缺，这种现象越难被发现：模型输出足够通顺，错误反而更隐蔽。

方言内部也很难用一个统一的“标准版本”概括。相邻地区的发音和词汇可能不同，年龄、职业和迁徙经历又会进一步改变一个人的语言习惯。把若干城市的数据装进一个笼统的“某某方言”标签，可能得到不错的平均成绩，却漏掉真正需要被服务的人群。

所以，大模型可以降低学习方言的门槛，却无法替代真实、细致的数据建设。除了收集更多语音，还要记录地域、场景、说话人背景和语言切换方式，并建立符合实际用途的标注与评价体系。

而当模型具备更强的理解和生成能力之后，一个更基础的问题也变得更加重要：它最终应该忠实写下原话，还是把方言转换成普通话？

写下原话，还是翻译成普通话？

答案取决于用户真正想完成什么，而不同用途也对应着两种不同的“正确答案”。

在语言研究、司法取证、口述史以及需要保留方言特色的影视字幕制作中，原话本身就是信息。说话人用了哪个方言词、怎样组织句子、在哪儿停顿，都可能具有意义。这时，系统应尽量忠实转写，不能为了“看起来通顺”擅自改成普通话。

在会议纪要、客服记录和跨地区沟通等场景中，读者更关心信息能否被快速理解。把方言转换成普通话往往更实用，但这种结果已经不只是语音识别，而包含了方言到普通话的语义转换。系统需要保留原意，避免把不确定的表达润色成另一个意思。

这两种需求可以分别由两套测试集衡量。

ASR 测试集以忠于原文为目标：方言词需要尽量保留，普通话与方言混说也应如实记录；它回答的是“模型究竟听到了什么”。
AST（Automatic Speech Translation，语音翻译）测试集则面向方言到普通话的语义转换，要求将方言语音转换为普通话表达，在不改变原意的前提下让不同地域的读者都能看懂；它回答的是“模型是否理解了这句话，并能用普通话准确表达”。

两套测试集并不是谁取代谁。ASR 评价忠实度，AST 评价跨方言的语义转换能力。如果把两者混进同一个参考答案，忠实保留方言和正确转换成普通话都可能被判错，也就无法判断问题究竟出在听清、理解还是表达。

在产品层面，这项能力可以设计成模式选择：关闭方言转普通话时，输出原始方言转写；打开后，输出对应的普通话结果。一个看似简单的开关，背后实际对应两套任务定义、两套数据标准和两套评价体系。更合理的形态不是替用户做一次永久的二选一，而是同时保留原话和普通话表达。需要核对原始语音时查看忠实转写，需要跨地域阅读时查看普通话结果，选择权交给具体场景和用户。

这也意味着，模型需要明确表达不确定性。遇到罕见方言词时，暂时保留原音或给出候选解释，有时比自信地生成一句通顺但错误的普通话更可靠。

从模式选择到文本处理：不止一个开关

即使已经在“忠实转写”和“方言转普通话”之间做出选择，最终文本仍然不是模型解码结束就自然完成了。真正可用的结果，还要处理文本正则化、热词增强和口语顺滑三个问题。

文本正则化决定“同一个意思应该怎样写”。数字、日期、金额、单位、英文缩写以及方言特有表达，都可能存在多种书写方式。例如，一串数字应该逐字保留还是写成标准号码，一句方言里的数量表达应该保留原貌还是转成规范数字，都需要结合任务模式处理。ASR 模式更强调可追溯，AST 模式则可以更积极地做普通话正则化，但二者都不能越过语义忠实的边界。

热词增强决定系统能否准确保留关键信息。人名、地名、企业名和行业术语本来就是语音识别的难点，经过方言发音后，模型更容易用高频常见词替代它们。热词不应只在最终文本上做字符串替换，而应尽可能参与识别和解码；进入 AST 模式后，还要区分哪些词应该原样保留，哪些方言表达需要转换。否则，系统可能把普通词改顺了，却把真正重要的专有名词改错。

口语顺滑决定文本是“听写稿”还是“可读稿”。真实语音中充满重复、停顿、自我修正和语气词。忠实 ASR 可以保留更多口语痕迹，方便回听和核对；面向会议、字幕或客服记录的 AST 结果，则可以适度去除冗余、调整语序，让普通话表达更自然。

但顺滑并不是自由改写：模型可以删除无意义重复，不能补充说话人没有表达的信息；可以整理语序，不能改变态度、否定关系和事实。

因此，这三个环节也应该受到一组能力开关的约束，而不是在识别之后无差别地“润色”。这组开关选择的不是显示样式，而是从语音解码到最终文本的处理策略。

从“一个识别结果”走向可控的分层建模

如果把前面的任务选择和文本处理放到同一套系统中，方言语音识别可能不应只有一条最终文本，而应显式区分三个层次：模型在声音层面听到了什么，结合上下文理解出了什么，以及面向当前场景应该怎样呈现。

第一层是忠实转写，尽量保留方言词汇、语气和语言切换；
第二层是语义转换，将方言表达映射为便于跨地域理解的普通话；
第三层是文本正则化与口语顺滑，最终生成适合会议纪要、字幕或客服记录的文本。

热词增强则贯穿这些层次，负责提高人名、地名和领域术语的识别概率。分层之后，系统既可以保留原始信息，也可以提供可读文本，还能避免把模型的推断伪装成说话人的原话。

相应地，评价方法也需要分层。ASR 测试集可以重点考察字词准确率、方言词召回、语言切换识别和热词命中；AST 测试集则需要关注语义保持、普通话表达质量以及转换前后是否出现信息增删。对于文本正则化和口语顺滑，还应专门评估数字、实体、否定关系和关键事实是否保持一致。对于罕见表达，则要观察模型能否在不确定时减少无依据的补全。

训练数据也不能只标一个笼统的方言名称。更有价值的数据应包含细粒度地域、说话场景、语言混用方式以及原话与普通话释义之间的对应关系。否则，模型可能在少数常见地区上取得漂亮的平均分，却无法服务口音更重、数据更少的人群。

因此，方言识别的下一步，不只是继续扩大一个模型支持的“方言数量”，而是把声学识别、方言理解、语义转换和文本处理拆成可观察、可控制、可分别评价的能力。