缓解 TTS 的重复与漏读：用注意力引导消除语音合成中的稳定性幻觉

近年来，基于大语言模型的语音合成技术快速发展。在普通文本上，模型已经能够稳定生成自然度很高、音色也足够相似的语音。然而，一旦遇到复杂生僻词、排比句或连续重复结构，重复、漏读甚至无限循环等稳定性幻觉仍然可能出现。

这背后有一个基础问题：

语音大模型怎么知道自己已经读到哪里，又该在什么时候继续读下一个字？

LLM-based TTS 通常采用 decoder-only 架构，以 next-token prediction 的方式逐个生成语音 token。与传统 encoder-decoder TTS 不同，这类模型先天缺少类似 cross-attention 的显式文本与语音引导。面对普通文本时，模型可以依靠大规模数据学到隐式对齐；面对复杂句子时，它却可能无法准确定位当前已经合成到哪个文本位置，最终在生成过程中”迷路”。

论文《Eliminating Stability Hallucinations in LLM-based TTS Models via Attention Guidance》正是针对为了解决这一问题而提出。作者从 CosyVoice 2 的自注意力机制入手，找到一批负责文本与语音对齐的”对齐注意力头”，并沿着两条思路逐步优化稳定性。

• 第一步，论文提出最优对齐分数（Optimal Alignment Score, OAS），用于评估文本与语音的对齐质量，并对 LLM 加入符合 TTS 任务特性的前向注意力约束。
• 第二步，论文将第一步得到的最优路径作为伪强制对齐标签，构建位置CoT信息，显式告诉网络当前合成到了哪个位置。

实验结果表明，这套方法可以明显降低 CosyVoice 2 在困难文本上的词错误率，同时基本保持语音自然度和说话人相似度。

什么是 TTS 中的稳定性幻觉？

这里所说的”稳定性幻觉”，主要指合成语音与输入文本之间出现严重的不一致，例如模型反复生成同一段内容、漏掉部分文本，或者停留在某个位置不断生成，无法正常结束。这类问题在普通文本中并不突出，却更容易被复杂生僻词、排比句和连续重复结构触发。

问题的根源往往不是模型不会发音，而是模型没有稳定地维持文本 token 与语音 token 之间的对应关系。

传统 encoder-decoder TTS 通常借助 cross-attention 显式学习这种对齐，也可以进一步加入单调注意力或前向注意力约束。LLM-based TTS 多采用 decoder-only 架构，文本 token 和语音 token 被放进同一个序列中，过去针对 cross-attention 的方法无法直接套用。

另一种思路是在推理时强制模型逐步向前对齐，但硬注意力容易影响语音的连续性和自然度。也有工作使用强制对齐标签告诉模型当前应该对应哪个文本 token，但大规模训练数据很难获得足够准确的对齐标注。

因此，这篇论文首先需要回答一个问题：decoder-only TTS 虽然没有显式 cross-attention，模型内部是否仍然形成了可以利用的文本与语音对齐路径？

从自注意力中找到”对齐头”

论文以 CosyVoice 2 为基础模型，分析了 decoder-only 架构中的 multi-head self-attention。CosyVoice 2 采用 Qwen-0.5B 作为初始 LLM，共有 24 层 Transformer，每层包含 14 个注意力头，并使用 WenetSpeech4TTS（1w小时中文语料）训练。

分析发现，不同深度的注意力头承担着不同功能。低层注意力头更偏向建模全局信息，高层注意力头主要关注输出 token 附近的局部区域，而在中间层，部分注意力头呈现出一条从文本到语音的连续前向路径。

这些注意力头虽然位于 self-attention 中，表现却很像传统 TTS 中负责对齐的 cross-attention。作者将其称为对齐注意力头。‍

OAS：如何衡量对齐路径是否稳定？

找到疑似对齐头之后，还需要一个指标判断它们的对齐质量。

一个合理的 TTS 对齐路径通常具有连续和单调两个特点。随着语音 token 不断生成，注意力应该沿文本顺序稳定向前移动，而不是频繁跳跃、回退，或者长时间停留在同一个位置。

基于这一特点，论文提出 Optimal Alignment Score，简称 OAS。

OAS 首先从完整的自注意力矩阵中取出”输出语音 token 指向输入文本 token”的区域，再通过 Viterbi 算法寻找一条全局最优的单调路径。最后，计算这条路径上的注意力概率占整个对齐区域注意力概率的比例。

简单来说，如果注意力集中在一条清晰、连续的前向路径上，OAS 就高；如果注意力分散，或者对齐轨迹不稳定，OAS 就低。

进一步统计显示，第 8 层和第 9 层的 OAS 明显高于其他层，说明 CosyVoice 2 的对齐头主要集中在这两个位置。

为了验证 OAS 是否真的能反映稳定性，论文使用 CosyVoice 2 合成了 Seed-TTS-Eval hardcase 子集中的 400 条困难文本，并比较每条样本的 OAS 与 WER。结果显示，两者的相关系数为 -0.638。

也就是说，OAS 越高，合成语音的词错误率通常越低。这一结果说明，高 OAS 注意力头与文本和语音的稳定对齐确实密切相关。

优化一：用 OAS 强化前向注意力

OAS 的第一个作用是评估对齐质量，第二个作用是为模型训练提供直接监督。由于它的计算过程保留了梯度，OAS 可以被写入训练目标，对 LLM 强制加入符合 TTS 任务特性的前向注意力约束。

具体来说，论文将 CosyVoice 2 第 8 层和第 9 层的一半注意力头指定为对齐注意力头，并通过 attention mask 限制这些注意力头只关注文本与语音之间的对齐区域。随后，模型使用 OAS loss 提高最优单调路径上的注意力概率，要求注意力随着语音生成沿文本连续向前移动。

实验结果表明，手动指定对齐注意力头不会导致 CosyVoice 的性能下降。进一步地，在 CosyVoice2 中引入 OAS loss 后，该损失能够为语音合成过程提供有效的先验约束，增强文本 Token 与语音 Token 之间的对齐能力，从而减少幻觉现象的发生。

这说明，模型内部原本就存在可用的对齐能力。优化一先用 OAS 找到并衡量这条路径，再通过训练约束把原本松散的隐式对齐强化为稳定的前向注意力。

优化二：用伪对齐路径构建位置CoT

仅仅让注意力路径更加连续，仍然没有直接向生成网络说明当前的文本位置。为了进一步降低稳定性幻觉，论文将优化一中获得的路径转化为伪强制对齐标签，用于构建位置CoT信息。

预训练 CosyVoice 2 在普通文本上已经能够生成较稳定的语音。论文从教师 CosyVoice 2 中选取 OAS 最高的注意力头，提取其最优对齐路径，并把这条路径作为伪强制对齐标签，用来指导学生 CosyVoice 2 训练。这样一来，网络不再只依靠语音 token 的自回归历史猜测位置，而是能获得显式的位置提示。

整个训练过程采用位置CoT式的辅助预测。学生模型在预测语音 token 时，还需要学习对应的文本 token 和当前的合成进度。前者告诉模型”正在合成哪段文本”，后者告诉模型”整句话已经合成到什么位置”。

不过，教师模型给出的伪对齐路径只能提供近似位置，文本 token 的边界不一定完全准确。如果在每个时间步都要求学生预测对应文本，边界误差会持续干扰训练。

为此，论文没有采用完整重复的文本监督，而是使用稀疏文本 Token。即每个文本 token 只在对应区间内随机保留一次，其他位置使用掩码标签，并尽量避开容易产生歧义的边界。

这种稀疏监督明显降低了伪标签误差的影响。完整文本监督在验证集上的预测准确率为 89.59%，改为稀疏文本 Token后提升到 96.25%。

仅仅知道”当前在读哪个文本 token”仍然不够。困难文本中可能反复出现相同的字词或相似句式，即使局部内容一致，它们在整段文本中的位置也可能完全不同。

因此，论文又增加了进度条预测任务。这个数值从 0 逐渐增长到 1，表示当前语音已经覆盖了整段文本的多少内容。模型一边预测”现在读什么”，一边预测”整段读到哪了”，从而减少在重复结构中定位错误的概率。

训练时，进度条同时使用 L1 损失和一阶差分损失约束。前者保证进度预测准确，后者惩罚进度倒退，使位置预测保持单调向前。‍

实验结果：困难文本 WER 最多相对下降约 35%

论文在 Seed-TTS-Eval 和 CV3-Eval 上评估了不同方法，并分别测试困难文本与普通文本。客观指标包括内容准确性 WER、说话人相似度 SIM 和自然度 UTMOS。

在基于注意力的思维链实验的不同设计中，稀疏文本 Token优于完整文本监督；加入进度条后，困难文本上的稳定性进一步提升。

在 Seed-TTS-Eval 困难文本上，原始 CosyVoice 2 的 WER 为 13.568%，使用”稀疏文本 Token + 进度条”后降至 9.984%，相对下降约 26.4%。

在 CV3-Eval 困难文本上，WER 从 10.239% 降至 6.660%，相对下降约 35.0%。

除了内容准确性，改进后的模型在 SIM 和 UTMOS 上整体保持稳定。普通文本场景下，CosyVoice 2、OAS 模型和 attention-guided 模型的主观 MOS 也处于相近水平。

在 Seed-TTS-Eval 上，原始 CosyVoice 2 的 MOS 为 4.17，OAS 模型为 4.25，attention-guided 模型为 4.23；在 CV3-Eval 上，三者分别为 4.06、4.10 和 4.14。

这说明，注意力引导主要改善了重复、漏读等稳定性问题，并没有明显牺牲普通文本的语音自然度。

‍结语

这项工作给出了一套从分析到训练的完整方案。

论文首先指出了稳定性幻觉的根因：decoder-only TTS 缺少类似 cross-attention 的显式文本与语音引导，因此在复杂句子中容易丢失当前位置。针对这一问题，论文提出两步优化。第一步用 OAS 评估对齐质量，并对 LLM 加入符合 TTS 任务特性的前向注意力约束；第二步将获得的最优路径作为伪强制对齐标签，通过稀疏文本 Token和进度条构建位置CoT，显式告诉模型”正在合成哪段文本”以及”整句话合成到哪”。

整套方法不需要额外的人工强制对齐标签，也不需要在推理阶段加入硬单调注意力。实验结果表明，利用模型内部的注意力对齐信息，可以有效减少 LLM-based TTS 在困难文本上的重复和漏读，同时保持自然度与说话人相似度。

对于 LLM-based TTS 来说，注意力不只是模型内部的一组权重。它还记录了生成过程如何沿着文本向前推进。把这种隐藏的对齐关系找出来，再转化为训练监督，可能是改善长文本与困难文本稳定性的一条有效路径。

相关文献参考：

[1] Zhihao Du et al. 2024. CosyVoice 2: Scalable Streaming Speech Synthesis with Large Language Models. arXiv:2412.10117.

[2] Bing Han et al. 2024. VALL-E R: Robust and Efficient Zero-Shot Text-to-Speech Synthesis via Monotonic Alignment. arXiv:2406.07855.

[3] Heng Wang et al. 2024. Attention-Constrained Inference for Robust Decoder-Only Text-to-Speech. IEEE SLT 2024.

[4] Ziyue Jiang et al. 2025. MegaTTS 3: Sparse Alignment Enhanced Latent Diffusion Transformer for Zero-Shot Speech Synthesis. arXiv:2502.18924.

[5] Jaehyeon Kim et al. 2020. Glow-TTS: A Generative Flow for Text-to-Speech via Monotonic Alignment Search. NeurIPS 2020.