NVIDIA 发布 Audex (Nemotron-Labs-Audex-30B-A3B)：一种统一的音频-文本大语言模型

NVIDIA 发布了Audex（Nemotron-Labs-Audex-30B-A3B），这是一个统一的音频-文本大型语言模型。它能够理解和生成音频和语音，并保留了其核心的文本智能。该模型及其简化版 Audex-2B 均以非商业许可发布。

大多数多模态模型都会受到文本性能下降的影响。当实验室添加音频或视觉输出时，文本基准测试结果通常会下降。NVIDIA 研究团队报告称，即使是仅输出语音的模型也会出现这种情况。Audex 的设计初衷就是为了避免这种性能退化。

摘要

• Audex 是一款 30B-A3B MoE 型号的单通道设备，用于处理音频输入和输出。
• 音频输入进入文本嵌入空间；音频输出被视为文本标记。
• 文本得分与主干线相符，每个基准测试都有小幅增减。
• 多阶段 SFT 加上纯文本级联强化学习避免了通常的多模态文本回归。
• 能够生成语音以外通用音频的开源模型寥寥无几。

Audex是什么？

Audex 是一个单一的混合专家（MoE）Transformer 解码器。它总共有 30 亿个参数，每个 token 激活 3 亿个参数。其骨干网是 Nemotron-Cascade-2-30B-A3B，一个纯文本 MoE LLM。该骨干网是一个 52 层的混合 Mamba-Transformer 架构。它使用了 128 个可路由的专家和 6 个已激活的专家。

该设计刻意追求简洁。音频输入经过编码后投影到文本嵌入空间。在生成过程中，文本标记和量化后的音频标记被统一处理。不存在思考者-说话者分离，也没有层层叠加的模型。

由于设计简洁，Audex 运行在标准的 LLM 协议栈上。这些协议栈包括用于训练的 Megatron-LM 和用于推理的 vLLM。它支持指令模式和思考模式。上下文长度可达 100 万个词元。

统一设计的工作原理

LLM主干系统由三个组件构成：

• 音频编码器读取声音。Audex 使用 Audio Flamingo 3 中的 AF-Whisper。它采用 Whisper Large-v3 架构，并支持 16kHz 输入。
• 双层 MLP 适配器将音频特征映射到模型维度。
• 扩展词汇表包含离散的音频输出标记。最初的 131,072 个标记增加到 205,312 个。

Audex 使用两种编解码器进行输出。语音部分使用 X-Codec2，采样率为每秒 50 个标记。它采用单层有限标量量化 (FSQ)，码本大小为 65,536。

非语音声音使用 X-Codec，采样率为每秒 200 个标记。它采用四个扁平残差矢量量化 (RVQ) 层。复杂声音的标记预算比语音更大。下面的交互式演示会计算任意时长的标记计数。

训练

Audex 不需要音频预训练。它从纯文本的 SFT 检查点开始。训练过程会逐步添加各种功能。

多阶段SFT课程按顺序进行：文本SFT、音频预热、音频生成和音频理解。在音频预热阶段，文本标记嵌入保持冻结状态。解冻这些嵌入会降低消融实验中的文本质量。

NVIDIA 研究团队还测试了一种单阶段训练方案，该方案一次性混合所有数据。该方案导致 NIAH 数据集上的长上下文检索出现问题。多阶段训练避免了这个问题，因此成为默认方案。

在SFT之后，研究团队应用了仅文本的级联强化学习和多领域策略蒸馏（MOPD）。音频任务在应用这种仅文本的强化学习后，性能几乎没有下降，文本任务的得分也同时得到了提升。

数据量非常庞大，包含 1574 亿个音频标记和 3205 亿个文本标记。任务涵盖自动语音识别 (ASR)、抽象语法树 (AST)、文本转语音 (TTS)、文本转音频和音频理解。

基准测试和性能

在文本阅读方面，Audex 与其主干系统表现非常接近。在 MMLU-Redux 测试中，Audex 得分 86.4，与主干系统的 86.3 持平。在 IMO AnswerBench 测试中，Audex 甚至以 81.1 比 79.3 领先。在 MMLU-Pro 和 GPQA-Diamond 测试中，Audex 的得分略有下降。

Audex 在多项推理、对齐和指令遵循基准测试中均优于纯文本的 Qwen3.5-35B-A3B。相比之下，规模相近的 Qwen3-Omni-30B-A3B-Thinking 在推理能力方面与其自身框架相比则出现了大幅下滑。

在语音识别领域，Audex 在这些开源模型中处于领先地位。它在 OpenASR 排行榜上的平均词错误率为 6.82%，优于 Step-Audio-R1.1-33B 和 Qwen3-Omni-30B-A3B-Thinking。

在音频理解方面，情况比较复杂。Audex 在 MMAU 测试中领先于其他开源模型。但在 MMAR 和 MMSU 测试中，它与最优秀的音频 LLM 模型相比存在差距。Audex 还能生成其他领先的开源模型无法生成的通用音频。

Audex 在 MMAU、音频蕴含性和 OpenASR 词错误率方面领先。但在 MMAR、MMSU 和 BigBenchAudio 方面则落后于这些开放基准测试。

用例及示例

• 设想一个多语种呼叫中心。Audex 可以转录德语通话并将其翻译成英语。其语音翻译输出会列出源语言、转录文本以及英语翻译。
• 考虑使用辅助功能工具。开发者可以为阅读应用添加固定语音文本转语音功能。Seed-TTS-Eval 的英语单词错误率很低，仅为 1.70。
• 考虑声音设计或原型制作。例如，输入“森林里鸟儿鸣叫”这样的描述，即可生成一段 10 秒的音频片段。一般音频生成使用增强型 VAE，输出采样率为 48kHz。
• 以语音助手为例。语音转换以级联方式进行，但每个步骤都由一个检查点完成。Audex 在 BigBenchAudio 测试中获得 90.0 分。

快速入门示例

Audex 遵循 ChatML 模板。参考容器为 vLLM 0.20.0。音频输入解码需要音频附加组件。

音频理解、自动语音识别和翻译都使用同一种音频问答格式。<sound>占位符标记音频播放的位置。

[
  {
    "id": "sample_0",
    "sound": "/path/to/audio_0.wav",
    "conversations": [
      {"from": "human", "value": "<sound>\nDescribe the audio in detail."},
      {"from": "gpt", "value": "N/A"}
    ]
  }
]

该型号声卡附带一个用于此输入格式的 vLLM 音频质量保证脚本。

# add audio codecs, then run audio QA offline
python3 -m pip install "vllm"

python inference_scripts_vllm/audioqa_scripts/run_audioqa_vllm.py \
  --model-path "$(pwd)/checkpoint_folder_full" \
  --input-json ./inputs.json \
  --output-jsonl ./results.jsonl \
  --tensor-parallel-size 8

优缺点

优点

• 与纯文本骨架相比，文本退化程度极低或没有退化。
• 单一统一模型，兼容 Megatron-LM 和 vLLM。
• 在最强大的开源模型中，只有 Audex 可以生成通用音频。
• 在多项推理和对齐任务中领先于 Qwen3.5-35B-A3B。

缺点

• NVIDIA OneWay 非商业许可限制了商业用途。
• 音频理解能力在 MMAR 和 MMSU 方面与顶尖音频语言学习者存在差距。
• 语音到语音的转换是级联式的，而不是原生的全双工式。
• 强化学习目前仅支持文本；音频-文本强化学习是未来的研究方向。

参考资料：
https://arxiv.org/pdf/2607.05196
https://huggingface.co/nvidia/Nemotron-Labs-Audex-30B-A3B