Google 将语音识别与语音合成全面搬上端侧：AI Edge Gallery 实现完全离线的语音交互

2026 年 11 月 10 日，Google 今日在其开发者博客宣布，Google AI Edge Gallery 已正式加入端侧自动语音识别与文本转语音能力，且可完全离线运行。这意味着开发者无需将音频上传至服务器，即可在本地完成”听”与”说”的完整闭环，并与已在设备上运行的端侧小模型（如在 Android 上的 Gemini Nano、其他平台上的 Gemma 4）配合，构建实时流式转录与低延迟语音合成体验。

这一发布并非单一演示应用，而是同步提供了两条工程化集成路径：面向 Android 的原生方案，以及面向多平台的开放权重模型方案。

两条集成路径：原生性能与跨平台覆盖

面向 Android 的原生路径基于 ML Kit 的 GenAI Speech Recognition 与 GenAI Text-to-Speech API。这些 API 通过 AICore 集成于系统之中，因此应用无需下载或打包模型，APK 体积不增加，模型可在后台自动更新，并在硬件支持时自动获得 NPU/TPU 加速。

面向跨平台场景的路径则基于 MediaPipe Tasks 与 LiteRT，覆盖 iOS、macOS、Windows、Linux 与 Web，并可直接延伸至与手机配对的智能眼镜。该路径采用 .litertlm 打包格式，将编码器、解码器、分词器、音素词典与声码器整合在单一文件中，开发者可按需下载。目前可用的开放权重模型包括 Parakeet-TDT 0.6B、PocketTTS 100M、Kokoro-82M 与 Phonon 31M，Hugging Face 的 LiteRT 社区还提供了 Whisper、Qwen3-ASR、Moonshine、Qwen3-TTS、Matcha 等更多选择。

性能数据：本地语音已进入云 API 的延迟区间

Google 在发布中给出了一组具体基准：

ASR： 支持 100 多种语言，FLEURS 数据集上的词错误率（WER）为 8.0% 至 9.0%；转录速度达实时的 10 倍，处理 3 秒语音约需 300 毫秒；端到端语音翻译延迟降低 35% 至 44%。
TTS： 语音起始延迟约 100 毫秒，输出 24 kHz 音频，合成速度最高可达实时的 50 倍，一段 27 秒的段落约 500 毫秒即可生成；得益于少步扩散模型，能耗较传统自回归 TTS 模型降低 50% 以上。

上述指标使端侧语音处理的延迟接近良好网络条件下的云端 API 调用，但完全不依赖网络。差别在于，处理成本由设备硬件承担，而非云端服务器。

XR Language Teacher：一次跨语言的完整演示

为展示整条链路，Google 团队在 Gallery 中构建了 XR Language Teacher 示例：用户将摄像头对准路牌、菜单或不认识的物品，直接开口提问”这是什么，我该怎么点一份？”。应用以流式方式转录问题，将语音与摄像头画面一次性送入 Gemini Nano（非 Android 平台为 Gemma 4），再以用户所用语言返回语音解释，并在句中穿插当地语言的地道发音。

实现这种中英混说的关键在于结构化输出模式：模型会对非母语片段单独打标签，TTS 流水线据此在句中途切换音色与口音，而无需并行运行两套语音模型。据 Google 介绍，同一套流水线可直接延伸至与手机配对的智能眼镜，这也是 Android Dev Summit 上关于 Gemini Nano 音频优先体验演讲的主题。

AI Chat 同步获得语音能力

除演示之外，Gallery 自身的 AI Chat 功能也加入了语音交互：流式语音输入、实时高亮当前朗读句子的悬浮 TTS 条，以及完全开放的参考代码。该代码演示了如何在合成前剥离 Markdown 格式、跳过代码块与表格，并按句调度朗读，以避免语音合成与端侧语言模型的 token 生成争抢内存。

开放与可用性

Google 表示，Gallery 的参考代码已在 GitHub 开源，是开发者将流式转录、语种切换与句子同步播放流水线迁移到自有应用中最直接的起点。开发者可通过 ML Kit GenAI Speech Recognition 文档、MediaPipe Tasks 指南以及 LiteRT 开发者指南三条入口开始集成。

需要注意的是，Google 公布的 TTS 支持 21 个语言区域、ASR 支持 100 多种语言，但未逐一列出清单，规划多语言支持的团队应先核对官方文档；此外，10 倍与 50 倍的实时性能均以 NPU/TPU 加速为前提，在缺少加速器的入门级设备上，实际延迟可能明显高于公布数据。

关于 Google AI Edge

Google AI Edge 是 Google 面向端侧 AI 的开发者技术栈，涵盖 MediaPipe、LiteRT 及配套工具链，旨在让生成式 AI 模型在手机、桌面、Web 与可穿戴设备上本地运行。Google AI Edge Gallery 是该技术栈的开源示例应用，提供可交互的演示、透明的性能指标与直达文档的入口。