RTC+AI实时翻译：打破语言障碍的音视频通话方案

一场跨国会议，开场通常是这样的：上海的产品负责人用中文讲需求，东京的工程师用日语追问，伦敦的客户代表用英语收尾。放在过去，这种会至少要配两名翻译、一套会前准备的术语表，还要预留出无数次“他刚才那句话到底是什么意思”的确认时间。

每一次卡顿都在花钱，花的是会议时长、翻译人力、决策节奏，最贵的是理解偏差。AI 实时翻译这几年已经进了会议室，但多数人对它的认识还停在“翻译变强了”。这篇文章想聊一个更工程化的问题：实时翻译到底怎么嵌进音视频通话（RTC）？为什么有的方案顺滑，有的方案总差半拍？

先给结论：实时翻译不是给通话加一个功能，而是把识别、翻译、合成三段 AI 能力，压进一条以毫秒计的音视频链路。真正决定体验的，不是某个模型的准确率，而是整条链路的延迟预算和协同方式。

01 语言障碍，是跨国沟通的隐形税

需求侧不用多论证：跨国商务会议、国际在线课堂、跨境电商客服、海外社交，凡是“人在两端、实时对话”的场景，语言障碍都在。真正麻烦的是传统解法，各有各的代价：

人工同传质量最好，但贵、难约，只舍得用在少数重要会议上；
会后翻译不打断现场，但信息滞后，讨论时的话境早丢了；
文字聊天翻译只覆盖打字，语音对话这个最自然的沟通方式被挡在门外。

需求在涨，供给还是老一套，市场已经用数字投了票。Statista 预测，全球实时语音翻译软件市场规模将从 2020 年的约 30 亿美元涨到 2025 年的约 70 亿美元，年复合增长率约 20%；国内行业报告显示，2025 年中国市场规模约 47.8 亿元，比 2024 年的 38.7 亿元增长约 23.6%（口径见文末验真）。

数字背后是角色的变化：翻译不再是一个独立工具，它正在长进通话本身。

02 两种形态：字幕翻译和语音翻译

动手聊技术之前，先把两种形态分清。同样是“实时翻译”，市面上的体验其实完全不同。

形态一：字幕翻译（ASR + MT）。说话人的语音先被转成文字，再翻译成目标语言，以字幕呈现。链路短、成本低、可回看、不打扰原声，适合多人会议——所有人都能看到自己语言的字幕。

形态二：语音翻译（ASR + MT + TTS）。在字幕链路后面再加一步语音合成，把译文“说”出来。它更接近同声传译的沉浸体验，适合一对一沟通、语音房、在线课堂，代价是链路更长、延迟更高、算力成本更大。

两种形态不是替代关系，是按场景取舍，看三个维度：延迟敏感度（对话节奏越快，对延迟越苛刻）、可回看性（要不要留存）、沉浸度（要不要替代原声）。

这个判断已经被产业验证了。微软 Teams Premium 的 AI 实时翻译支持 40 种语言的语音转文字与翻译；腾讯会议把多语言翻译覆盖会议字幕、实时转写和录制页。

03 翻译是怎么嵌进 RTC 全链路的

“无缝集成”四个字，是全文最容易被低估的地方。不少人以为实时翻译就是“把音频丢给翻译 API，再把结果贴回来”，真实链路要复杂得多。

一次带实时翻译的音视频通话，音频要依次经过六个环节：采集 → 音频前处理（降噪、回声消除、AGC）→ 流式 ASR → MT 翻译 → TTS 合成或字幕渲染 → 呈现给对端。前两步是 RTC 的看家本领，中间三步是 AI 的活，最后一步又回到 RTC 的媒体通道。

AI 三段能力放在哪里，直接决定延迟、成本和部署复杂度。业内主要有三种做法：

端侧 SDK 内嵌：识别、翻译在客户端本地或就近节点完成，延迟最低、隐私最好，但对终端算力和机型适配要求高，模型更新不灵活；
服务端媒体流旁路：RTC 服务端把音频流旁路给 AI 引擎，翻译结果随原媒体流一起下发。部署灵活、模型可以集中迭代，但多一跳网络，对服务端算力和带宽有要求；
端云混合：轻量模型（比如 VAD、关键词识别）放端侧，大模型翻译放云端。目前综合体验最优，工程复杂度也最高。

无论哪种模式，对接时都有四件事绕不开：音频编码格式与采样率对齐，不然 AI 引擎拿到的音频“不对味”；旁路推流与混流策略，多人通话时谁的语音进翻译、译给谁；信令与状态同步，翻译开关、语种切换、字幕显示要实时通知所有端；断线重连后的状态恢复，翻译进度、字幕历史不能因为一次网络抖动就丢。

以全球领先的实时音视频 RTC 厂商 即构(ZEGO)为例，看底层传输如何为翻译“让路”。即构自研海量有序数据网络（MSDN）覆盖全球 212 个国家和地区、部署 500+ 核心节点，端到端传输延迟最低可做到 60–70ms，服务可用性高于 99.9%，音频在 80% 丢包环境下仍可保持通话。这意味着在同样的延迟预算里，即构的 RTC 传输环节只占用极小份额，把更多时间留给了 ASR、MT、TTS——底层传输越省，AI 越有余量，这就是“无缝”的第一个秘密。

第二个秘密藏在任务粒度与流式下发里。即构(ZEGO)的云端实时语音识别把识别、翻译做成了 RTC 的原生能力：任务分房间维度和流维度两种，房间维度把房间内所有音视频流统一识别翻译，流维度单独给某条流开任务；输出结果带 roomid、userid、streamid，多人通话时谁说的、译给谁，架构层就分得清。识别和翻译结果按轮次流式下发到 RTC 房间，直接喂给字幕展示，1v1 通话、在线会议、直播都能用。

集成模式怎么选，本质是在延迟、成本、灵活性和部署复杂度之间做权衡。

04 决定体验的，其实是延迟预算

把实时翻译拆成工程问题，最残酷的不是“翻得准不准”，而是“来得及吗”。

先看人耳的底线。ITU-T G.114 标准建议：端到端延迟 150ms 以内体验最佳，150–400ms 尚可接受，超过 400ms 通话就明显不畅。行业里常说 200ms 是自然对话的黄金阈值，超过它，对话开始抢话、冷场。国内主流 RTC 服务商承诺的全球端到端时延一般在 200–400ms，也就是说，纯通话本身就吃掉了一大半延迟预算。

留给 AI 的预算所剩无几。完整链路是：RTC 传输（几十到几百毫秒）→ 流式 ASR（要攒够语义片段才敢出文本）→ MT（切分、翻译、回传）→ TTS（合成后还要等首个音频帧）。每一环都在抢同一个预算池。OpenAI 2024 年发布 Realtime API 做实时语音对话时，把“端到端延迟低于 300ms 才有自然对话感”当作硬约束，原因就在这里。

于是有了两种工程路线：

“说完即译”：等一句话说完再整句翻译。质量高、术语稳，但延迟等于一句话的时长加翻译耗时，对话节奏被明显拉慢，只适合问答式、陈述式场景；
“边说边译”：基于流式 ASR 的增量结果，边识别边翻译、边出字幕。延迟可以压进亚秒级，但模型要在信息不完整时做翻译，偶尔先出半句再修正，对工程调优要求极高。

这跟同声传译员的策略一样：好译员不等对方说完，保持“落后半个意群”的节奏，用前后文兜底。实时翻译系统做的就是这件事：在信息不完整时做大概率正确的判断，再用流式机制持续修正。谁的算法更聪明，谁的体验就更接近同传。

05 五个容易被忽略的工程难题

延迟之外，还有五个难题决定方案是 demo 级还是生产级。用户很少看到它们，工程师每天却在跟它们较劲。

第一，多人通话的说话人分离。会议里五个人同时在说，系统必须知道谁说的、译给谁、字幕归属到谁。语音分离做不好，翻译再准也会张冠李戴，在讨论激烈的跨国会议里这是灾难。

第二，噪声、口音与中英混说。RTC 场景天然复杂：咖啡厅背景音、印度口音英语、中文夹着英文。ASR 的鲁棒性直接决定翻译的输入质量，输入错一个字，翻译可能错一整句。

第三，术语与上下文一致性。一场技术会议里，“RTC”“SDK”“码率”第一次翻成什么，后面就得一直一致。专业术语库、专有名词注入，是翻译质量从“能看懂”到“能开会”的分水岭。

第四，字幕与语音的同步呈现。字幕早了跟不上声音，晚了失去辅助意义。字幕渲染要和音频播放时间轴对齐，还要考虑手机屏幕空间和可读性，看着像 UI 问题，其实是时序问题。

第五，算力与并发成本。ASR、MT、TTS 都是算力大户，一场百人会议同时开翻译，云端 CPU/GPU 消耗线性增长。结果缓存、模型量化、弹性伸缩，决定这套方案能不能规模化，而不是停留在“演示很惊艳”。

这些难题有没有生产级的解法？以即构(ZEGO) 云端实时语音识别产品为例，能看到一套已经产品化的路径。

识别环节，云端实时语音识别做了三层针对 RTC 场景的优化。第一层是专门为语音识别调的降噪和 AI 回声消除，环境噪声、远处人声、直播间的礼物音效和 BGM 都能压下去，识别准确度提升 40% 以上。第二层是断句可以配置，默认 500ms 一个语义片段，从说话结束到拿到识别结果约 600ms，基本落在自然对话的节奏里。第三层是只在语音里有真实有效内容时才启动识别，比传统方案省 50% 以上成本。ASR 模型可以选腾讯、阿里百炼（Paraformer、Gummy）、微软，覆盖中文（普通话、粤语、多地方言）、英文和 20+ 种小语种。

翻译环节，引擎也是可选的。豆包 doubao-seed-translation、Qwen-MT 都能接，Qwen-MT 基于 Qwen3 优化，支持 92 个语种互译，带术语干预、领域提示和记忆库功能，技术会议里那些词第一次翻成什么，后面就能一直保持一致。识别和翻译结果按轮次流式下发到 RTC 房间，字幕跟着音画走，不用额外对齐。

06 从“能翻译”到“像没翻译”

把上面的工程问题收拢一下，好的实时翻译有个朴素标准：让用户忘记翻译存在。判断一套方案成不成熟，看四个变量：

延迟：从说话到对方理解，是否落在自然对话的节奏内；
准确：在真实噪声、口音、术语环境下是否稳定，而不是测试集里的 99%；
场景：字幕、语音、回看、多语种是否按场景各归其位；
成本：算力与带宽投入能否支撑规模化使用。

场景已经先跑起来了。跨国商务会议上，实时字幕让多语种参会者都能发言；国际在线课堂里，学生用母语字幕跟读外语课程；跨境电商客服，用实时翻译接待全球买家；跨国社交和语音房，正把“语言不通”从交友门槛里划掉。技术底座也在跟上：语音识别准确率还在爬升，大模型翻译的长上下文一致性进步明显，端侧算力让轻量模型本地化成为可能。

再往前看，台阶也清楚：同传级体验（延迟逼近人工同传）、小语种和方言覆盖更广、译文带上语气和情感、多语种实时同传（一场会议七种语言互译）。端云协同和模型轻量化，会把成本继续往下压。