阿里通义Wan-Streamer v0.2：响应延迟仅550ms，让 AI 真正与你”面对面”

和 AI 打视频电话，卡顿、延迟、声画不同步，是常态。

这本质上就是“语音识别 ➡️ 大模型 ➡️ 语音合成 ➡️ 动画驱动”的流水线拼装。环节越多，延迟越高，割裂感越强。

但真正的自然交流，应该像和朋友打视频一样自然：没有卡顿，没有等待。它能实时读懂你的微表情，像真人一样点头、做手势，让声音、唇形与神态在毫秒间完美同步。

阿里通义实验室最新发布的 Wan-Streamer v0.2 让这成为现实。

一分钟认识 Wan-Streamer

它是面向实时双工交互的端到端全模态理解与生成模型，把“听、看、说、演”统一进单个 Transformer 中，让 AI 像真人一样边听、边看、边回应。

• 极致低延迟：端到端响应延迟 550ms（200ms模型延迟 + 350ms网络延迟），
• 画质增强：输出分辨率从 v0.1 的 192×336 提升至 640×368 @ 25FPS，微表情场景细节清晰可见；
• 全模态端到端：原生支持文本、音频、视频的实时理解与同步生成，无需外部模块拼装。

在响应延迟上，Wan-Streamer 的端到端交互延迟在 0.55s 左右（含网络传输），显著快于常见的实时语音对话模型。

在功能覆盖上，Wan-Streamer 同时具备了视频感知、视频输出、全双工交互、端到端架构且响应延迟控制在1秒内。

架构重构：从“流水线”到“原生因果流”

传统的实时数字人系统，底层通常是级联流水线。

“举个例子：当你说一句话，系统需要等语音转成文字，大模型生成文本回复，再合成语音，最后驱动数字人张嘴。这个过程不仅要等待，而且各个模块独立运行，容易出现声音和嘴型对不上、表情僵硬的问题。”

Wan-Streamer 将用户的文本、音频、视频输入，与智能体的输出，统一映射到同一条因果时间线（Causal Timeline） 上。

模型无需等待“一整段话”说完，而是引入了流式单元（Streaming Unit） 的概念。大约每 160ms 就会完成一次完整的闭环：

• 感知当前 160ms 的用户音视频输入；
• 更新共享的交互状态与上下文；
• 生成同步的语音和视频 Latent（潜变量）；
• 解码并输出上一单元的音视频响应。

这意味着，AI 不需要等你说完再想，而是在你说话的每一小段时间里，同步完成“感知 ➡️ 理解 ➡️ 生成 ➡️ 解码”。这种原生流式的建模方式，是实现极低延迟与全双工交互的基础。

从 v0.1 到 v0.2：画质跃升与“场景锚定”

v0.1 验证了端到端原生流式音视频对话的可行性，但 192×336 的分辨率在视觉上局限于近景特写（Close-up），主要聚焦于面部和嘴型。

v0.2 将输出分辨率大幅提升至 640×368。这不仅仅是像素的增加，更带来了视觉构图与应用场景的质变。

AI 不再只是一个“悬浮的头部”。在 v0.2 的画面中，你可以清晰看到它的视线方向、身体姿态、自然的手势动作，甚至它面前的桌子和周围的房间布局。

技术解密：Thinker-Performer 双通路与 Ulysses 并行

分辨率的大幅提升，意味着视频 Latent 生成的计算量显著增加。如果将这些计算任务放在原有的低延迟通路中，200ms 的模型侧延迟底线将被突破。

如何在提升画质的同时，不增加用户可感知的延迟？

Wan-Streamer v0.2 将模型拆分为两条并行通路，在物理硬件上进行解耦：

思考者：单卡快车道

Thinker 部署在单张 GPU 上，负责所有对延迟敏感的任务：流式音视频感知、语言与状态更新、构建 K/V 缓存（让模型记住上下文），以及音频解码。 

它就像对话中的“大脑”，负责快速听懂你的话、记住上下文，并立刻组织语言，保证 200ms 的极低响应。

执行者：多卡 Ulysses 并行

640×368 的高分辨率视频生成计算量极大。在 Wan-Streamer v0.2 中，Performer 被扩展为一个多 GPU 的 Ulysses 式上下文并行集群，专门承担这部分重载计算。 

它就像幕后的“渲染团队”。因为高清画面计算量大，系统采用 Ulysses 序列并行机制，将长视频序列切分给多张显卡分工合作、并行去噪。（注：由于音频 Latent 序列较短，切分反而会增加通信开销，因此音频生成不进行序列切分，直接计算）。

时序重叠

更关键的设计在于时序调度。单卡 Thinker 的工作窗口与多卡 Performer 的计算窗口是重叠的。 当 Performer 集群在后台处理当前帧的高清视频 Latent 时，Thinker 已经在处理下一帧的用户输入，并解码上一帧的音频。

通过这种“快慢分工、时序重叠”的架构，v0.2 将额外的视觉生成成本从延迟敏感路径中剥离。在包含 350ms 双向网络预算的情况下，总远程交互延迟依然保持在约 550ms。

万物皆可对话：想象力才是唯一边界

只要能用自然语言描述，Wan-Streamer 就能在虚拟世界里把那个”角色”实时呈现出来，和你面对面交流。没有预设剧本，没有固定角色库——你的想象力就是唯一的边界。

你可以和秦始皇聊统一六国，听李白即兴吟诗、让蒙娜丽莎开口说话，和清明上河图里的路人聊聊宋朝生活，还能问问你家猫主子整天都在想什么……

基于这种高度自由的角色生成能力，Wan-Streamer 典型的应用场景包括：

• 视频通话式 AI 助手：打开摄像头即可面对面交流，适用于口语陪练、面试模拟、心理咨询等需要“在场感”的场景。
• 场景化陪伴与教育：AI 老师可以通过画面“看着”学生的表情判断理解程度；AI 可以在厨房里实时指导做菜的步骤。
• 沉浸式游戏 NPC：游戏中的角色可以拥有表情、肢体语言和实时反应，与玩家进行真正的“面对面”对话。
• 无障碍交互：为听障用户实时生成带精确唇语和手势的视频回应；为视障用户实时描述摄像头捕捉到的周围环境。

让 AI 能够自然地参与实时对话，需要它真正理解用户的话语、读懂表情，并在几百毫秒内给出综合反应。

Wan-Streamer v0.2 是我们在这一方向上的持续探索：通过原生流式架构与分布式推理拓扑，在单一模型的交互循环中同时完成理解与生成，让 AI 的沟通方式进一步逼近真人。

这是一条长期的研究路线，我们将持续迭代 Wan-Streamer，敬请期待。

项目地址：https://wan-streamer.com/

Wan-Streamer v0.2 论文

v0.1: https://arxiv.org/abs/2606.25041

v0.2: https://arxiv.org/abs/2607.04443

v0.3: https://arxiv.org/abs/2607.15038