信也AI数字人直播间实践：从单条视频到可复用生产系统

作者：崔大王，信也科技前端研发专家
原文：https://mp.weixin.qq.com/s/MlJZ5vymzb_OAM1iwW-H_w

当视频生成、声音合成和口型驱动能力逐渐成熟，制作一段“数字人开口说话”的视频已经不再困难。真正的挑战在于：如何让人物在连续画面中保持一致，让动作、表情和口型稳定可控；又如何把一次生成的结果沉淀为可配置、可复用、可持续迭代的直播间能力。这个项目并不是为了展示某一个模型，而是从运营活动的真实需求出发，搭建一条由素材处理、动作迁移、视频生成、声音合成、口型驱动、直播编排和发布管理共同构成的多模态生产链路。

一、项目背景：运营活动需要更灵活的内容供给

目前，数字人直播间主要用于承接运营专题活动。此类活动通常上线窗口短、主题变化快，活动规则、优惠信息和参与方式又需要被反复讲解；与此同时，人物形象、品牌表达和审核口径还必须保持一致。

以五一黄金周、月底促成交、端午享豪礼等活动为例，每次变化最多的是主题背景、口播脚本、权益信息和互动组件，而人物形象、基础动作、声音能力和直播间框架具有较高的复用空间。

如果完全依赖真人拍摄，脚本改动往往会重新占用主播档期、场地和后期资源；如果只生成一条不可拆分的数字人视频，局部修改又容易触发整段重做。两种方式都难以适应运营活动高频迭代、快速上线的节奏。

因此，我们现阶段没有直接追求复杂的实时 AI 互动，而是先从可预审的数字人口播内容和可配置的专题直播间切入：把容易变化的内容做成配置，把成本较高的生成结果沉淀为资产，再通过标准化链路提高复用效率。

二、整体方案：先拆链路，再明确组件分工

我们将整个生产过程拆分为视觉生成、声音生成、口型同步和直播编排四个部分。

整条链路可以概括为：

人物素材 → 动作解析 → 视频生成 → 声音生成 → 口型同步 → 直播间编排 → 预览发布 → 数据复盘

这条链路中的核心组件各自解决不同问题：

• ComfyUI：负责编排生成流程，连接输入、模型、采样、解码和后处理节点，并保存完整参数；
• ViTPose、YOLO：从参考视频中提取人体姿态、面部区域和运动信息；
• Wan2.2：结合人物外观与动作条件，生成基础动作视频；
• VAE Decode、VideoCombine：将潜空间结果还原为连续帧，并编码为视频；
• CFGNorm、Differential Diffusion：属于生成阶段的控制能力，分别用于约束引导强度和控制局部区域的去噪过程；
• SeedVR2：用于生成后的视频清晰度增强，不能修复已经发生的身份漂移或动作错误；
• 声音模型与 HeyGem：前者生成可审核音频，后者根据音频驱动人物口型；
• 配置后台：将数字人、背景、音乐、脚本和互动组件组装为直播间并完成发布。

这些工具是当前链路的阶段性选型，并不是不可替换的固定组合。将能力拆成独立层之后，某一层的模型或服务可以按效果、成本和部署条件单独调整。

人物图、动作参考和口播脚本分别作为独立输入。脚本发生变化时，不必重新生成整段动作视频；活动主题变化时，也不需要重新制作数字人。人物、动作、声音、脚本和直播间配置都可以作为独立资产被组合与复用。

三、用参考动作，让人物稳定地动起来

数字人视频最难处理的不是单帧画质，而是时序一致性。

单张人物图片只能描述一个瞬间，无法覆盖人物在转身、抬手、说话和表情变化时的全部状态。如果让图生视频模型自由推断整段运动，人物容易出现五官变化、身份漂移、动作突变和前后帧不连贯。

为了降低这种随机性，我们引入参考视频，为人物提供明确的运动轨迹：

参考视频 → 姿态与人脸检测 → 动作条件编码 → 人物与动作融合 → 帧序列生成 → 视频合成

ViTPose、YOLO 将参考视频中的人体姿态、面部区域和运动信息转换为结构化条件。人物外观条件与动作、表情条件完成编码后，再进入 Wan2.2 生成基础视频。

模型由此不再完全依赖文本猜测每一帧应该如何运动，而是以参考动作作为约束，在保持人物外观特征的前提下生成连续帧。生成结束后，VAE Decode 将结果还原为连续图像帧，VideoCombine 再将帧序列编码为视频。

参考视频相当于给模型增加了一条强约束。模型自由度被压缩后，动作随机性随之降低，人物一致性和运动可控性也更容易提升。

四、用 ComfyUI 把黑盒生成改造成可观测工作流

在这条链路中，ComfyUI 不只是操作界面，而是整个生成流程的编排层。

模型加载、人物条件、动作条件、文本编码、采样器、VAE、视频合成和后处理都被拆分为独立节点。每个节点都有明确的输入、输出和参数，因此可以单独替换和调试。

遇到不同问题时，排查路径也随之明确：

• 人物漂移：回到输入图片、人物描述和 Wan2.2 的外观条件；
• 动作跳变：检查参考视频、ViTPose/YOLO 的检测结果以及采样与时序参数；
• 局部轮廓异常：检查人物条件、区域约束和 Differential Diffusion 的去噪设置；
• 画面清晰度不足：确认上游生成结果正确后，再进入 SeedVR2 增强环节；
• 嘴型不准：检查声音资产和 HeyGem 口型驱动，不重跑动作生成；
• 直播间展示异常：检查配置、素材版本和发布参数，不回到视频模型。

一站式闭源工具适合快速验证和一次性成片，但当人物、动作或画面出现问题时，可调范围通常有限。节点化工作流则保留了连接关系和参数配置，让问题处理从“调整提示词后整体重跑”变成“定位并修正具体环节”。

对于需要持续生产的数字人视频，可拆解、可回溯和可复现，比偶然获得一次效果不错的结果更重要。

五、稳定性优化不是超分，而是一套问题回流机制

数字人视频的优化不能全部交给最后一步画质增强。如果人物身份和动作轨迹已经在生成阶段发生偏移，后处理只会让错误变得更清晰，无法恢复正确的人物特征和运动关系。

因此，整套优化链路遵循一个明确顺序：

输入质量控制 → 生成过程控制 → 输出增强 → 质量校验 → 问题回流

在输入阶段，我们先利用视觉理解补齐服装、五官、镜头、光线和背景等人物细节。此时提示词承担的是身份约束，而不只是创意描述。对于固定机位的口播内容，尽量减少镜头变化；当动作幅度较大时，再补充侧脸或多角度人物信息。

在生成阶段，重点调节采样策略、CFGNorm、Differential Diffusion、时序窗口和引导强度，在人物一致性、动作响应和单帧细节之间取得平衡。其中，Differential Diffusion 用于控制不同区域的去噪过程，并不等同于生成后的画质修复。过度追求单帧锐度，可能放大相邻帧差异；只强调平滑，又可能损失人物细节。

在输出阶段，先确认人物身份、动作轨迹和局部轮廓没有生成错误，再通过 SeedVR2 增强视频清晰度。清晰度增强只改善视觉呈现，不替代上游的人物、动作和区域控制。

质量检查发现身份漂移时，问题回到人物输入与外观条件；出现动作或时序异常时，回到参考动作与采样控制；只有轮廓和清晰度不足时，才进入输出增强；唇音不同步则回到声音与口型链路。

六、参数与算力共同决定工作流边界

视频生成并不是把几个节点连接起来就能稳定运行。分辨率、帧率、总帧数、上下文窗口、模型精度和显存调度共同决定工作流的运行边界。

分辨率决定单帧的信息量；帧率和总帧数决定视频时长与生成规模；上下文窗口影响模型能够同时观察的连续帧范围；模型精度则直接影响显存消耗和计算稳定性。

当显存不足时，可以通过 Block Swap 等方式在显存与内存之间调度部分模型模块，以运行速度换取更低的显存门槛。这里不存在一套适用于所有任务的固定参数，人物复杂度、动作幅度、视频时长和目标清晰度都会改变最优配置。

一套可复现的数字人任务，不能只保存最终提示词，还应同步保存模型版本、节点版本、工作流配置、输入素材、Seed、分辨率、帧率、采样参数和精度设置。这些信息共同构成生成任务的技术档案，也是后续排障、成本分析和效果对比的基础。

七、将声音生成与口型驱动拆开

基础动作视频完成后，声音和口型进入另一条独立链路：

口播脚本 → 声音生成 → 音频审核 → HeyGem 口型驱动 → 完整口播视频

声音可以通过本地部署模型或第三方能力生成，再由本地部署的 HeyGem 按照指定音频驱动人物嘴型。

将声音与动作视频分开处理，能够带来三个直接收益：

1. 脚本可以独立修改和审核。业务文案变化时，只需要重新生成语音并执行口型同步，不必重新运行视频扩散；
2. 基础动作视频可以重复使用。同一套动作能够适配不同脚本、音色、语速和语言版本；
3. 每一层模型可以独立替换。视频生成、声音合成和口型同步可以分别根据效果、成本、方言能力和部署要求进行调整。

最终沉淀的不再是一段不可拆解的视频，而是一组能够重新组合的人物、动作、声音和脚本资产。

八、配置后台把视频变成运营活动直播间

数字人口播视频只是生产链路的中间产物。要让它真正服务运营活动，还需要一层配置能力：

选择数字人 → 配置背景与音乐 → 绑定脚本和声音 → 添加互动组件 → 预览 → 发布

从系统设计上看，一间直播间本质上是一份配置，由数字人资产、背景资产、音频资产、脚本版本、互动组件和发布计划共同组成。

在五一黄金周、月底促成交、端午享豪礼等运营活动中，直播间主题、权益信息和互动玩法持续变化，但整体生产链路保持不变。团队可以复用人物、动作和基础组件，重点更新活动背景、口播内容、权益素材与互动配置，再完成预览和发布。

这种实践首先证明的是链路和资产具备复用条件，并不等同于已经证明业务转化提升。要进一步判断项目价值，还需要把每次活动的素材版本、配置记录和业务数据关联起来。

九、阶段性实践：先明确重做边界，再量化效率与质量

链路拆分后，不同变更对应的重做范围更加清晰：

现阶段能够确认的变化，是返工范围由“整条链路”收缩为“对应环节”，排障路径由经验试错变得更加明确，运营活动也可以基于已有资产快速复制配置。

对于成本、效率和质量，我们不使用未经验证的提升比例，而是统一记录以下指标：

• 效率：脚本定稿到可发布的耗时、全链路重跑次数、活动复制与配置耗时；
• 成本：单位有效视频时长的 GPU 时间、显存峰值、失败率和平均重试次数；
• 质量：人物一致性、时序抖动、异常帧、唇音同步和清晰度的审核通过率；
• 运营：曝光、停留、互动、点击和转化，并关联到具体脚本与配置版本。

只有把这些指标持续记录下来，“可复用、可降低成本、可持续优化”才会从架构判断变成可验证的业务结论。

十、从工作流走向生产系统

生成链路跑通，只代表数字人“可以被制作”。要实现稳定生产，还需要补齐版本、质量、成本和合规四类工程能力。

版本能力需要记录模型、节点、输入素材和完整工作流，确保每一次结果都能够被复现；质量能力需要形成明确的检查项和问题回流规则；成本能力需要持续记录算力与返工投入；人物肖像、声音授权、素材来源、脚本审核和 AI 内容标识也需要与具体资产、视频和直播间配置关联。

这些能力形成闭环后，数字人生产才能从依赖个人经验的手工作业，逐步转向可追踪、可复制、可运营的生产系统。

结语

AI 数字人直播间的技术壁垒，不在于接入某一个生成模型，而在于能否建立一条稳定、可拆解、可复现的多模态生产链路。

ComfyUI 提供节点化编排能力，ViTPose、YOLO 提供动作与面部条件，Wan2.2 负责人物与动作融合，声音模型生成可审核的语音资产，HeyGem 完成口型同步，配置后台再将这些资产组装为具体的运营活动直播间。

当人物、动作、声音、脚本和直播间配置都能够被独立管理、替换和复用，数字人才会从一段“会说话”的视频，真正变成一间可上线、可复用、可持续优化的直播间。