NVIDIA AI 发布 DiffusionRenderer：一个可从单个视频创建可编辑、逼真的 3D 场景的 AI 模型

AI 驱动的视频生成技术正以令人惊叹的速度不断进步。在很短的时间内，我们已经从模糊、不连贯的剪辑变成了具有惊人逼真度的视频。然而，尽管取得了这些进步，我们却缺少了一项关键能力：控制和编辑。

制作精美的视频固然重要，但如何专业而逼真地编辑视频，例如将光线从白天变为夜晚、将物体的材质从木材换成金属，或是将新元素无缝地融入场景——仍然是一个难以攻克的难题。这一差距一直是阻碍AI成为电影制作人、设计师和创作者真正基础工具的关键障碍。

直到引入DiffusionRenderer !!

在一篇开创性的新论文中，NVIDIA、多伦多大学、矢量研究所和伊利诺伊大学香槟分校的研究人员公布了一个直接应对这一挑战的框架。DiffusionRenderer 代表着一次革命性的飞跃，它超越了单纯的生成功能，为理解和处理单个视频中的 3D 场景提供了统一的解决方案。它有效地弥合了生成和编辑之间的差距，释放了 AI 驱动内容的真正创作潜力。

旧方法与新方法：范式转变

几十年来，照片级写实主义一直以基于物理规则（PBR）为基础，这是一种精确模拟光流的方法。虽然它能产生令人惊叹的效果，但它本身却是一个脆弱的系统。PBR 的关键在于场景的完美数字蓝图——精确的 3D 几何体、细致的材质纹理和精准的光照贴图。从现实世界中获取此蓝图的过程被称为逆向渲染，众所周知，它非常困难且容易出错。即使是数据中的微小瑕疵，也可能导致最终渲染出现灾难性的失败，这是一个限制 PBR 在受控工作室环境之外使用的关键瓶颈。

之前的神经渲染技术，例如 NeRF，虽然在创建静态视图方面具有革命性，但在编辑方面却遇到了瓶颈。它们将光照和材质“烘焙”到场景中，使得后期捕捉修改几乎不可能。

DiffusionRenderer在一个统一的框架中处理“什么”（场景的属性）和“如何”（渲染），该框架建立在与稳定视频扩散等模型相同的强大视频扩散架构之上。

NVIDIA AI 发布 DiffusionRenderer：一个可从单个视频创建可编辑、逼真的 3D 场景的 AI 模型

这种方法使用两种神经渲染器来处理视频：

神经反渲染器：该模型就像一个场景侦探。它分析输入的 RGB 视频，智能地估计内在属性，生成基本数据缓冲区（G 缓冲区），在像素级描述场景的几何形状（法线、深度）和材质（颜色、粗糙度、金属感）。每个属性都在一个专门的通道中生成，以实现高质量的生成。

神经正向渲染器：该模型充当艺术家的角色。它从逆向渲染器获取 G 缓冲区，将其与任何所需的光照（环境贴图）组合，并合成逼真的视频。至关重要的是，它经过训练，非常稳健，即使逆向渲染器的输入 G 缓冲区不完善或“嘈杂”，也能生成令人惊叹的复杂光线传输效果，例如柔和阴影和相互反射。

这种自我修正的协同作用正是这一突破的核心。该系统专为现实世界的混乱而设计，在现实世界中，完美的数据只是一个神话。

秘诀：弥合现实差距的全新数据策略

如果没有智能数据，智能模型就毫无意义。DiffusionRenderer 背后的研究人员设计了一种巧妙的双管齐下的数据策略，让他们的模型能够理解完美物理和不完美现实之间的细微差别。

海量合成宇宙：首先，他们构建了一个包含 15 万个视频的庞大高质量合成数据集。他们使用数千个 3D 对象、PBR 材质和 HDR 光照贴图，创建了复杂的场景，并使用完美的路径追踪引擎进行渲染。这为反向渲染模型提供了一本完美的“教科书”，为其提供了完美的真实数据。
自动标记真实世界：团队发现，仅使用合成数据训练的逆向渲染器在推广到真实视频方面表现出色。他们将其应用于包含 10,510 个真实视频 (DL3DV10k) 的海量数据集。该模型自动为这些真实视频生成 G-buffer 标签。这创建了一个包含 150,000 个真实场景样本的庞大数据集，其中包含相应的（尽管不完善的）固有属性图。

通过使用完美的合成数据和自动标记的真实世界数据对前向渲染器进行联合训练，该模型学会了弥合关键的“领域差距”。它学习了来自合成世界的规则以及现实世界的外观和感觉。为了处理自动标记数据中不可避免的误差，该团队加入了一个 LoRA（低秩自适应）模块，这是一种巧妙的技术，它使模型能够适应噪声更大的真实数据，而不会损害从原始合成数据集中获得的知识。