CVPR 2026 | 重思基于扩散模型的视频超分辨率：利用对齐特征的稠密引导 DGAF-VSR

本文提出 DGAF-VSR，一种基于扩散模型的视频超分辨率方法，针对现有技术在感知质量、重建保真度和时序一致性之间难以兼顾的挑战，通过关键观察发现特征域比像素域更适合提供稳定的时序引导，且在高分辨率尺度下进行光流变形能更有效保留高频细节（但存在最优尺度）。基于此，论文创新性地设计了光流引导变形模块（OGWM），在上采样特征空间执行对齐以减少细节损失，并结合特征级时序条件模块（FTCM）在扩散过程中注入稠密的跨帧特征引导，从而实现更精准的高频恢复与帧间一致性。实验验证表明，该方法在 REDS4、Vid4 和 VideoLQ 等多个合成与真实数据集上全面超越现有方法，在 LPIPS、PSNR 及时序指标 tLPIPS 上均取得 SOTA 结果，显著提升了视频纹理自然度、结构稳定性和运动连贯性，为短视频、直播等场景的实用化超分技术提供了重要突破。

01 论文背景介绍

CVPR（IEEE/CVF Conference on Computer Vision and Pattern Recognition），又称计算机视觉与模式识别会议，是计算机视觉领域公认的全球顶级学术会议之一，也是人工智能视觉方向最具影响力的国际会议之一。该会议每年举办一次，收录的论文往往代表着该领域最新的技术突破与未来发展趋势，录用率大约在 20%～25% 左右。此篇被收录论文属于基于生成式大模型的视频超分领域，由淘天音视频技术团队与高校合作完成。

视频超分辨率（VSR）旨在从低分辨率视频中恢复高分辨率、细节丰富的图像序列，随着短视频、直播和 AIGC 视频等场景的发展，已成为多媒体增强的重要方向。近年来，基于扩散模型的 VSR 方法在主观视觉质量上取得了明显进展，但在“感知质量、重建保真度和时序一致性”之间仍难以兼顾。针对这一问题，淘天音视频技术团队与高校联合提出了 DGAF-VSR，从特征对齐和稠密引导两个角度重构扩散式视频超分框架，缓解了现有方法过度偏向感知质量、忽视精准对齐与充分补偿所带来的高频细节不足、结构不稳和帧间不一致问题，并在合成与真实视频数据集上取得了 SOTA 表现。

论文链接：https://arxiv.org/abs/2511.16928

项目开源地址：https://github.com/tszssong/DGAF-VSR

02 论文摘要

此篇论文提出了 DGAF-VSR，一种基于扩散模型架构的视频超分辨率方法。不同于传统扩散模型VSR方法只依赖粗粒度的时序条件或单纯追求感知纹理生成，DGAF-VSR 重新思考了相邻视频帧之间的对齐（alignment）与补偿（compensation）机制，并发现两个关键观察：（1）特征域比像素域更适合作为信息补偿的载体，因为它具有更强的空间与时间相关性；（2）在高分辨率尺度上进行 warping 更有利于保留高频细节，但这种收益并非简单单调递增。基于这两个发现，论文提出了两项核心模块：（1）光流引导变形模块（OGWM）：通过在上采样特征上进行对齐，尽可能保留高频信息；（2）特征级时序条件模块（FTCM）：在特征域中提供稠密引导，将相邻帧的对齐信息更充分地注入扩散生成过程。大量实验表明，DGAF-VSR 在感知质量、重建保真度和时序一致性三个维度上都优于现有方法，在多个合成与真实世界数据集上均取得了领先结果。

03 两个关键观察

观察一：特征域比像素域更适合做时序引导

论文在 REDS4 数据集上对比了不同扩散步中，相邻帧在像素域和特征域的相关性，使用 SSIM、PSNR、交叉熵和标准差等指标验证发现：隐空间特征在空间一致性和时间一致性上均显著优于像素域。这说明，在扩散式VSR中，特征级引导比像素级引导更能提供稳定且有效的信息补偿。

观察二：高分辨率下做 warping 更能保留高频细节

论文进一步分析了不同分辨率下进行 warping 对高频信息的影响，采用 Canny、Sobel、Laplacian 和 FFT 高频能量等指标验证发现：warping 会不可避免地损失高频；但如果先上采样到更高分辨率再进行 warping，损失会明显减轻；这一策略存在最优尺度，并非分辨率越高越好。这一发现直接启发了 OGWM 模块的设计。

04 具体方法

在生成式视频超分的新范式下，如何在提高感知质量的同时保持良好的保真度，一直是业界关注的核心难题。DGAF-VSR 认为，通过对相邻帧特征的精细化对齐与补偿，并结合更丰富的输入信息高效引导扩散过程，是解决这一问题的关键。本文从观测分析出发，对基于扩散模型的视频超分流水线进行了系统重构。

核心痛点

现有基于扩散模型的视频超分方法通常依赖低分辨率视频帧及其时序条件来生成高分辨率结果，但在实践中存在两个显著问题：

（1）像素域对齐不稳定：直接在像素层面做补偿，容易受到运动、模糊和退化噪声的影响；

（2）特征引导不够充分：很多方法只使用轻量的时序条件，无法将相邻帧的有效信息充分利用起来。

此篇论文通过大量实验进一步发现：在扩散模型的潜空间中，特征之间的空间和时间相关性明显强于像素之间，因此更适合作为视频超分的引导基础。

模型架构

图1给出了 DGAF-VSR 方法的模型架构示意图，根据观察与分析，本文提出两项关键改进：光流引导变形模块（Optical Guided Warping Module,OGWM）、特征级时序条件模块（Feature-wise Temporal Condition Module,FTCM）。

• 光流引导变形模块（OGWM）

OGWM 主要用于解决“如何在尽量少损失高频信息的前提下完成帧间对齐”的问题。

具体流程包括三步：（1）输入准备，将上一帧的特征先进行上采样，提升特征分辨率，以减少后续 warping 中的细节损失。（2）特征对齐，利用 RAFT 估计得到的光流，对上采样后的特征进行变形对齐，使相邻帧特征在空间上更准确地对应。（3）下采样与整合，将对齐后的高分辨率特征再下采样回原始尺度，作为更纯净、更具高频保留能力的时序条件，传入 FTCM。

这一设计的核心优势在于：先升尺度，再对齐，再压回尺度，从而显著缓解低分辨率直接对齐带来的细节损失和累计误差。

• 特征级时序条件模块（FTCM）

FTCM 的目标是：利用相邻帧的对齐特征，对当前帧进行更细粒度、更密集的时序引导。与传统 DM-based VSR 中只使用 U-Net 编码器作为条件网络不同，本文借鉴 BrushNet 的思想，采用了完整 U-Net 结构，使其同时具备更强的信息提取和重建能力。

FTCM 的优势主要体现在：能够在不同感受野下建立更严格的像素级约束；可以将相邻帧的对齐特征更充分地注入当前扩散过程；有助于保留视频原始内容，提高恢复结果的稳定性与真实感。在式1中，当前帧的去噪过程不仅依赖自身隐空间特征，还结合了经过 OGWM 对齐后的邻帧特征，实现一种密集特征引导机制。

05 实验论证与结果

为了全面验证 DGAF-VSR 的有效性，论文在多个常见数据集上进行了实验，包括：合成数据集（REDS4、Vid4）、真实世界数据集（VideoLQ），并与多种代表性方法进行了比较，包括：非 DM 方法（EDVR、BasicVSR、BasicVSR++、RVRT）与 DM 方法（StableVSR、MGLD-VSR、UAV、STAR、DOVE、SeedVR2）。

定量评估

如表1所示，在合成数据集上，在 LPIPS / DISTS / MUSIQ / CLIP-IQA / NIQE 等感知导向的图像质量评价指标上，DGAF-VSR 取得了压倒性优势。在 PSNR 和 SSIM 等保真度指标上，DGAF-VSR 在基于扩散模型的方法中表现最佳。

如表2所示，在真实数据集上，DGAF-VSR 相比于其它基于扩散模型的方法，取得了最佳性能，展现出很强的实际应用潜力。

如图2所示，在 tLPIPS 和 tOF 指标上，DGAF-VSR 显著优于现有方法，表明其能有效减少闪烁、抖动和帧间不连贯问题。

定性评估

从可视化结果（图3-6）来看，DGAF-VSR 在以下方面尤为突出：

• 高频纹理恢复更自然：如墙面纹理、标识细节、物体边缘等恢复得更清晰；
• 结构重建更稳定：对门窗、建筑轮廓等几何结构的修复更准确；
• 视频观感更连贯：帧间过渡更平滑，闪烁和形变现象更少。

消融实验

为了探索不同模块对模型性能的贡献，我们进行了消融试验。表3结果表明：光流引导变形模块、特征时序条件模块均能有效提升模型性能。

06 总结与展望

本文提出了 DGAF-VSR，一种基于扩散模型的视频超分辨率方法。该方法通过对 DM-based VSR 流程中“特征对齐”和“信息引导”的深入分析，提出了两个关键模块：OGWM 在高分辨率特征空间中进行光流引导对齐，尽可能保留高频信息；FTCM通过特征级稠密条件注入，实现更稳定、更细粒度的时序补偿。 实验结果表明，DGAF-VSR 在感知质量、重建保真度和时序一致性上均显著优于现有方法，具有较强的研究价值和应用潜力。不过，这类基于扩散模型的方法仍然存在推理成本较高的问题。未来的研究可以进一步探索：更高效的特征对齐方式、更轻量的稠密引导机制、单步或少步扩散的视频超分方案。这些方向有望推动生成式视频超分技术在直播、短视频等场景中的落地应用。

07 团队介绍

该工作由淘天音视频技术团队与高校合作完成。音视频技术团队服务于国民 app 淘宝中直播、逛逛、首页信息流、商品详情等核心视频业务场景，长期聚焦技术创新与应用落地，致力于持续提升用户内容消费体验。团队成员来自海内外知名高校，多次在 MSU 世界编码器大赛，CVPR NTIRE 视频增强超分竞赛这样的权威赛事上夺魁，并重视与学界的合作与交流。

团队主导设立了淘天博士后工作站，持续强化前沿技术研发与高层次人才培养能力。自成立以来，已累计招收十余位博士后，发表高水平论文近20篇，多项成果已在淘宝核心业务场景规模化落地。

团队兼顾算法创新与工程应用，围绕视频生产、视频修复与生成、视频编码等完整链路持续深耕，保障视频、图片相关业务的流畅度和音画质体验，并在多媒体 AIGC 方向积累了多模态理解、图像生成与编辑、可控视频生成等关键能力，为直播、信息流、搜索推荐等业务场景提供技术支撑。