ECCV 2026 | NeFIC：用“下一帧预测”重新定义超低码率图像解码

本文提出了一种面向超低码率图像压缩的新型生成式解码范式 NeFIC。与现有方法主要依赖图像扩散模型从高斯噪声出发、通过控制信号逐步生成重建图像不同，NeFIC 首先解码出一张保留场景几何、语义布局和粗粒度外观的紧凑锚点帧（anchor frame），再把从锚点帧到目标图像的恢复过程重新解释为一次虚拟的时间演化，并利用预训练视频扩散模型完成“下一帧预测”。为解决视频生成与单图像解码之间的任务差异，以及多步扩散带来的高延迟，论文进一步设计了两阶段训练方案：第一阶段将视频扩散模型适配为压缩感知的单间隔“下一帧”解码器；第二阶段建立从压缩潜变量到生成潜空间的语义旁路，将多步扩散压缩为单步生成。实验表明，NeFIC 在 Kodak、DIV2K 和 CLIC2020 上同时取得了优异的感知保真度、生成真实感和失真性能，相比 SOTA 模型 DiffC 节省 超过50% 的码率，并显著降低了扩散式生成压缩的解码开销。

文章来源：ECCV 2026

论文名称：Next-Frame Decoding for Ultra-Low-Bitrate Image Compression with Video Diffusion Priors

论文作者：Yunuo Chen, Chuqin Zhou, Jiangchuan Li, Xiaoyue Ling, Bing He, Jincheng Dai, Li Song, Guo Lu

(Shanghai Jiao Tong University, Beijing University of Posts and Telecommunications)

原文链接：https://arxiv.org/abs/2603.15129

代码链接：https://github.com/UnoC-727/NeFIC

内容整理：陈予诺

引言

超低码率图像压缩的核心矛盾：真实、忠实和高效能否同时实现？

图1：(a) 一些先前基于扩散的 ULB-IC 方法传输潜在信息，这些潜在信息在生成解码期间充当图像扩散模型的条件。 (b) 我们的方法解码紧凑的锚帧，并使用视频扩散模型通过下一帧预测将该锚暂时演化为目标图像。雷达图将我们的模型与 CLIC2020 测试集上现有的生成编解码器进行比较。

在超低码率下，码流已经不足以逐像素记录原图中的所有细节。压缩模型必须决定：哪些信息需要被准确传输，哪些细节可以交给生成模型根据先验“补出来”。这也是生成式图像压缩区别于传统率失真优化的关键所在。

借助 GAN 或扩散模型，现有生成式压缩方法已经能够在很低的码率下合成视觉上自然的纹理。但这里始终存在三个相互牵制的目标：

• 感知真实感（realism）：重建图像看起来是否像一张自然图像；
• 源内容忠实度（fidelity）：生成的内容是否仍然忠实于原图，而不是仅仅“看起来合理”；
• 推理效率（efficiency）：解码是否能够摆脱几十步扩散采样带来的高延迟。

许多基于图像扩散模型的超低码率压缩方法，会把压缩潜变量作为条件注入扩散模型，再从高斯噪声开始逐步去噪。这条路线虽然能够调用强大的生成先验，但也带来了两个直接问题。

第一，压缩条件如何影响去噪过程通常并不透明。尤其在码率极低时，条件信号本身已经很弱，模型可能更多依赖生成先验而不是源图像，从而出现物体结构改变、纹理错位甚至语义漂移。

第二，从随机高斯噪声开始意味着解码过程天然带有较大的不确定性。即便条件中保留了正确的场景信息，多步生成仍可能逐渐偏离原图；与此同时，几十次网络前向也使扩散式解码远慢于普通 VAE Codec。

因此，这篇论文首先重新思考了一个更基础的问题：生成式图像解码是否一定要被理解成“从噪声中生成一张图像”？

核心思想

不要从噪声“猜”原图，而是从一张可见锚点帧继续演化

NeFIC 的核心出发点是，在编码端显式构造一个中间状态：紧凑锚点帧（compact anchor frame）。

这张锚点帧不需要保留全部高频纹理，但应当尽可能保留：

• 场景几何和物体轮廓；
• 主要语义内容与空间布局；
• 颜色、亮度和粗粒度外观；
• 后续生成不能随意改变的源图像信息。

编码时，Anchor Codec 将原图压缩为低码率潜变量并写入码流；解码时，模型首先恢复出一张真实可见的锚点图像。随后，NeFIC 不再要求生成模型从随机噪声重新构造整张图，而是把锚点帧视为一段“虚拟视频”的第一帧，把细节完整的目标图像视为第二帧，最终将图像解码转化为一个条件下一帧预测问题：

给定一张结构正确但细节模糊的前一帧，预测下一张结构保持一致、但纹理更加清晰的目标帧。

这样一来，生成过程不再从一个不可见、随机且语义不确定的起点出发，而是从一张已经保留源内容的显式图像状态出发。锚点帧既限定了重建图像“是什么”，也限定了各个物体“在哪里”；视频扩散先验则主要负责回答“这些区域应该如何恢复出自然且合理的细节”。

从压缩角度看，这相当于重新划分了码流与生成先验的职责：码流负责传输不可被改变的结构和语义，视频生成模型负责补全昂贵的高频细节。

方法

为什么选择视频扩散模型，而不是继续使用图像扩散模型？

NeFIC 选择视频扩散模型，并不是简单地用一个更大的 backbone 替换原有解码器，而是因为视频扩散模型中存在两类与超低码率解码高度匹配的先验。

从模糊到清晰：视频模型已经学会了“细节随时间出现”

真实视频中广泛存在对焦、景深变化、镜头推进和主体逐渐清晰等动态过程。一个画面可能在前几帧中只有模糊轮廓，随后逐渐恢复出羽毛、毛发、材料纹理等高频细节。

在大规模视频数据上预训练后，视频扩散模型不仅学习了物体运动，也学习了这种 defocus-to-focus（失焦到对焦） 的时间演化规律：在保持场景和物体身份基本不变的前提下，将粗糙、低频的初始状态逐步细化为清晰图像。

这与超低码率图像解码非常相似。严重压缩后的锚点帧可以被视为视频中的早期模糊帧，而最终解码图则对应后续细节充分恢复的清晰帧。NeFIC 所利用的不是视频模型生成运动的能力，而是它在预训练中形成的跨帧结构一致性与由粗到细的纹理演化先验。

3D Attention 与 3D RoPE：把锚点帧作为真正的前序上下文

许多图像扩散压缩模型通过 channel concatenation，将压缩条件和 noisy latent 沿通道维拼接。这样虽然能够输入条件，但条件与生成特征之间的交互主要依赖后续网络隐式完成，模型未必能够直接、明确地从条件中检索对应区域。

NeFIC 则利用视频扩散模型原有的时空建模结构，将锚点帧 tokens 和待生成帧 tokens 按照帧/token 序列进行拼接。借助 3D Attention，待生成帧中的每个 token 都可以直接查询任意锚点 token；3D RoPE 则在时间维度上提供跨帧位置对应关系，使注意力更倾向于检索锚点帧中空间位置匹配的区域。

因此，锚点并不是附加在网络输入上的一组弱控制特征，而是作为“前一帧上下文”直接参与下一帧预测。

论文还使用参数规模更大的 Flux-dev-12B 构造了图像扩散基线，并分别测试无锚点、通道拼接锚点和 token 拼接锚点三种方式。尽管该图像模型参数更多，NeFIC 使用的 CogVideoX-1.5-5B 仍在 LPIPS 和 DISTS 上取得明显更好的 BD-rate，说明性能提升并不只是来自模型规模，而是来自视频模型的时间一致性、3D 结构和下一帧建模方式。

两阶段训练：先学会“正确演化”，再把几十步压缩成一步

直接将预训练视频扩散模型用于图像解码并不可行。视频模型通常面向包含数十帧的自然视频，重点学习运动、镜头变化和场景转换；NeFIC 所需要的却是只有两个状态的极短演化，并且要求物体不移动、语义不改变，只恢复缺失细节。

与此同时，原始视频扩散模型仍然需要从噪声进行多步采样，无法满足高效图像解码的要求。为此，论文将训练拆分为两个相互衔接的阶段。

Stage I：Next-Frame Decoding Adaptation

DiT 块的输入是三种类型标记的串联：(1) 文本嵌入，(2) 来自锚帧的标记，以及 (3) 来自目标帧的噪声标记。在训练期间，仅使用噪声预测损失来监督与噪声目标标记相对应的输出，而其他两个片段被丢弃。

第一阶段的目标，是先让视频扩散模型学会一种适用于压缩的特殊时间演化：从锚点帧到目标图像只发生细节恢复，而不发生物体运动、场景闪烁或语义变化。

训练时，模型输入由三类 token 组成：

1. Text tokens：使用统一的通用提示词，引导模型生成高质量、真实纹理；具体场景语义不依赖文本传输，而由锚点帧提供；
2. Anchor tokens：将 Anchor Codec 解码出的锚点帧送入冻结的 Video-VAE Encoder，作为前序帧上下文；
3. Noisy target tokens：将原图编码到 Video-VAE latent space 后加入不同强度的噪声，作为需要预测的目标帧。

三类 token 在序列维拼接后送入视频 DiT。模型仅监督与目标帧对应的输出，而文本段和锚点段的输出被丢弃。训练采用 v-prediction，并通过噪声预测目标学习恢复干净的目标潜变量。

为了降低适配成本，Video-VAE 和文本编码器保持冻结，视频 DiT 中的注意力投影通过 LoRA 微调；Anchor Codec 则与其联合训练。

论文还为锚点帧加入由 MSE 和 LPIPS 组成的辅助重建损失。这个损失并不是要求锚点自身达到最终画质，而是防止它偏离自然图像域：如果锚点出现严重颜色漂移或不自然结构，它就会落到 Video-VAE 不熟悉的输入分布之外，进而削弱对下一帧生成的约束能力。

因此，Stage I 解决的是任务对齐问题：将一个擅长长视频、多帧运动生成的模型，适配为只进行单间隔、结构保持和细节增强的生成式图像解码器。

Stage II：One-Step Generative Bypass

图6：训练第二阶段概述。 (a) 压缩管道。锚编码器以原始图像的视频 VAE 潜值为条件，并产生熵编码的锚潜值。锚解码器重建锚帧和旁路潜伏。 (b) 一步去噪。单步视频扩散模型使用文本嵌入、锚标记和旁路潜在变量来预测目标潜在变量，视频 VAE 解码器将其转换为最终重建。

完成 Stage I 后，模型已经能够根据锚点帧恢复高质量图像，但仍然需要多步扩散采样。Stage II 的目标，是消除从标准高斯噪声开始的迭代去噪过程，直接为视频扩散模型提供一个包含源图像语义、并且接近生成潜空间的初始化状态。

为此，NeFIC 在 Anchor Codec 和视频生成模型之间建立了一条 semantic latent bypass（语义潜变量旁路）。这条旁路包含两个关键设计。

• Conditional Anchor Encoding：让码流主动对齐生成潜空间

压缩 VAE 的潜空间主要服务于熵编码和锚点图像重建，而 Video-VAE 的潜空间则服务于生成，两者的分布和语义组织方式并不天然一致。若直接把压缩特征交给视频扩散模型，生成器仍需要跨越较大的 latent-space gap。

训练时，NeFIC 使用原图经过冻结 Video-VAE Encoder 得到的 latent，对 Anchor Encoder 同尺度的中间特征进行条件编码，再进行后续变换、量化和熵编码。这样得到的压缩潜变量会更倾向于保留与视频生成空间一致的场景结构和语义信息。

需要强调的是，解码端并不需要访问原图。原图的 Video-VAE latent 只在训练和编码过程中帮助塑造可传输的压缩表示；真正传输到解码端的仍然是经过量化与熵编码的 anchor latent。

• Bypass Refinement：把解码特征映射为可直接生成的初始化 latent

Anchor Decoder 在恢复锚点帧的同时，会产生一个 1/8 尺度的中间特征。论文使用一个 Bypass Refinement 模块，将这一特征映射为 z_bypass。

z_bypass 不再被视为纯高斯噪声，而被解释为一个已经部分去噪、携带源图像结构语义的中间状态。视频 DiT 在固定时间步 t*=500 上只进行一次前向预测，即可得到干净目标 latent，再由冻结的 Video-VAE Decoder 输出最终重建图像。

这一设计同时减少了两类不确定性：

• 锚点帧在像素域提供可见、空间对齐的结构参考；
• bypass latent 在潜空间提供接近生成流形的语义初始化。

论文将其概括为一种 latent-pixel dual-domain coupling（潜空间—像素域双重耦合）。它也是 NeFIC 能够在单步生成下保持源内容忠实度的关键：模型既不是完全依赖锚点图像重新生成，也不是只依赖一个不可见 latent 猜测原图，而是同时利用两个域中的互补信息。

Stage II 还引入基于冻结 CLIP backbone 的轻量判别器，并联合 MSE、LPIPS 和 GAN loss 进行训练。像素与感知损失负责约束源内容，CLIP-based adversarial loss 则帮助最终结果保持自然图像分布中的生成真实感。

实验

在感知质量与失真指标上同时取得优势

论文在 Kodak、DIV2K 和 CLIC2020 test set 上进行评测。评价指标覆盖了三个层面：

• PSNR、MS-SSIM：衡量像素级失真；
• LPIPS、DISTS：衡量重建与原图之间的感知忠实度；
• FID、KID：衡量生成图像整体分布的真实感。

实验以 BD-rate 衡量在相同质量下所需码率的变化，其中数值越低越好，负值表示相对基线节省码率。

四项感知指标均相对 DiffC 节省超过 50% 码率

在 CLIC2020 test set 上，以 DiffC 为基线，NeFIC 在四项感知指标上的 BD-rate 分别为：

• **LPIPS：-64.09%**；
• **DISTS：-57.96%**；
• **FID：-65.76%**；
• **KID：-75.94%**。

也就是说，在达到相同感知质量或生成真实感时，NeFIC 在四个指标上均能够节省超过一半的码率。这个结果尤其重要，因为 LPIPS/DISTS 和 FID/KID 衡量的并不是完全相同的目标：前者更强调与源图像的对应关系，后者更强调输出是否符合自然图像分布。NeFIC 同时在两类指标上取得优势，说明它并非仅仅生成了“看起来真实但与原图无关”的纹理。

在 DIV2K 上，NeFIC 相对 ICLR 2025 DiffC 的 LPIPS、DISTS、FID 和 KID BD-rate 分别达到 **-61.71%、-56.94%、-49.94% 和 -71.20%**。与 ICCV 2025 的 DLF 相比，在相同四项指标上还可进一步节省约 51.92%、48.16%、31.82% 和 33.47% 的码率。

不只改善感知指标，也保留了客观失真性能

生成式压缩方法常见的代价，是为了更自然的纹理而牺牲 PSNR 或 MS-SSIM。NeFIC 的结果表明，显式锚点和跨帧一致性不仅改善感知质量，也能约束生成内容保持正确结构。

在 Kodak 上，NeFIC 相对 DiffC 的 PSNR 和 MS-SSIM BD-rate 分别为 **-34.26% 和 -33.88%**。相较于 StableCodec，NeFIC 在 PSNR 和 MS-SSIM 上还能进一步节省 18.27% 和 22.95% 的码率；相较于 GAN-based GLC，则分别节省 **57.08% 和 46.91%**。

这说明视频扩散先验在 NeFIC 中并不是一个自由度过高的“纹理生成器”。锚点帧锁定了像素域结构，bypass latent 提供了与源图像一致的潜空间初始化，二者共同限制了最终生成结果，使模型能够兼顾感知质量和失真指标。

定性结果

锚点负责结构，视频先验负责恢复“应该出现”的细节

在 CLIC2020 的可视化对比中，锚点帧本身通常较为模糊，但主要物体、轮廓和颜色布局已经被保留下来。经过下一帧解码后，NeFIC 能够在不改变结构的前提下补充细节。

例如，在玻璃杯图像中，NeFIC 恢复出了规则的玻璃棱纹；在墙面图像中，模型能够重建不规则的腐蚀和斑驳纹理。相比之下，一些方法虽然使用了更高码率，但生成的局部细节与原图不一致，或者把真实结构平滑成了更“平均”的纹理。

这些案例体现了 NeFIC 与普通无条件生成之间的区别：它并不是任意生成一种合理材质，而是利用锚点帧和跨帧对应关系，在正确位置恢复与源图像相符的纹理模式。

效率

从 50 步视频扩散降到单步解码

NeFIC 使用 CogVideoX-1.5-5B 作为视频扩散 backbone，模型规模并不小，因此论文关注的效率重点不是与轻量 VAE Codec 比绝对速度，而是：在调用大规模扩散先验的前提下，能否避免多步采样与高分辨率 tiling 带来的额外开销。

在 A100 GPU 上，NeFIC 的平均编码/解码时间为：

• Kodak：0.17 s / 0.88 s；
• DIV2K：0.58 s / 6.83 s。

相较 DiffEIC，NeFIC 的解码速度提升约 5.5–8.6 倍，编码速度提升约 1.35–4.17 倍。

结论

NeFIC 的核心并不是简单地把图像扩散 backbone 换成视频扩散 backbone，而是重新定义了超低码率生成式图像解码的起点与过程：

• 用紧凑 Anchor Codec 传输场景几何、语义布局和粗粒度外观；
• 把从锚点帧到目标图像的恢复解释为一次虚拟时间演化；
• 利用视频扩散模型中已经学习到的失焦到对焦先验、3D Attention 和跨帧一致性完成细节恢复；
• 在像素域锚点与潜空间 bypass 的双重约束下，同时提升生成真实感、源内容忠实度和解码效率。

过去的扩散式图像压缩通常将问题表述为：如何使用有限码流去控制一个从噪声开始的图像生成过程。 NeFIC 提供了另一个视角：超低码率解码也可以被理解为从一个可信的中间状态出发，让图像沿着视频模型学到的时间先验演化到更清晰的下一帧。

这一视角的价值不仅体现在当前的实验指标上。随着视频生成模型进一步轻量化、少步化以及跨帧一致性持续提升，下一帧解码可能成为连接基础生成模型与实用生成式压缩的一条重要路径。

如果有帮到你，感谢引用：

@inproceedings{chen2026nextframe,    title={Next-Frame Decoding for Ultra-Low-Bitrate Image Compression wit