CVPRW 2025 | 高效图像超分辨率中的蒸馏监督下的卷积低秩适应

本项工作是上海交通大学图像所MediaLab和传音多媒体团队的合作成果，获得CVPR NTIRE 2025高效超分辨率挑战赛道的第一名。卷积神经网络（CNN）在高效图像超分辨率领域被广泛使用，然而基于CNN的传统方法往往需要增加模型复杂度来提升效果。本文提出DSCLoRA，借鉴大语言模型中的低秩适应并结合知识蒸馏策略，在不增加计算成本的前提下显著提升了高效超分辨率模型的性能。具体来说，DSCLoRA将ConvLoRA引入高效超分辨率模型——SPAN，把其中的SPAB块替换为SConvLB模块并在pixel shuffle块和前一层的卷积层中使用ConvLoRA。大量的实验证明了DSCLoRA的有效性。此外，该模型在NTIRE 2025高效超分辨率挑战赛的整体性能赛道获得第一名。

来源：CVPR Workshop 2025
论文题目：Distillation-Supervised Convolutional Low-Rank Adaptation for Efficient Image Super-Resolution
论文链接：http://arxiv.org/abs/2504.11271
论文作者：Xinning Chai, Yao Zhang, Yuxuan Zhang, Zhengxue Cheng, Yingsheng Qin, Yucai Yang, Li Song
内容整理：张耀

简介

单图像超分辨率（SISR）旨在使用低分辨率图像（LR）重建高分辨率图像（HR），这项技术已经广泛地应用于医学图像分析、遥感、视频监控等领域。深度学习的发展大大提高了SISR的性能，例如卷积神经网络（CNN）、残差网络、生成式对抗网络（GAN）和基于Transformer的模型等都在SISR领域展现出了优越的性能。

为了提高基于CNN的超分辨率模型的性能，之前的大多数方法都侧重于优化网络设计，例如加深卷积层或扩大特征图，但这往往会带来计算开销的增加。

我们的目标是在不增加额外负担的前提下提高PSNR等指标。受到大语言模型中的低秩适应技术（LoRA）的启发，我们将其应用在高效超分辨率模型上。这种方法可以降低计算成本和内存需求、实现快速收敛，并保持模型的基本知识，同时也更利于找到最优解。具体来说，我们冻结了原始模型的权重后利用ConvLoRA进行微调，其中ConvLoRA是一个将LoRA应用在卷积层上的方法。考虑到微调带来的性能提升有限，因此我们进一步采用了知识蒸馏技术，这是一种利用教师模型来指导学生模型训练的技术，可以用来激发轻量级模型的性能表现。基于FAKD方法中基于空间亲和力（spatial affinity）的损失的优越性，我们在蒸馏过程中使用这一损失来无条件提升超分模型的性能表现。

我们以先进高效超分辨率模型SPAN作为基础，提出一个新颖的框架：蒸馏监督下的卷积低秩适应框架（DSCLoRA）。我们提出SConvLB模块，该模块将 LoRA 层集成到预先训练好的卷积层中。此外，我们还将DSCLoRA应用于pixel shuffle模块及其前一个卷积层，形成我们最终的模型。

本文的贡献总结如下：

我们将ConvLoRA引入到高效的单图像超分辨率（SISR）任务中，并提出DSCLoRA，该方法可集成到现有模型中进行微调，从而在不增加参数和计算量的情况下提高性能。
我们采用混合蒸馏训练策略，使用空间亲和力损失从教师模型中学习二阶统计信息，同时与像素级L1蒸馏损失和L2重建损失加权构成总的损失函数来优化模型。
DSCLoRA带来的SISR模型性能的提升在多个基准数据集上得到了证明。

方法

网络结构

DSCLoRA的整体结构如图1所示：

CVPRW 2025 | 高效图像超分辨率中的蒸馏监督下的卷积低秩适应 — 图 1: 模型架构总览

其中，我们设计的SConvLB模块的结构如图2所示：

DSCLoRA模型是基于领先的高效超分辨率模型SPAN实现的。具体来说，DSCLoRA模型中的ConvLoRA层冻结了预训练的权重，在训练过程中只更新LoRA层的参数，表示如下：

W_ConvLoRA = W_PT + XY （1）

其中，W_ConvLoRA表示更新后的卷积权重，W_PT表示预训练的卷积权重，X被初始化为服从高斯分布（正态分布）的随机值，Y初始设为零。LoRA的权重可以在推理时与主干网络的参数合并，因此不会引入额外的计算开销。

知识蒸馏训练策略

我们采用基于空间亲和力的蒸馏策略，通过计算特征图间的二阶统计信息来传递教师模型的知识。总的损失函数包括三个部分：空间亲和力蒸馏损失、像素级蒸馏损失和重建损失。空间亲和力蒸馏损失计算公式：

这里的λ1, λ2, λ3为超参数，分别控制重建损失、像素级蒸馏损失和空间亲和力蒸馏损失的权重。

实验

训练和评估细节

训练数据：使用DIV2K数据集的800张高质量图像和LSDIR数据集的84,991张图像，共85,791张训练图像。
评价指标：采用峰值信噪比（PSNR）和结构相似性指数（SSIM）作为主要评价指标，同时采用平均推理时间、参数量和FLOPs来评价模型的效率。
训练细节：一共两阶段训练，第一阶段设置Patch size为 192 x 192，Batch size为8，学习率保持1 x 10^-4，一共训练30K iterations；第二阶段增大Patch size为 256 x 256，其余配置与第一阶段相同。在训练过程中，使用28通道的SPAN模型指导训练得到26通道的DSCLoRA模型，使用52通道的SPAN模型指导训练得到48通道的DSCLoRA-L模型。

定量结果

由表1可见，48通道版本的DSCLoRA-L模型在5个数据集上的PSNR和SSIM表现最优或者次优。26通道版本的DSCLoRA在保持参数量和FLOPs最低的同时PSNR和SSIM表现良好。

由表2可见，DSCLoRA在保持8.54G FLOPs的同时，推理速度比原SPAN提升3%，并保持参数量和FLOPs最低。

从表3中可以看出，经过两阶段训练后，DSCLoRA的PSNR相比于原本的SPAN-Tiny在Urban100数据集上的提升达0.023dB，在Manga109数据集上的提升达0.0369dB。

定性结果

从图3中可以看出，DSCLoRA在保持边缘锐利的同时，能还原出更精细的纹理和砖墙结构。

从图4中可以看出，DSCLoRA在自然细节重建上保留了更多的高频细节。

消融性实验

本文探究了不同的教师模型的选择、蒸馏损失函数类型对于模型性能提升的影响，同时也分析了LoRA的r值（秩）、所加的位置、LoRA变体的影响。

观察表4的结果发现，选择特征图通道数相近的SPAN模型作为教师模型来指导DSCLoRA的学习，可以让效果提升更加明显。

表5中的“w/o SA”模型为不适用空间亲和力损失，而是直接计算特征图之间的L1损失的条件下训练得到的。表中的结果证明了空间亲和力损失对于性能的提升更加显著。

表6展现的结果表明，LoRA的r值设置对于效果的影响显著，适当地提升r值有利于模型捕获更多的细节特征。

表7的结果是通过Patch size为 256 x 256，学习率设置为10^-5，训练500 iterations得到的。相比于原始的LoRA，先进的LoRA变体在某些数据集上确实可以进一步提高性能表现，但原始的LoRA已经可以达到一个令人满意的效果。

总结

本文提出蒸馏监督下的卷积低秩适应（DSCLoRA），以增强现有的高效超分辨率模型的性能表现。通过引入ConvLoRA和基于空间亲和力的知识蒸馏策略，DSCLoRA能有效地将二阶统计信息从教师模型传递到学生模型中。以SPAN模型为基础，DSCLoRA提高了预训练模型的表现，而且不会产生额外的计算成本。多个基准数据集上的实验结果表明DSCLoRA在模型复杂度和性能表现之间实现了出色的均衡，展现了该方法的有效性。