Abstract高效轻量化的单幅图像超分辨率(SISR)近年来取得了令人瞩目的性能。一种有效的方法是使用大核设计这已被证明在降低计算要求的同时提高了SISR模型的性能。然而目前最先进的(SOTA)模型仍然面临着计算成本高等问题。为了解决这些问题本文提出了大核蒸馏网络(LKDN)。我们的方法简化了模型结构并引入了更高效的注意模块在降低计算成本的同时提高了性能。具体地说我们使用重新参数化技术在不增加额外成本的情况下提高模型的性能。我们还在SISR中引入了一种新的来自其他任务的优化器提高了训练速度和性能。实验结果表明LKDN的性能优于现有的轻量级SR方法达到了SOTA的性能。1. Introduction单图像超分辨率Single Image Super-Resolution, SISR是底层计算机视觉领域的核心问题旨在根据低分辨率Low Resolution, LR图像重建出其对应的高分辨率High Resolution, HR图像。自 SRCNN [9] 首次将深度学习引入超分辨率任务以来基于深度学习的超分辨率模型得到了迅猛发展。这类算法凭借从低分辨率输入中重建高分辨率图像的优异性能在计算机视觉领域受到广泛关注。尽管更深、更庞大的模型通常被认为是构建强表征能力超分辨率模型的最优方案 [31,57]但当前研究越来越关注轻量化模型的开发 —— 这类模型能够以大幅减少的参数量与更低的计算复杂度逼近大模型的重建性能。在轻量化超分辨率模型的各类设计方案中信息蒸馏连接 [19] 被公认为一种行之有效的方法。该方法通过融合不同层级的特征推动更具辨识度的特征在网络中传递从而实现高效的特征复用在重建精度与计算效率之间取得更佳的平衡。RFDN [32] 对信息多蒸馏网络 [19] 进行了改进优化提出了适配性更强、更轻量化的多特征蒸馏连接结构斩获 AIM 2020 高效超分辨率挑战赛冠军 [54]。BSRN [30] 则将残差特征蒸馏连接与高效注意力模块相结合并采用蓝图可分离卷积BSConv[14] 对 RFDN 中的冗余卷积进行重参数化最终获得 NTIRE 2022 高效超分辨率挑战赛模型复杂度赛道第一名。此外RFLN [25] 通过残差局部特征块提升了 RFDN 的运行效率在保留模型容量的同时减少了网络碎片化结构拿下了该赛事的运行速度赛道冠军。最新提出的 VAPSR [60] 采用简洁的网络结构与更少的参数量实现了当前最优性能。该方法对像素注意力机制 [59] 进行增强引入大核卷积并实现了高效的深度可分离大核卷积。仅需 RFDN 28.18% 的参数量VAPSR 即可达到与之相当的重建效果且性能优于 BSRN。尽管 BSRN 在模型参数量与计算量层面取得了显著进展但过多的残差连接以及复杂的注意力模块即对比度感知注意力 CCA [19] 与增强空间注意力 ESA [32]导致模型计算效率偏低。正如 RLFN 中所分析的结构复杂的 ESA 模块存在冗余且难以定量分析其中真正发挥作用的部分。VAPSR 虽取得了优于 BSRN 的性能但由于存在大量低效的逐元素相乘运算模型运行速度较慢。因此移除网络中的冗余模块并引入更高效的组件能够构建出效率更高的超分辨率网络。本文以 BSRN 为基础模型提出一种新型轻量化超分辨率网络 —— 大核蒸馏网络Large Kernel Distillation Network, LKDN。该方法简化了网络结构采用更高效的大核注意力Large Kernel Attention, LKA模块在提升模型性能的同时降低了计算开销。本文验证了 LKA 在轻量化超分任务中的有效性并进一步引入重参数化技术在不增加任何额外计算成本的前提下提升模型性能。为实现更快的收敛速度与当前最优SOTA性能本文引入了最新提出的 Adan 优化器 [52]该优化器已在高层计算机视觉、自然语言处理NLP、强化学习等多个任务中取得优异表现。如图 1 所示本文提出的 LKDN 在现有面向效率的超分辨率网络中达到了最优性能。图1.Urban100[18]和SR(×4)上的模型性能和复杂性比较。本文的主要贡献如下1通过分析 BSRN [30] 与 VAPSR [60] 的计算效率本文通过简化模型结构、引入更高效的注意力模块在减少参数量与计算消耗的同时实现了更优的重建性能。2采用重参数化技术在不引入额外推理负担的前提下提升了模型性能。3引入了一种可同时提升单图像超分模型训练速度与重建性能的新型优化器。2. Related Work2.1. Efficient SR Models近年来轻量化超分辨率网络在移动设备、嵌入式系统等资源受限场景中具备重要应用价值因而受到越来越多的关注。现有研究提出了大量轻量化超分模型旨在降低计算开销与内存占用同时保留模型容量、实现令人满意的重建性能。轻量化超分网络的常用设计策略包括网络剪枝 [15, 36, 58]、参数共享 [23, 45]、知识蒸馏 [12, 16, 56]、深度可分离卷积 [2, 30, 41, 43]、注意力机制 [13, 19, 32, 59, 60]、高效上采样方法 [26, 40, 47, 59] 以及重参数化技术 [3, 55]。除上述技术手段外在网络结构设计层面信息蒸馏连接 [19, 25, 30, 32] 已被证实是构建轻量化超分网络架构的有效方案。因此本文在 LKDN 中保留了信息蒸馏的网络拓扑设计同时对注意力机制进行增强并引入重参数化技术。2.2. Large Kernel Design自VGG[42]提出以来像3×3这样的小卷积核因其高效和轻量级而得到了广泛的应用。Transformer[49]作为一种通过全局自我注意操作获得更大接受场的模型在自然语言处理中取得了优异的表现。此外全局[11]和局部[34]视觉Transformer在计算机视觉领域都表现出了令人印象深刻的表现。这一特性促使研究人员利用更大的卷积核来设计更好的卷积神经网络(CNN)。例如ConvNeXt[35]使用较大的卷积内核来获得更大的接受域并获得与Swin-Transformer相当的性能。RepLKNet[7]使用深度卷积和重新参数化将内核扩展到31×31在各种任务上获得与Swin-Transformer相当或更好的结果。Van[13]探索了注意机制在CV中的有效应用并提出了一种新的大核注意(LKA)模型。Slak[33]从稀疏性的角度提出了一种应用极大核的方法允许将核平滑地扩展到61×61并提高性能。受此启发我们提出了一种具有大核注意力(LKA)的大核蒸馏块(LKDB)以进一步提高LKDN的表示能力。2.3. Re-parameterization重新参数化是一种设计轻量级模型的实用技术它可以在不增加推理负担的情况下提高性能。ACNet[5]使用非对称卷积来加强核结构比常规卷积产生更好的结果。RepVGG [8] 将标准 3×3 卷积拆解为包含恒等映射的多分支拓扑结构1×1卷积和3×3卷积使传统的VGG风格的CNN在几个高级视觉任务上获得与SOTA相似的性能和更快的推理速度。多分支卷积块Diverse Branch Block, DBB[6] 融合了不同尺度、不同复杂度的多种分支以丰富特征空间构建出一种与 Inception [44] 结构类似的卷积网络单元。MobileOne[48]利用重新参数化技术来提高模型的准确性和速度最终在有效的架构中实现SOTA性能同时在移动设备上的速度要快很多倍。结果。我们使用重新参数化技术来优化LKDN中的特征提取块。Diverse Branch Block (DBB)多分支卷积块是深度卷积重参数化领域的经典工作。训练阶段采用多分支并行结构增强特征表达能力推理阶段可通过数学等价变换合并为单个卷积核完全不增加推理开销。LKDN 中 RBSB 模块的重参数化设计正是延续了这一技术范式。InceptionGoogLeNet 提出的经典多尺度卷积单元通过不同尺寸卷积核并行提取多尺度特征。DBB 在结构形态上与 Inception 类似核心差异在于 DBB 新增了推理阶段的权重合并能力兼顾训练收益与推理效率。2.4. Adan OptimizerAdam 优化器 [24] 被广泛应用于深度学习的各个领域。该方法通过一阶与二阶梯度矩估计为每个参数动态调整学习率相比随机梯度下降SGD具备更快的收敛速度。然而Adam 仍存在不收敛 [39] 与易陷入局部最优 [21, 51] 等缺陷。近年提出的 Adan 优化器 [52] 融合了改进的 Nesterov 动量、自适应优化与解耦权重衰减机制。Adan 通过外推点提前感知梯度信息能够高效跳出尖锐局部极小值提升模型泛化能力。大量实验验证表明在卷积神经网络与 Transformer 架构上Adan 优化器的性能均优于现有主流最优优化器。据此本文将 Adan 算法应用于轻量化超分辨率任务。3. Method3.1. Network Architecture我们的方法遵循与BSRN[30]相同的框架设计如图2所示。它包括四个组件浅层特征提取、多层特征提取块、多层特征融合和图像重建块。与传统超分辨率模型不同本文方法在预处理阶段将输入图像复制 n 份再将所有复制后的图像在通道维度拼接。给定输入低分辨率图像 I_LR该过程可表示为其中Concat(·)表示沿通道维度的拼接操作n为输入低分辨率图像I_LR的复制份数。随后通过一层 3×3 BSConv 完成初始特征提取从输入 LR 图像中生成浅层特征表达式为式中h_ext(·)为浅层特征提取模块F_0为输出的浅层特征。BSConv 的结构如图 3 (b) 所示由一层 1×1 卷积与一层深度卷积串联构成。图b蓝图可分离卷积Blueprint Separable Convolution, BSConvLKDN 的后续模块通过堆叠多个大核蒸馏块LKDB提取深度特征该过程可公式化表示为其中 H_LKDB^k(·)表示第 k 个大核蒸馏块m 为网络中 LKDB 的堆叠数量F_k为第 k 个 LKDB 的输出特征。经 LKDB 逐级提炼后所有中间特征通过一层 1×1 卷积与 GELU [17] 激活函数完成融合与激活再经由一层 3×3 BSConv 对融合特征进行平滑处理。该多层特征融合过程可公式化表示为其中H_fusion表示特征融合模块F_fusion为融合后的特征。最后模型中引入跳跃连接以强化残差学习并通过图像重建模块输出超分辨率图像表达式为其中 H_rec(·)表示图像重建模块I_SR 为模型的最终输出。重建过程仅包含一层 3×3 卷积与像素重组操作 [40]。3.2. Rethinking the BSRNESA、CCA 与多重残差连接提升了 BSRN 模型的重建性能但复杂的结构也导致其计算效率偏低。RLFN 采用基于一次性结构化剪枝算法的剪枝灵敏度分析工具对 ESA 模块的冗余性进行分析发现该模块存在显著的结构冗余。据此本文移除了 BSRN 中的 ESA 与 CCA 模块转而引入效率更高的注意力模块。近年研究 [13, 60] 表明合理运用大核卷积能够在将模型复杂度控制在可接受范围内的同时有效提升重建性能。其核心思想在于传统 3×3 小卷积核需要堆叠大量层数才能获得足够大的感受野而直接使用大尺寸卷积核虽然能一次性覆盖更广的空间范围却会带来平方级的参数量与计算量增长。大核卷积分解正是为化解这一矛盾而提出的折中方案它把一次大核卷积拆解为若干轻量化的子卷积串联从而在保持大感受野的同时把复杂度压到接近线性水平。VAN [13] 采用卷积分解思路将大核卷积拆分为空间局部卷积、空间长距离卷积与通道卷积三个部分。具体而言一个尺寸为 K×K 的卷积被分解为一个尺寸为 (2d-1)×(2d-1) 的深度卷积、一个卷积核尺寸为 ⌈K/d⌉×⌈K/d⌉ 且膨胀系数为 d 的深度空洞卷积以及一个1×1 卷积。这三部分各司其职深度卷积负责捕获邻域内的局部细节深度空洞卷积以稀疏采样的方式把感受野扩展到 K×K 级别1×1 卷积则在通道维度上完成跨通道的信息交互与融合。通过大核卷积分解模型能够以极低的计算成本与参数量捕获长距离特征依赖。与 VAPSR 的设计思路相近本文采用不同的卷积排布顺序实现卷积分解最终得到的 LKA 模块如图 3 (c) 所示其表达式如下图(c) 大核注意力Large Kernel Attention, LKAConv-DW-D 全称Depthwise Dilated Convolution 中文空洞深度卷积 / 膨胀深度卷积其中Conv_DW-D(·)与Conv_DW(·)分别表示空洞深度卷积与深度卷积X_atten为注意力图\otimes表示逐元素相乘操作F为输入特征。本文将 17×17 的大核卷积分解为一层 1×1 点卷积、一层 5×5 深度卷积以及一层卷积核尺寸为 5、膨胀系数为 3 的深度空洞卷积在降低模型复杂度的同时提升了重建性能。用 LKA 模块替代 ESA 与 CCA 模块还可进一步提升模型的推理速度。3.2.1 Re-parameterization文献 [55] 指出过多的跳跃连接操作会提升内存访问开销并增加推理时延。而 BSRN 所采用的高效可分离蒸馏块ESDB中包含四路跳跃连接。针对这一问题本文将 ESDB 中的残差连接替换为可重参数化跳跃连接并补充 BSConv 分支。为替代 BSRN 中的蓝图浅层残差块BSRB本文提出了重参数化蓝图浅层块Re-parameterized Blueprint Shallow Block, RBSB结构如图 3 (d) 所示。具体而言本文分别在 1×1 点卷积与 3×3 深度卷积处引入可重参数化跳跃连接同时在 3×3 深度卷积支路旁并联一路 1×1 深度卷积分支。图d重参数化蓝图浅层块Re-parameterized Blueprint Shallow Block, RBSB重参数化过程分为两步。首先输入特征F_0送入可重参数化的 1×1 点卷积随后对特征执行可重参数化的 3×3 深度卷积因此利用重参数化技术得到的推理阶段 F_1、F_2 的表达式如下3.2.2 Large Kernel Distillation Block在分析 BSRN 与 VAPSR 的结构特点之后本文设计了效率更高的大核蒸馏块LKDB。LKDB 的完整结构如图 3 (a) 所示它由四个部分组成特征蒸馏、特征融合、特征增强以及特征变换。在第一阶段给定输入特征F_in特征蒸馏操作可表述为图(a) 大核蒸馏块Large Kernel Distillation Block, LKDB其中 D_i、R_i 分别表示第 i 个蒸馏层与第 i 个精炼层。F_di、F_ri 依次为第 i 路蒸馏特征与第 i 路精炼特征。在特征融合阶段将前面所有蒸馏步骤输出的蒸馏特征进行拼接再通过一层 1×1 卷积完成融合表达式为其中 H_fusion代表 1×1 卷积层F_fusion 为融合后的特征。在特征增强阶段本文引入高效大核注意力LKA模块表达式为其中 H_LKA 代表 LKA 模块F_enhance 为增强后的特征。为进一步提升模型性能本文在特征变换阶段采用一层 1×1 卷积同时引入像素归一化模块 [60] 以保证模型训练的稳定性表达式为其中 H_trans 表示 1×1 卷积变换层F_trans 为变换后的特征Norm_pixel 代表像素归一化操作 [60]。最后模块引入一条长跳跃连接以增强模型的残差学习能力表达式为4. Experiments4.1. Datasets and Evaluation Metrics本文采用 DIV2K [1] 数据集中的 800 张图像与 Flickr2K [31] 中的 2650 张图像作为训练集。在常用基准数据集上开展模型评估包括 Set5 [4]、Set14 [53]、B100 [37]、Urban100 [18] 以及 Manga109 [38]。训练数据采用随机水平翻转与 90° 旋转进行数据增强。评价指标选用亮度Y通道上的平均峰值信噪比PSNR与结构相似性SSIM[50]。4.2. Implementation Details该模型由8个LKDB组成精馏结构通道数和注意模块通道数分别设置为56个并使用BSB进行训练以减少训练时间。每个LR输入的小批量大小和输入块大小分别设置为和48×48。我们使用常见的L1损失函数和Adan优化器[52]来训练模型β10.98β20.92β30.99。我们将指数移动平均(EMA)设置为稳定训练的0.999。在整个1×106训练迭代中学习速率被设置为恒定的5×10−3。针对NTIRE 2023高效SR挑战赛我们提出了一个较小版本的LKDN称为LKDN-S。LKDN-S由5个LKDB和42个通道组成并接受RBSB训练。我们还在LKDN-S的上采样层中使用了重新参数化技术。S的训练过程分为两个阶段初始训练阶段和微调阶段。在初始训练阶段我们随机裁剪了128个小批次HR斑块大小为256×256。我们使用常见的L1损失函数对LKDN3进行训练学习速率为5×10−3迭代次数为9.5×10 5。在微调阶段我们设置了HR图像的块大小和批量大小分别为480×480和。该算法采用L2损失函数进行微调学习速率为2×10−5迭代次数为5×10 4次。将均方根值设置为0.999并在两个阶段都应用了ADAN优化器[52]β10.98β20.92β30.99。我们使用PyTorch 1.11和NVIDIA GeForce RTX 3080图形处理器实现所有型号。4.3. Ablation Study4.3.1 Large Kernel Attention本文开展消融实验以验证 LKA 模块的有效性实验结果如表 1 所示。该表中C、A分别代表蒸馏结构与注意力模块的输入通道数。移除 BSRN 中的 ESA、CCA 模块后模型性能出现明显下降。而引入 LKA 模块能够扩大模型的感受野在参数量与计算开销低于 BSRN 的前提下提升重建性能。通过调整蒸馏结构与注意力模块的通道数量模型性能可以得到进一步提升。相较于原始 BSRNLKDN 在 Urban100 [18] 与 Manga109 [38] 数据集上可实现超过 0.1 dB 的指标提升同时参数量与计算开销更低。4.3.2 Re-parameterization为了演示图3(D)中建议的RBSB的有效性我们替换了特征提取结构中的基本块以进行比较。图4(A)显示了BSRN中使用的BSRB而图4(B)说明了通过直接移除剩余连接获得的蓝图浅块(BSB)。表2给出了我们在LKDN-S上进行的评估结果表明消除不必要的残余连接可以在降低模型复杂性的同时提高性能。因此重新参数化可以在保持模型复杂性的同时进一步提高性能。4.3.3 Optimizer以往超分模型的优化大多采用 Adam 优化器 [24]。而 Adan 优化器 [52] 近期在各类视觉任务上取得了前沿效果受到领域研究者的关注。为此本文探究了 Adan 优化器在超分任务上的作用。由表 3 可见相比 Adam 优化器使用 Adan 优化器可将训练速度提升约 10%并且在多个基准数据集上实现显著的性能提升。此外如图 5 所示Adan 优化器拥有更快的收敛速度。4.4. Comparison with the State-of-the-art Methods本文将所提出的 LKDN 与多种前沿轻量化超分辨率算法开展对比评估对比实验涵盖 ×2、×3、×4 三种放大倍率。表 5 展示了各方法的定量对比结果。得益于高效注意力模块的引入LKDN 能够在保持轻量化的同时取得最优重建性能。图 6 为本方法的定性对比结果。结果表明相较于现有方法本文模型重建的图像结构相似度更高。例如在img 11与img 92这两张测试图像上其他方法重建结果存在明显畸变与模糊而本文方法可以精准还原线条结构。此外在img 73中VAPSR 会识别出错误的窗户数量造成 PSNR、SSIM 指标大幅下降而本文方法能够准确复原窗户的数量。表4 对 BSRN、VAPSR 以及 LKDN 做了更深入的对比分析。实验结果表明LKDN 的重建性能优于 BSRN同时推理速度与 BSRN 相当并且相较于 VAPSRLKDN 在性能更优的前提下推理速度更快。5. Conclusion本文提出了一种高效的单图像超分辨率(SISR)解决方案--大核蒸馏网络(LKDN)。通过对一些轻量级模型的仔细分析找出了它们的不足之处并对它们进行了改进以提高LKDN的性能。通过采用大核设计简化模型结构引入更高效的注意模块并采用重新参数化我们在性能和计算效率之间取得了平衡。此外还引入了一种新的优化器来加速LKDN的收敛。大量的实验表明LKDN在性能、参数和多次添加方面都优于目前最先进的高效SR方法。这项工作得到了国家自然科学基金中国基金62102330号和四川省自然科学基金2022NSFSC0947和2022NSFSC0945号的部分资助。 
长河君 · 2026/10/27 10:24:43 · 阅读 1.2k 【图像超分】论文精读：Large Kernel Distillation Network for Efficient Single Image Super-Resolution
Abstract高效轻量化的单幅图像超分辨率(SISR)近年来取得了令人瞩目的性能。一种有效的方法是使用大核设计这已被证明在降低计算要求的同时提高了SISR模型的性能。然而目前最先进的(SOTA)模型仍然面临着计算成本高等问题。为了解决这些问题本文提出了大核蒸馏网络(LKDN)。我们的方法简化了模型结构并引入了更高效的注意模块在降低计算成本的同时提高了性能。具体地说我们使用重新参数化技术在不增加额外成本的情况下提高模型的性能。我们还在SISR中引入了一种新的来自其他任务的优化器提高了训练速度和性能。实验结果表明LKDN的性能优于现有的轻量级SR方法达到了SOTA的性能。1. Introduction单图像超分辨率Single Image Super-Resolution, SISR是底层计算机视觉领域的核心问题旨在根据低分辨率Low Resolution, LR图像重建出其对应的高分辨率High Resolution, HR图像。自 SRCNN [9] 首次将深度学习引入超分辨率任务以来基于深度学习的超分辨率模型得到了迅猛发展。这类算法凭借从低分辨率输入中重建高分辨率图像的优异性能在计算机视觉领域受到广泛关注。尽管更深、更庞大的模型通常被认为是构建强表征能力超分辨率模型的最优方案 [31,57]但当前研究越来越关注轻量化模型的开发 —— 这类模型能够以大幅减少的参数量与更低的计算复杂度逼近大模型的重建性能。在轻量化超分辨率模型的各类设计方案中信息蒸馏连接 [19] 被公认为一种行之有效的方法。该方法通过融合不同层级的特征推动更具辨识度的特征在网络中传递从而实现高效的特征复用在重建精度与计算效率之间取得更佳的平衡。RFDN [32] 对信息多蒸馏网络 [19] 进行了改进优化提出了适配性更强、更轻量化的多特征蒸馏连接结构斩获 AIM 2020 高效超分辨率挑战赛冠军 [54]。BSRN [30] 则将残差特征蒸馏连接与高效注意力模块相结合并采用蓝图可分离卷积BSConv[14] 对 RFDN 中的冗余卷积进行重参数化最终获得 NTIRE 2022 高效超分辨率挑战赛模型复杂度赛道第一名。此外RFLN [25] 通过残差局部特征块提升了 RFDN 的运行效率在保留模型容量的同时减少了网络碎片化结构拿下了该赛事的运行速度赛道冠军。最新提出的 VAPSR [60] 采用简洁的网络结构与更少的参数量实现了当前最优性能。该方法对像素注意力机制 [59] 进行增强引入大核卷积并实现了高效的深度可分离大核卷积。仅需 RFDN 28.18% 的参数量VAPSR 即可达到与之相当的重建效果且性能优于 BSRN。尽管 BSRN 在模型参数量与计算量层面取得了显著进展但过多的残差连接以及复杂的注意力模块即对比度感知注意力 CCA [19] 与增强空间注意力 ESA [32]导致模型计算效率偏低。正如 RLFN 中所分析的结构复杂的 ESA 模块存在冗余且难以定量分析其中真正发挥作用的部分。VAPSR 虽取得了优于 BSRN 的性能但由于存在大量低效的逐元素相乘运算模型运行速度较慢。因此移除网络中的冗余模块并引入更高效的组件能够构建出效率更高的超分辨率网络。本文以 BSRN 为基础模型提出一种新型轻量化超分辨率网络 —— 大核蒸馏网络Large Kernel Distillation Network, LKDN。该方法简化了网络结构采用更高效的大核注意力Large Kernel Attention, LKA模块在提升模型性能的同时降低了计算开销。本文验证了 LKA 在轻量化超分任务中的有效性并进一步引入重参数化技术在不增加任何额外计算成本的前提下提升模型性能。为实现更快的收敛速度与当前最优SOTA性能本文引入了最新提出的 Adan 优化器 [52]该优化器已在高层计算机视觉、自然语言处理NLP、强化学习等多个任务中取得优异表现。如图 1 所示本文提出的 LKDN 在现有面向效率的超分辨率网络中达到了最优性能。图1.Urban100[18]和SR(×4)上的模型性能和复杂性比较。本文的主要贡献如下1通过分析 BSRN [30] 与 VAPSR [60] 的计算效率本文通过简化模型结构、引入更高效的注意力模块在减少参数量与计算消耗的同时实现了更优的重建性能。2采用重参数化技术在不引入额外推理负担的前提下提升了模型性能。3引入了一种可同时提升单图像超分模型训练速度与重建性能的新型优化器。2. Related Work2.1. Efficient SR Models近年来轻量化超分辨率网络在移动设备、嵌入式系统等资源受限场景中具备重要应用价值因而受到越来越多的关注。现有研究提出了大量轻量化超分模型旨在降低计算开销与内存占用同时保留模型容量、实现令人满意的重建性能。轻量化超分网络的常用设计策略包括网络剪枝 [15, 36, 58]、参数共享 [23, 45]、知识蒸馏 [12, 16, 56]、深度可分离卷积 [2, 30, 41, 43]、注意力机制 [13, 19, 32, 59, 60]、高效上采样方法 [26, 40, 47, 59] 以及重参数化技术 [3, 55]。除上述技术手段外在网络结构设计层面信息蒸馏连接 [19, 25, 30, 32] 已被证实是构建轻量化超分网络架构的有效方案。因此本文在 LKDN 中保留了信息蒸馏的网络拓扑设计同时对注意力机制进行增强并引入重参数化技术。2.2. Large Kernel Design自VGG[42]提出以来像3×3这样的小卷积核因其高效和轻量级而得到了广泛的应用。Transformer[49]作为一种通过全局自我注意操作获得更大接受场的模型在自然语言处理中取得了优异的表现。此外全局[11]和局部[34]视觉Transformer在计算机视觉领域都表现出了令人印象深刻的表现。这一特性促使研究人员利用更大的卷积核来设计更好的卷积神经网络(CNN)。例如ConvNeXt[35]使用较大的卷积内核来获得更大的接受域并获得与Swin-Transformer相当的性能。RepLKNet[7]使用深度卷积和重新参数化将内核扩展到31×31在各种任务上获得与Swin-Transformer相当或更好的结果。Van[13]探索了注意机制在CV中的有效应用并提出了一种新的大核注意(LKA)模型。Slak[33]从稀疏性的角度提出了一种应用极大核的方法允许将核平滑地扩展到61×61并提高性能。受此启发我们提出了一种具有大核注意力(LKA)的大核蒸馏块(LKDB)以进一步提高LKDN的表示能力。2.3. Re-parameterization重新参数化是一种设计轻量级模型的实用技术它可以在不增加推理负担的情况下提高性能。ACNet[5]使用非对称卷积来加强核结构比常规卷积产生更好的结果。RepVGG [8] 将标准 3×3 卷积拆解为包含恒等映射的多分支拓扑结构1×1卷积和3×3卷积使传统的VGG风格的CNN在几个高级视觉任务上获得与SOTA相似的性能和更快的推理速度。多分支卷积块Diverse Branch Block, DBB[6] 融合了不同尺度、不同复杂度的多种分支以丰富特征空间构建出一种与 Inception [44] 结构类似的卷积网络单元。MobileOne[48]利用重新参数化技术来提高模型的准确性和速度最终在有效的架构中实现SOTA性能同时在移动设备上的速度要快很多倍。结果。我们使用重新参数化技术来优化LKDN中的特征提取块。Diverse Branch Block (DBB)多分支卷积块是深度卷积重参数化领域的经典工作。训练阶段采用多分支并行结构增强特征表达能力推理阶段可通过数学等价变换合并为单个卷积核完全不增加推理开销。LKDN 中 RBSB 模块的重参数化设计正是延续了这一技术范式。InceptionGoogLeNet 提出的经典多尺度卷积单元通过不同尺寸卷积核并行提取多尺度特征。DBB 在结构形态上与 Inception 类似核心差异在于 DBB 新增了推理阶段的权重合并能力兼顾训练收益与推理效率。2.4. Adan OptimizerAdam 优化器 [24] 被广泛应用于深度学习的各个领域。该方法通过一阶与二阶梯度矩估计为每个参数动态调整学习率相比随机梯度下降SGD具备更快的收敛速度。然而Adam 仍存在不收敛 [39] 与易陷入局部最优 [21, 51] 等缺陷。近年提出的 Adan 优化器 [52] 融合了改进的 Nesterov 动量、自适应优化与解耦权重衰减机制。Adan 通过外推点提前感知梯度信息能够高效跳出尖锐局部极小值提升模型泛化能力。大量实验验证表明在卷积神经网络与 Transformer 架构上Adan 优化器的性能均优于现有主流最优优化器。据此本文将 Adan 算法应用于轻量化超分辨率任务。3. Method3.1. Network Architecture我们的方法遵循与BSRN[30]相同的框架设计如图2所示。它包括四个组件浅层特征提取、多层特征提取块、多层特征融合和图像重建块。与传统超分辨率模型不同本文方法在预处理阶段将输入图像复制 n 份再将所有复制后的图像在通道维度拼接。给定输入低分辨率图像 I_LR该过程可表示为其中Concat(·)表示沿通道维度的拼接操作n为输入低分辨率图像I_LR的复制份数。随后通过一层 3×3 BSConv 完成初始特征提取从输入 LR 图像中生成浅层特征表达式为式中h_ext(·)为浅层特征提取模块F_0为输出的浅层特征。BSConv 的结构如图 3 (b) 所示由一层 1×1 卷积与一层深度卷积串联构成。图b蓝图可分离卷积Blueprint Separable Convolution, BSConvLKDN 的后续模块通过堆叠多个大核蒸馏块LKDB提取深度特征该过程可公式化表示为其中 H_LKDB^k(·)表示第 k 个大核蒸馏块m 为网络中 LKDB 的堆叠数量F_k为第 k 个 LKDB 的输出特征。经 LKDB 逐级提炼后所有中间特征通过一层 1×1 卷积与 GELU [17] 激活函数完成融合与激活再经由一层 3×3 BSConv 对融合特征进行平滑处理。该多层特征融合过程可公式化表示为其中H_fusion表示特征融合模块F_fusion为融合后的特征。最后模型中引入跳跃连接以强化残差学习并通过图像重建模块输出超分辨率图像表达式为其中 H_rec(·)表示图像重建模块I_SR 为模型的最终输出。重建过程仅包含一层 3×3 卷积与像素重组操作 [40]。3.2. Rethinking the BSRNESA、CCA 与多重残差连接提升了 BSRN 模型的重建性能但复杂的结构也导致其计算效率偏低。RLFN 采用基于一次性结构化剪枝算法的剪枝灵敏度分析工具对 ESA 模块的冗余性进行分析发现该模块存在显著的结构冗余。据此本文移除了 BSRN 中的 ESA 与 CCA 模块转而引入效率更高的注意力模块。近年研究 [13, 60] 表明合理运用大核卷积能够在将模型复杂度控制在可接受范围内的同时有效提升重建性能。其核心思想在于传统 3×3 小卷积核需要堆叠大量层数才能获得足够大的感受野而直接使用大尺寸卷积核虽然能一次性覆盖更广的空间范围却会带来平方级的参数量与计算量增长。大核卷积分解正是为化解这一矛盾而提出的折中方案它把一次大核卷积拆解为若干轻量化的子卷积串联从而在保持大感受野的同时把复杂度压到接近线性水平。VAN [13] 采用卷积分解思路将大核卷积拆分为空间局部卷积、空间长距离卷积与通道卷积三个部分。具体而言一个尺寸为 K×K 的卷积被分解为一个尺寸为 (2d-1)×(2d-1) 的深度卷积、一个卷积核尺寸为 ⌈K/d⌉×⌈K/d⌉ 且膨胀系数为 d 的深度空洞卷积以及一个1×1 卷积。这三部分各司其职深度卷积负责捕获邻域内的局部细节深度空洞卷积以稀疏采样的方式把感受野扩展到 K×K 级别1×1 卷积则在通道维度上完成跨通道的信息交互与融合。通过大核卷积分解模型能够以极低的计算成本与参数量捕获长距离特征依赖。与 VAPSR 的设计思路相近本文采用不同的卷积排布顺序实现卷积分解最终得到的 LKA 模块如图 3 (c) 所示其表达式如下图(c) 大核注意力Large Kernel Attention, LKAConv-DW-D 全称Depthwise Dilated Convolution 中文空洞深度卷积 / 膨胀深度卷积其中Conv_DW-D(·)与Conv_DW(·)分别表示空洞深度卷积与深度卷积X_atten为注意力图\otimes表示逐元素相乘操作F为输入特征。本文将 17×17 的大核卷积分解为一层 1×1 点卷积、一层 5×5 深度卷积以及一层卷积核尺寸为 5、膨胀系数为 3 的深度空洞卷积在降低模型复杂度的同时提升了重建性能。用 LKA 模块替代 ESA 与 CCA 模块还可进一步提升模型的推理速度。3.2.1 Re-parameterization文献 [55] 指出过多的跳跃连接操作会提升内存访问开销并增加推理时延。而 BSRN 所采用的高效可分离蒸馏块ESDB中包含四路跳跃连接。针对这一问题本文将 ESDB 中的残差连接替换为可重参数化跳跃连接并补充 BSConv 分支。为替代 BSRN 中的蓝图浅层残差块BSRB本文提出了重参数化蓝图浅层块Re-parameterized Blueprint Shallow Block, RBSB结构如图 3 (d) 所示。具体而言本文分别在 1×1 点卷积与 3×3 深度卷积处引入可重参数化跳跃连接同时在 3×3 深度卷积支路旁并联一路 1×1 深度卷积分支。图d重参数化蓝图浅层块Re-parameterized Blueprint Shallow Block, RBSB重参数化过程分为两步。首先输入特征F_0送入可重参数化的 1×1 点卷积随后对特征执行可重参数化的 3×3 深度卷积因此利用重参数化技术得到的推理阶段 F_1、F_2 的表达式如下3.2.2 Large Kernel Distillation Block在分析 BSRN 与 VAPSR 的结构特点之后本文设计了效率更高的大核蒸馏块LKDB。LKDB 的完整结构如图 3 (a) 所示它由四个部分组成特征蒸馏、特征融合、特征增强以及特征变换。在第一阶段给定输入特征F_in特征蒸馏操作可表述为图(a) 大核蒸馏块Large Kernel Distillation Block, LKDB其中 D_i、R_i 分别表示第 i 个蒸馏层与第 i 个精炼层。F_di、F_ri 依次为第 i 路蒸馏特征与第 i 路精炼特征。在特征融合阶段将前面所有蒸馏步骤输出的蒸馏特征进行拼接再通过一层 1×1 卷积完成融合表达式为其中 H_fusion代表 1×1 卷积层F_fusion 为融合后的特征。在特征增强阶段本文引入高效大核注意力LKA模块表达式为其中 H_LKA 代表 LKA 模块F_enhance 为增强后的特征。为进一步提升模型性能本文在特征变换阶段采用一层 1×1 卷积同时引入像素归一化模块 [60] 以保证模型训练的稳定性表达式为其中 H_trans 表示 1×1 卷积变换层F_trans 为变换后的特征Norm_pixel 代表像素归一化操作 [60]。最后模块引入一条长跳跃连接以增强模型的残差学习能力表达式为4. Experiments4.1. Datasets and Evaluation Metrics本文采用 DIV2K [1] 数据集中的 800 张图像与 Flickr2K [31] 中的 2650 张图像作为训练集。在常用基准数据集上开展模型评估包括 Set5 [4]、Set14 [53]、B100 [37]、Urban100 [18] 以及 Manga109 [38]。训练数据采用随机水平翻转与 90° 旋转进行数据增强。评价指标选用亮度Y通道上的平均峰值信噪比PSNR与结构相似性SSIM[50]。4.2. Implementation Details该模型由8个LKDB组成精馏结构通道数和注意模块通道数分别设置为56个并使用BSB进行训练以减少训练时间。每个LR输入的小批量大小和输入块大小分别设置为和48×48。我们使用常见的L1损失函数和Adan优化器[52]来训练模型β10.98β20.92β30.99。我们将指数移动平均(EMA)设置为稳定训练的0.999。在整个1×106训练迭代中学习速率被设置为恒定的5×10−3。针对NTIRE 2023高效SR挑战赛我们提出了一个较小版本的LKDN称为LKDN-S。LKDN-S由5个LKDB和42个通道组成并接受RBSB训练。我们还在LKDN-S的上采样层中使用了重新参数化技术。S的训练过程分为两个阶段初始训练阶段和微调阶段。在初始训练阶段我们随机裁剪了128个小批次HR斑块大小为256×256。我们使用常见的L1损失函数对LKDN3进行训练学习速率为5×10−3迭代次数为9.5×10 5。在微调阶段我们设置了HR图像的块大小和批量大小分别为480×480和。该算法采用L2损失函数进行微调学习速率为2×10−5迭代次数为5×10 4次。将均方根值设置为0.999并在两个阶段都应用了ADAN优化器[52]β10.98β20.92β30.99。我们使用PyTorch 1.11和NVIDIA GeForce RTX 3080图形处理器实现所有型号。4.3. Ablation Study4.3.1 Large Kernel Attention本文开展消融实验以验证 LKA 模块的有效性实验结果如表 1 所示。该表中C、A分别代表蒸馏结构与注意力模块的输入通道数。移除 BSRN 中的 ESA、CCA 模块后模型性能出现明显下降。而引入 LKA 模块能够扩大模型的感受野在参数量与计算开销低于 BSRN 的前提下提升重建性能。通过调整蒸馏结构与注意力模块的通道数量模型性能可以得到进一步提升。相较于原始 BSRNLKDN 在 Urban100 [18] 与 Manga109 [38] 数据集上可实现超过 0.1 dB 的指标提升同时参数量与计算开销更低。4.3.2 Re-parameterization为了演示图3(D)中建议的RBSB的有效性我们替换了特征提取结构中的基本块以进行比较。图4(A)显示了BSRN中使用的BSRB而图4(B)说明了通过直接移除剩余连接获得的蓝图浅块(BSB)。表2给出了我们在LKDN-S上进行的评估结果表明消除不必要的残余连接可以在降低模型复杂性的同时提高性能。因此重新参数化可以在保持模型复杂性的同时进一步提高性能。4.3.3 Optimizer以往超分模型的优化大多采用 Adam 优化器 [24]。而 Adan 优化器 [52] 近期在各类视觉任务上取得了前沿效果受到领域研究者的关注。为此本文探究了 Adan 优化器在超分任务上的作用。由表 3 可见相比 Adam 优化器使用 Adan 优化器可将训练速度提升约 10%并且在多个基准数据集上实现显著的性能提升。此外如图 5 所示Adan 优化器拥有更快的收敛速度。4.4. Comparison with the State-of-the-art Methods本文将所提出的 LKDN 与多种前沿轻量化超分辨率算法开展对比评估对比实验涵盖 ×2、×3、×4 三种放大倍率。表 5 展示了各方法的定量对比结果。得益于高效注意力模块的引入LKDN 能够在保持轻量化的同时取得最优重建性能。图 6 为本方法的定性对比结果。结果表明相较于现有方法本文模型重建的图像结构相似度更高。例如在img 11与img 92这两张测试图像上其他方法重建结果存在明显畸变与模糊而本文方法可以精准还原线条结构。此外在img 73中VAPSR 会识别出错误的窗户数量造成 PSNR、SSIM 指标大幅下降而本文方法能够准确复原窗户的数量。表4 对 BSRN、VAPSR 以及 LKDN 做了更深入的对比分析。实验结果表明LKDN 的重建性能优于 BSRN同时推理速度与 BSRN 相当并且相较于 VAPSRLKDN 在性能更优的前提下推理速度更快。5. Conclusion本文提出了一种高效的单图像超分辨率(SISR)解决方案--大核蒸馏网络(LKDN)。通过对一些轻量级模型的仔细分析找出了它们的不足之处并对它们进行了改进以提高LKDN的性能。通过采用大核设计简化模型结构引入更高效的注意模块并采用重新参数化我们在性能和计算效率之间取得了平衡。此外还引入了一种新的优化器来加速LKDN的收敛。大量的实验表明LKDN在性能、参数和多次添加方面都优于目前最先进的高效SR方法。这项工作得到了国家自然科学基金中国基金62102330号和四川省自然科学基金2022NSFSC0947和2022NSFSC0945号的部分资助。