轻量级高精度遥感图像超分辨率方法：基于重参数化特征增强网络的研究

《Remote Sensing》：Towards Lightweight and Accurate Remote-Sensing Image Super-Resolution via Reparameterized Feature Enhancement Network

　　

遥感图像超分辨率（Remote-Sensing Image Super-Resolution，RSISR）为地球观测与卫星影像解译提供了一种提升空间细节的有效手段。然而，现有方法往往依赖日益复杂的网络设计，通过加深层次与扩展通道容量来追求更高性能，导致模型沉重、计算成本高昂，制约了其在资源受限平台上的部署。针对该挑战，研究人员提出了一种新颖的重参数化特征增强网络（Reparameterized Feature Enhancement Network，RepFEN），用于轻量且准确的RSISR任务。具体而言，设计了多尺度重参数化模块（Multi-scale Reparameterized Module，MRepM）以捕获多尺度空间信息并增强纹理表征；进一步引入部分通道门控注意力模块（Partial-channel Gated Attention Module，PCGAM），沿通道维度选择性增强判别性特征，有效改善细粒度细节恢复。通过整合结构重参数化与多尺度轻量模块，所提方法在重建精度与推理效率间取得更优平衡。在两个遥感及五个自然图像超分辨率基准上的大量实验表明，该方法相较现有最优方法在保持极小计算开销的同时获得了更优性能，展现出面向实际应用的显著潜力。

研究背景方面，单图像超分辨率（Single-Image Super-Resolution，SISR）旨在由低分辨率（Low-Resolution，LR）图像重建高分辨率（High-Resolution，HR）图像，是底层视觉基础问题。随着遥感技术广泛应用，对遥感影像空间分辨率需求持续增长，HR影像可为智能解译提供基础并影响检测与分类等中高层任务。但传感器硬件与传输带宽限制常致画质下降，直接升级光学系统或发射新卫星成本高且不灵活，故RSISR作为低成本方案受关注。现有RSISR方法多借鉴自然图像SR的深度模型，但遥感图像含更复杂城市结构、更大尺度变化与细粒度纹理，需更强上下文建模与复杂退化鲁棒性。许多方法引入残差学习、多尺度设计与注意力机制，甚至Transformer、扩散模型与频率辅助Mamba，但深骨干与复杂架构带来显著内存计算开销，限制机载或实时平台部署。近期轻量RSISR研究尝试紧凑反馈、蒸馏与重参数化（如ReFDN将训练918K参数降至推理343K），但缺乏多尺度建模或难解耦训练推理。因此，如何在严格计算约束下联合表征多尺度局部纹理与长程上下文，成为核心难题。

为应对上述问题，研究人员开展RepFEN研究，提出以重参数化特征增强模块（Reparameterized Feature Enhancement Module，RepFEM）为核心单元的轻量网络，由MRepM与PCGAM协同构成。MRepM在训练时采用两组多分支卷积（3×3与5×5主分支各配四并行支），推理时通过结构重参数化折叠为紧凑等效卷积；PCGAM仅对部分通道做门控注意力，用渐进感受野的深度可分离与空洞深度可分离卷积构造K/Q/V，以低开销精炼长程自相似纹理。整个RepFEN含浅层提取、深层提取（级联8个RepFEM，48通道）、多层特征融合与重建，并以双线性全局残差分支提供低频基底，优化采用L₁损失。研究人员在AID与UCMerced遥感集及Set5、Set14、BSD100、Urban100、Manga109自然基准上，以DF2K训练通用模型，bicubic退化，PSNR/SSIM评估。结论表明：RepFEN在遥感集上较ReFDN平均PSNR提升约0.21–0.23 dB且参数更少6.4%，在自然基准亦优于IMDN、RFDN、ECBSR、RepRFN等轻量模型，验证其精度-效率平衡与跨域泛化能力；意义在于为资源受限卫星与边缘平台实时RSISR提供可部署范式，其“多分支重参数卷积+部分通道门控注意力”具广义设计迁移价值。论文发表于《Remote Sensing》。

关键技术方法概括（不超250字）：研究人员采用结构重参数化（训练多分支、推理单分支等效卷积）实现MRepM多尺度局部增强；设计PCGAM对比例r=0.5的部分通道做渐进感受野（K:1×1 DWConv+3×3 DWDConv，Q:3×3+5×5，V:5×5+7×7）门控交互（Q·K经SiLU乘V）；网络为8级RepFEM级联（48通道），配双线性上采样全局残差；训练用AID（8:2切分）与DF2K（3450图）作遥感/自然源，Adam+EMA，旋转翻转增强，L₁损失，RTX3090训练、2080Ti测延迟。

研究结果部分保留小标题叙述如下。

1. 3.
   Methodology（方法论）：研究人员构建RepFEN四部件架构，给出式(1)-(5)映射与L₁损失。RepFEM内MRepM先提局部高频得F_local，PCGAM再 refin 得F_attn，残差加回。MRepM分组（组1主3×3四支、组2主5×5四支）训练多分支，推理依式(13)-(16)将核零填对齐聚合为单3×3与5×5等效卷积，保LayerNorm与GELU。PCGAM依式(17)按r切通道，式(18)-(20)用DWConv/DWDConv造多尺度K/Q/V，式(21)-(22)算QK^T经SiLU乘V后与剩余通道拼接1×1卷积输出。结论：局部到全局渐进增强且推理等价数值一致。
2. 4.
   Experiments and Results（实验与结果）：4.1在AID（10000图30类）、UCMerced（2100图21类）及五自然集评估；4.2实现8 RepFEM/48通道/DF2K或AID训练；4.3消融中，表1去MRepM或PCGAM均掉点，完整RepFEM较ResBlock基线Urban100/Manga109提0.27/0.35 dB且延迟8.36→6.66 ms；表2双线性分支提0.15/0.20 dB；表3重参数化后参/FLOPs大降、输出差≤1e-5、耗时近半；表4两组卷积优于单混组或单5×5；表5四分支全开最优；表6 r=0.5兼顾精度（r=1.0虽最高但FLOPs20.7G/11.05ms，r=0.25降至14.8G/6.66ms仅掉0.10/0.12 dB）；表7完整QKV门控较无门控提约0.2 dB；表8多尺度核较单尺度Urban100/Manga109提0.17/0.12 dB。4.4定量上表9 RepFEN于UCMerced/AID ×2/×3/×4均红蓝领先，较ReFDN提0.21/0.23 dB，较RepRFN提0.17/0.10 dB；表10五自然集×2/×3/×4多数居首；定性图5-7显示停车场线框、网球场纹理、BSD100边缘均更锐利无伪影；表11-12参数量级343K–400K、FLOPs约14.8G、2080Ti延迟6.66ms，优于LGCNet/DCM/CTN/ReFDN。
3. 5.
   Discussion（讨论）：研究人员指出优势源于MRepM与PCGAM协同——前者多尺度重参数局部纹理，后者部分通道门控长程自相似，消融证互补。局限有三：MRepM固定尺度难覆盖极端尺度目标；×8/×16极高倍率因LR信息不足遇瓶颈；参数仍可进一步压缩供极边缘设备。未来方向含动态尺度分配、文本提示先验、结构化剪枝与蒸馏。
4. 6.
   Conclusions（结论翻译）：本研究开发了RepFEN，一种基于重参数化特征增强的轻量准确RSISR网络，以降低现有方法计算负担与推理延迟。具体提出由MRepM与PCGAM构成的RepFEM，同步增强局部细节恢复与全局结构建模。MRepM训练用多分支多尺度卷积强化表征，推理折叠为紧凑卷积降本；PCGAM以低开销精炼长程上下文与重复空间模式，提升复杂遥感场景判别表征。两遥感集与五自然基准实验显示RepFEN在重建质量与模型复杂度间取得更优平衡。