一种改进的轻量级、可扩展的注意力引导超分辨率方法在遥感图像增强中的应用 庞博宇（Boyu Pang）和 刘寅年（Yinnian Liu）

《Applied Sciences》：The Use of an Improved Lightweight Scalable Attention-Guided Super-Resolution Method for Remote Sensing Image Enhancement Boyu Pang and Yinnian Liu

　　摘要：为了解决遥感卫星成像中实时重建的迫切需求，以及在低光照条件下从暗背景中提取稀疏目标特征的困难，本文提出了一种轻量级、可扩展的注意力引导的超分辨率重建框架（SASR）。该框架采用了一种高效、可扩展的视觉主干网络，并结合分阶段特征提取，在三个层次化尺度上捕获具有区分性的信息。进一步引入了一种改进的经典MS-CAM结构的多尺度通道注意力模块，以全面融合高层次的语义特征和低层次的纹理细节。最后，通过堆叠的亚像素卷积操作实现高精度的图像超分辨率增强。所提出的方法在保持优异的轻量级特性的同时，还具备快速的推理效率，并嵌入了有效的通道注意力优化机制，以实现准确的特征表示。在GF-5卫星数据集上的实验验证表明：在2倍放大倍数下，该模型获得了32.2346 dB的PSNR和0.8791的SSIM；在3倍放大倍数下，获得了31.6040 dB的PSNR和0.8376的SSIM；在4倍放大倍数下，PSNR仍保持在30 dB以上，SSIM超过0.8。该框架在海洋遥感图像数据集上也展现了出色的泛化性能。与最近的一些超分辨率方法在多个公共数据集上的对比实验进一步验证了所提出方法的有效性和实际优越性。

1. 引言
在遥感图像处理中，轻量级和快速推理模型对于需要实时增强和高质量输出的实际应用场景变得越来越重要。对于在轨遥感超分辨率任务而言，必须在保持低计算复杂性的同时恢复精细细节，以便能够在资源有限的设备上部署算法。在最近的计算机视觉研究中，最初为视觉理解任务开发的轻量级单阶段特征提取架构和注意力机制在图像重建中显示出很强的适用性。引入这些成熟的设计可以有效提高推理效率和重建精度，反映了现代深度学习策略良好的跨任务泛化能力。典型的轻量级单阶段网络在快速端到端特征解析和低延迟视觉分析方面表现出色。它们紧凑的主干网络设计和一次性预测机制为构建高效的超分辨率流程提供了宝贵的参考，特别适合资源受限的实时增强应用。同时，注意力机制使网络能够自适应地强调信息丰富的区域并抑制冗余特征。当这些机制嵌入到超分辨率模块中时，它们引导模型关注需要精细恢复的纹理丰富区域，从而提高客观评估指标和视觉真实感。然而，最近的CNN-Transformer混合超分辨率方法虽然通过Transformer的全局建模能力提高了性能，但不可避免地引入了大量的参数、高推理延迟和复杂的部署难度，这不适合轻量级应用场景。此外，当前超分辨率工作中常用的注意力模块大多是从通用计算机视觉任务迁移而来的；如何定制它们以自适应地突出高频纹理特征并抑制冗余背景干扰，实现细节感知的特征增强，在遥感图像超分辨率任务中仍然是一个挑战。因此，本文提出了一种可扩展的注意力引导的超分辨率框架（SASR）。主要改进包括：
(1) 构建了一个优化的轻量级层次化主干网络，以加强多尺度特征提取，支持实时重建的高效信息编码。
(2) 嵌入了一个改进的多尺度通道注意力模块，以增强先验特征建模，使网络能够自适应地关注需要细节补偿的关键区域。
(3) 采用低光照遥感数据进行训练和验证，以提高在具有挑战性的成像条件下的恢复鲁棒性。所提出的方法在重建质量和模型复杂性之间取得了良好的平衡。
本文的主要贡献是一种轻量级、可部署的超分辨率流程的架构设计，有效地弥合了高效目标检测主干网络和低级遥感增强之间的差距。本文为如何针对像素级超分辨率任务定制检测主干网络提供了蓝图，同时最大限度地减少性能下降和硬件兼容性。我们的核心任务特定适应创新在于根据超分辨率退化图像的特征分布特性优化注意力激活范围和特征融合，使网络能够动态关注关键重建区域，如纹理边缘和复杂结构，并有效抑制轻量级超分辨率方法中常见的过度平滑伪影。

本文的其余部分组织如下：第2节回顾了遥感图像超分辨率的应用需求和最新进展；第3节详细阐述了所提出的方法；第4节描述了实验设置；第5节展示了结果和比较；最后，第6节总结了工作并概述了未来的研究方向。

2. 相关工作
本节描述了相关工作的发展和亮点以及最近的方法。

2.1. 轻量级单阶段视觉特征提取框架
单阶段轻量级卷积架构是最初为高效视觉特征定位任务设计的经典深度学习框架。它们以在实时图像和视频分析中实现快速准确的特征解析而闻名。早期的视觉理解方法大多采用两阶段范式：首先提取候选区域特征，然后对这些选定的区域进行类别分类[1]。相比之下，单阶段框架将视觉特征定位重新定义为端到端回归优化问题[2]。近年来，这类轻量级单阶段网络形成了成熟的技术体系，并成为高效视觉分析的行业标杆。它们可以在多样化的硬件平台上稳定部署，并应用于复杂场景，展现出在推理速度和轻量级部署方面的显著优势。典型轻量级单阶段网络的技术演变反映了实时视觉特征提取效率和精度的持续优化[3]（见表1）。表1总结了代表性的YOLO架构及其发展。YOLO系列架构为我们的遥感图像超分辨率网络设计提供了关键见解。虽然YOLO是一个代表性的目标检测框架，但其核心设计理念与遥感图像超分辨率要求高度契合：在其迭代升级过程中，YOLO始终解决了关键视觉任务挑战，包括对小密集目标的细粒度感知、精确的特征定位以及推理速度和精度的平衡优化[4]，每次结构升级都进一步增强了效率和精度之间的兼容性。其核心设计理念——包括轻量级特征提取、多尺度特征融合、高效的长距离依赖建模和感受野增强——也满足了遥感图像超分辨率的固有需求，即在大型图像上的高效推理、多尺度场景感知以及遥感图像中细粒度纹理和结构细节的稳健保留。

在遥感研究中，图像超分辨率重建是一项核心技术，用于弥补传感器空间分辨率的局限性并提高卫星图像的可用性。尽管单阶段轻量级架构最初以高效的实时特征定位而闻名，但将它们的结构优势和核心设计概念引入遥感图像超分辨率逐渐成为一项有价值的研究方向。将经典轻量级单阶段网络的高效结构理念整合到遥感图像超分辨率中，可以为当前领域的技术瓶颈提供创新解决方案[5]。低光照遥感成像支持许多实际场景，如环境监测、城市规划和安全预警，这些场景需要高空间分辨率和稳定的特征提取能力来处理复杂的地面对象。这类网络固有的优势——轻量级设计、快速推理、稳定的特征表达和高精度——与上述实际需求高度兼容，为低光照遥感超分辨率技术提供了新的优化路径。
(1) 高空间分辨率和精确的特征保留：在低光照遥感场景中准确解释地面对象细节依赖于高分辨率重建和可靠的特征识别，特别是对于建筑物、道路和植被等典型目标。得益于出色的多目标特征解析能力，优化的轻量级网络结构可以与超分辨率重建相结合：它不仅提高了图像的空间分辨率，还保留并增强了重建图像中的关键纹理特征，有效地提高了后续遥感解释的实用性和分析可靠性。
(2) 大面积覆盖的高效处理：遥感数据通常覆盖广阔的地理区域，需要算法支持大规模数据集的处理，同时确保完整细节的保留。经典轻量级网络的端到端一次性处理机制显著提高了大面积遥感数据的计算效率，并适应了大规模卫星图像资源的特性。
(3) 实时和低延迟推理：许多紧急场景，如灾难预警和动态安全监控，需要接近实时的图像增强和分析。单阶段架构的轻量级属性和快速推理优势可以满足这些需求。这种网络理念与超分辨率技术的结合可以实现遥感图像的快速、高质量重建，并支持紧急任务中的及时决策。
(4) 在复杂场景中的强泛化能力：遥感图像包含多样的地形和地貌类型，需要算法对不同的地面对象特征具有稳定的泛化能力。成熟轻量级网络的多类别自适应特征提取能力确保了在多种场景中的稳定重建性能，进一步优化了城市规划、农业分类和自然资源调查的超分辨率结果的整体质量。

总之，将轻量级单阶段端到端框架的成熟设计理念融入低光照遥感图像超分辨率中，可以更好地发挥其在快速推理、轻量级部署和稳定特征表达方面的优势。这种整合不仅提高了遥感图像的空间重建精度，还保证了高效的操作和稳定的场景泛化能力，从而有效优化了低光照遥感的数据质量，满足了细粒度和高效遥感图像分析的实际需求。

2.2. 其他最近的轻量级超分辨率方法
遥感图像与自然场景图像有本质区别，其独特的数据特性为超分辨率技术带来了特定而复杂的挑战，这也决定了轻量级遥感超分辨率方法的发展方向。遥感图像覆盖了多样的地表类型，包括城市、海洋、植被和沙漠，并且经常包含如海洋船只、小型建筑和地面设施等稀疏目标，这些目标需要超分辨率模型具备增强目标特征的能力，以避免关键目标信息的丢失。同时，关键的地理信息（如道路边缘、作物边界和河流系统）分布在图像的多个尺度上，大气干扰和传感器硬件的高频噪声也常常混入其中，这对模型提取多尺度细节和抑制噪声的能力提出了更高的要求。面对上述挑战，轻量级遥感超分辨率方法多年来形成了一套成熟和系统的核心设计原则，这些原则在主流模型中得到了交叉整合，以实现效率和精度之间的平衡[6,7]，同时针对遥感图像的任务进行了特定优化，例如针对海洋和城市遥感场景的稀疏目标增强模块，以及高光谱图像超分辨率的光谱一致性约束，使模型更能适应遥感的实际应用需求[8]。近年来，轻量级遥感超分辨率研究取得了丰富的前沿进展，主流方法主要分为基于CNN的纯轻量级模型、混合CNN-Transformer模型、频域优化模型和动态尺度超分辨率模型[9]，每种方法都有其自身的技术特点和应用场景，它们都专注于轻量级设计的核心目标。基于CNN的模型仍然是轻量级遥感超分辨率的主要力量，因为它们具有出色的硬件兼容性和低计算复杂性[10]。在残差网络和密集网络的基础上，它们整合了高效的卷积模块、注意力优化和特征蒸馏，进一步压缩了模型体积，同时提高了重建性能。例如MSSR等代表性模型已在顶级期刊上发表，这些模型采用了多级监督结构和轻量级基本超分辨率组件，可以灵活调整超分辨率比例因子，在UCMerced和AID数据集上取得了优于传统方法（如VDSR和RCAN）的性能[11]。这些模型在GF-5、Sentinel-2和NWPU-RESISC45等标准遥感数据集上实现了具有竞争力的PSNR和SSIM指标，并显著降低了推理延迟，适用于大面积遥感图像的实时处理[12]。混合CNN-Transformer模型是近年来轻量级遥感超分辨率的重要发展方向，它们利用CNN的高效局部特征提取能力和Transformer的长距离特征依赖建模能力，同时通过轻量化改进Transformer模块避免了全规模Transformer模型的高计算成本。代表性方法如CNN-Transformer聚合模型采用了优化的Transformer结构，并构建了具有CNN分支的双分支或多分支网络架构。CNN-Transformer聚合模型利用CNN识别高频信息，利用Transformer提取全局信息，并通过基于注意力的聚合模块将两者融合在一起，在AID数据集上相比MM-realSR模型平均提高了1.61 dB的PSNR [13]。这类模型在大型和异构遥感场景的重建方面取得了显著改进，且其参数规模和计算复杂度远低于纯Transformer模型，同时保持了轻量级设计的特性 [14]。对于广泛应用于高纬度成像和夜间监控的低光照遥感图像超分辨率（SR）场景，也不断创新出了具有抗噪能力的轻量级模型。例如Lighten-MST采用双分支网络架构，一个分支负责增强光照和抑制低光照噪声，另一个分支负责恢复高频细节。Lighten-MST专为低光照光谱重建设计，在LOL-HSI数据集上仅用2.06 M个参数就实现了超过33 dB的PSNR，增强了复杂低光照条件下光谱成像系统的鲁棒性 [15]。这些模型采用了深度可分离卷积和紧凑注意力模块等轻量级组件，既保证了处理效率，又提高了对低光照和噪声的适应性 [16]。

在实验验证和应用方面，轻量级遥感SR方法的性能评估主要基于GF-5、Sentinel-2、NWPU-RESISC45和UC Merced等标准公共遥感数据集，以PSNR和SSIM等重建精度指标为核心，并辅以参数数量、FLOPs和推理时间等效率指标，形成了完整的评估体系 [17]。主流轻量级模型在GF-5低光照遥感数据集上2倍放大倍率下能够保持31 dB以上的PSNR和0.86以上的SSIM，单个图像的推理时间大多可在主流GPU硬件上控制在1秒以内，经过量化压缩后，甚至可以在NVIDIA Jetson Nano等低功耗边缘设备上实现亚秒级推理 [18]。在实际应用中，这些轻量级方法已逐步应用于卫星数据预处理、海洋船舶监测、城市土地利用分类等领域，在资源受限的环境中展现了出色的实时性能和重建效果，验证了轻量级设计的实际价值 [19]。

总之，近年来轻量级超分辨率已成为遥感图像SR技术的核心发展方向，其研究与创新高度针对遥感图像的独特挑战和工程应用的实际部署需求。通过高效卷积模块的交叉集成、优化的注意力机制、特征蒸馏、频域解耦等核心设计原则，轻量级遥感SR方法形成了基于CNN的纯轻量级模型、混合CNN-Transformer模型和动态尺度模型等多种技术路线，在重建精度和计算效率之间取得了良好平衡 [20]，推动了遥感SR技术的实际应用 [21]。随着卫星成像技术的不断进步和对遥感数据边缘计算需求的增加，未来轻量级遥感SR的研究将聚焦于解决高光谱图像SR中的光谱-空间平衡、极端尺度遥感图像重建、未知退化的盲SR以及多模态遥感数据融合等关键问题 [17]，并将进一步结合硬件感知的神经架构搜索、自监督学习等技术，持续优化模型的部署效率和泛化能力，为遥感技术在环境保护、国家安全、智能农业等领域的广泛应用提供更强大的技术支持。

2.3. 注意力机制
神经网络中的注意力机制 [22] 是一种开创性的方法，灵感来源于人类的认知注意力。它根据当前任务动态地将焦点转移到输入的不同部分，模仿了人类的视觉注意力系统 [23,24]。在图像处理的背景下，这意味着模型的学习和推理可以有选择地集中在图像的特定区域，从而实现更精确的分析，而不仅仅是在每个场景中都将图像作为一个整体来处理 [25]。这种机制显著提升了各种图像处理任务（如图像分类、目标检测和图像生成）的性能 [26]。

注意力机制可以理解为计算机视觉系统模仿人类视觉系统快速高效地聚焦关键区域的能力 [27,28]。对于人类视觉来说，这意味着在复杂场景中迅速定位重要区域并给予更多关注。这一过程在大脑的视觉系统中可以抽象为以下表达式：
注意力 = f(g(x), x) (1)
其中g(x) 表示接收输入特征并生成注意力分布函数的过程，f(g(x), x) 表示根据注意力分布选择性地处理输入特征的过程。因此，注意力机制也可以理解为加权特征学习。

注意力机制可以根据分类标准的不同方式进行多种分类。表2列出了一些常见的分类标准及其对应结果。图1展示了基于数据输入形式的注意力机制分类 [29]，包括四个基本类别和两个混合类别：通道注意力、空间注意力、时间注意力和分支注意力，以及通道-空间组合注意力和空间-时间组合注意力；? 表示这种组合（目前）不存在。表2. 不同分类标准下的注意力机制类别。图1. 根据数据域分类的注意力机制。

空间注意力机制分析输入特征图中每个位置的重要性，并使用卷积操作生成空间注意力图。然后利用该注意力图对原始特征图进行加权，确定模型应关注图像的哪些区域，突出重要空间区域的同时抑制相对不重要的区域。然而，这种方法忽略了通道之间的相互作用。通道注意力通常通过全局平均池化等操作实现 [30]，从每个通道中提取全局信息，随后通过全连接层等结构学习不同通道之间的依赖性，生成通道注意力权重。但这种全局处理方法往往忽略了空间信息之间的相互作用。混合注意力结合了通道和空间域的注意力形式，创建了更全面的特征注意力方法 [31]。表3列出了不同的组合示例。表3. 不同类别之间的组合示例。这些不同的分类方法反映了注意力机制的多样性及其在各种深度学习任务中的广泛应用。通过选择适合特定任务和数据类型的注意力机制，研究人员和开发者可以构建更强大和灵活的模型。

在遥感图像超分辨率领域，注意力机制可用于指导超分辨率模型的特征学习性能提升 [32,33]，使它们能够从低分辨率输入生成更准确、更详细的高分辨率图像 [34]。核心思想是引导神经网络关注对重建高质量图像至关重要的关键特征，避免在放大过程中出现偏差或错误 [8,32,35,36]。例如，在低光照环境中，边缘、纹理和图案等相对稀疏的特征比暗背景更重要，因此需要更多的注意力权重来进行优先学习。

注意力机制在低光照遥感图像超分辨率中的优势 [37,38] 主要体现在以下几个方面：
- 增强关键特征：遥感图像包含大量的复杂地理和人为特征。注意力机制可以帮助模型关注这些特征的关键区域，如夜间灯光、城市建筑、河流和道路，确保在超分辨率过程中充分增强这些细节。
- 提高图像质量：通过加权关键信息，注意力机制可以提升模型表示遥感图像中物体和纹理的能力，从而在保持图像内容真实性的同时提高分辨率。
- 提高模型适应性：通过动态调整，注意力机制使模型能够适应不同场景和条件下的遥感图像处理，提高模型的泛化能力和应用范围。

在遥感图像超分辨率的应用中，注意力机制通常嵌入到卷积神经网络（CNN） [18] 或生成对抗网络（GAN） [16] 的架构中。典型示例包括：
- 空间注意力：可以关注图像的特定空间区域，强调地形特征和物体等关键视觉元素，确保在超分辨率过程中更好地恢复这些区域。例如，在城市区域，空间注意力可以帮助模型集中处理建筑物的边缘和结构，从而在超分辨率图像中更准确地恢复这些细节。He等人的研究展示了如何利用空间注意力提升遥感图像中城市布局的视觉质量 [39]。
- 通道注意力：遥感图像通常包含多个光谱通道，每个通道提供关于表面特征的独特信息。通道注意力机制分析不同通道在遥感图像中的重要性（如RGB通道或不同光谱带），优化模型对每个通道信息的处理，从而提升超分辨率图像的颜色、对比度和清晰度。Tang等人的工作展示了通道注意力在提高多光谱遥感图像超分辨率方面的有效性 [40]。
- 自注意力：自注意力机制可以捕捉图像中的长距离依赖性，这对于识别和重建遥感图像中广泛分布的地理特征和物体特别有用。Zhang等人在他们的研究中利用自注意力显著提升了大规模自然环境中遥感图像重建的性能 [14]。

3. 方法论
本节提出了一种轻量级超分辨率网络。该网络采用了优化的紧凑特征提取主干网络，并集成了增强型注意力特征融合（AFF）模块以实现多尺度特征融合 [19]，随后通过像素清洗层来提高分辨率。

3.1. 优化的轻量级特征提取主干网络
本研究采用了一种高效的轻量级分层主干网络进行特征提取，由堆叠的模块化卷积块构成，包括RepVGG风格的模块和改进的跨阶段部分堆叠结构（见图2）。图2. 优化后的轻量级特征提取网络的整体框架。注意，圆圈中的U表示上采样，圆圈中的C表示通道维度上的连接。在SR任务中应用时，输出基于提取的特征生成更高分辨率的再生图像。现代计算硬件（如主流GPU和CPU）针对标准3 × 3卷积核进行了高度优化，与其他核尺寸相比具有更高的计算密度。在GPU平台上，3 × 3卷积的计算效率可以达到1 × 1或5 × 5卷积的四倍。为了充分利用硬件加速并减少推理延迟，轻量级RepVGG基块被用于构建紧凑和中等规模模型的基本主干网络，而高级跨阶段部分堆叠模块则用于大规模网络配置（如图3所示）。对于轻量级设置，基本模块由多个步长为1的堆叠RepVGG块组成；对于更深层次的网络，则使用一半数量的改进型跨阶段部分堆叠块来平衡复杂性。图3. 优化后的轻量级特征提取主干网络的架构。图4a展示了轻量级模型的基本RepVGG模块。然而，简单地增加网络深度会呈指数级增加计算复杂性和参数量，容易导致性能饱和。这个问题在涉及复杂纹理和大量数据的遥感图像任务中尤为突出。为了平衡计算成本、参数规模和特征表示能力，本研究引入了跨阶段部分连接机制，并优化了中层和大型主干网络的堆叠卷积模块。如图4b所示，改进的堆叠结构集成了多个1 × 1卷积层、双分支RepVGG/RepConv子块（分别用于训练和推理）以及残差跳跃连接，从而在不增加额外计算负担的情况下提升特征提取性能。图4. 不同训练情况下的RepBlock架构：(a) 适用于小型或中型模型的RepBlock，(b) 适用于大型模型的RepBlock。注意，在推理时，所有RepVGG块都会转换为RepConv。在网络的这一阶段，可以提取三种不同尺度的特征，这些特征将在下一部分介绍的特征融合模块中进一步处理。3.2 基于多尺度通道注意力机制的特征融合设计在超分辨率技术领域，融合不同尺度的特征是提高重建图像质量的关键方法。特征融合涉及结合来自各种来源、层次或模态的特征，以增强模型提取相关信息的能力，从而提高分类、检测、分割和超分辨率等任务的性能。低级特征是指直接从图像中提取的基本特征，如颜色、边缘、纹理和角点。这些特征反映了图像的直接物理属性，提供更高的分辨率，并包含更多的位置和详细信息。然而，由于卷积层较少，它们捕获的语义内容较少，且更容易受到噪声的影响。另一方面，高级特征是通过复杂的算法或深度学习模型提取的，进一步抽象和组合低级特征以捕获图像中对象、场景和事件的语义信息，尽管它们可能缺乏对细节的敏感度。低级特征构成了构建高级特征的基础，高级特征的提取依赖于低级特征的合成和抽象。高效地融合这两种类型的特征对于提高分割模型的性能至关重要。在本部分中，引入了一种注意力机制来融合不同尺度的特征。全局通道注意力可以如下介绍。给定一个具有C个通道的中间特征和大小为H × W的特征图，通道注意力权重可以计算为：（2）其中表示全局特征。这被称为全局平均池化。这里，δ表示ReLU函数，B是批量归一化函数，σ是Sigmoid激活函数。计算是通过一个由两个全连接层组成的瓶颈结构实现的，其中作为降维层，作为维度扩展层，r是通道缩减比率。可以观察到，全局通道注意力将每个大小为H × W的特征图压缩为一个标量。然而，这种方法主要关注全局的、较大的目标，可能会忽略较小目标的信号。因此，全局通道注意力可能不是遥感图像的最佳选择，因为遥感图像通常包含丰富的信息和细节。因此，本节旨在通过通道注意力模块聚合多尺度特征，以缓解由于尺度变化和小型目标引起的问题。本节基于多尺度通道注意力模块（MS-CAM），该模块通过使用不同大小的空间池化层来提取不同尺度的通道全局信息和依赖性。为了使其尽可能轻量级，本节选择像素级卷积（PWConv）进行局部通道计算。为了减少计算负担，局部通道注意力是通过由两个PWConv层组成的瓶颈模块实现的，计算表达式如下：（3）这里，和的核大小分别为和。保持与输入特征相同的维度，最大程度地保留和突出浅层网络提取的细微细节（参见图5）。图5. 提出的MS-CAM（多尺度通道注意力模块）的示意图。根据列出的方程式，多尺度通道注意力模块MS-CAM可以产生以下细化特征：（4）其中表示由MS-CAM确定的注意力权重。这里，⊕表示广播加法，?表示元素级乘法。与单尺度全局注意力不同，这种多尺度建模范式能够捕捉不同感受野的特征响应，并动态激活遥感图像中复杂地表覆盖、密集的小目标和异质纹理区域的判别性局部特征。基于MS-CAM，可以获得注意力特征融合（AFF）（见图6a）。将MS-CAM中的通道注意力模块表示为M，AFF的过程可以表示如下：（5）图6. 适应后的AFF和iAFF的示意图。在这种情况下，表示融合特征，?表示初始特征X和Y的积分方法。需要注意的是，融合权重是一个介于0和1之间的实数，在图6a中用虚线表示。同样，也是一个介于0和1之间的实数。这使得网络能够在特征X和Y之间进行软选择或加权平均。前一层的特征积分方法作为下一层注意力模块的输入，直接影响后续层的融合权重。由于这本质上仍然是一个特征融合问题，本节选择了一种更直观的方法：迭代使用多个通道注意力模块来融合输入特征，称为迭代注意力特征融合（iAFF），如图6b所示。因此，（5）中初始特征分布的数学表达式在（6）中呈现。这种两阶段方法使得浅层空间细节和深层特征之间能够进行加权适应性交互，从而有效适应复杂的成像退化、多样的地表覆盖分布和卫星图像中的小尺寸地理空间目标。与主流的通用注意力和融合方法相比，这种组合机制增强了高频纹理的保留，抑制了遥感重建中的模糊伪影，并更好地平衡了全局上下文建模和局部细节感知。总之，前一阶段的三种不同尺度的特征通过iAFF和AFF以多尺度方式融合，通过替换原始的加法或连接来应用AFF/iAFF，然后进行分辨率增强（见图7）。图7. 基于注意力机制的多尺度特征融合SR设计。4. 实验设置 4.1. 数据集训练数据集仅包含GF-5数据集中的图像，而测试数据集包括四个不同的数据集：GF-5、UC Merced、Sentinel-2和HRSC2016。对于所有非GF-5数据集，评估是在不进行微调或重新训练的情况下进行的。4.1.1 训练数据集本项目的数据集使用了来自中国高分-5（Gaofen-5）卫星的高光谱相机获取的数据。与大多数采用模拟退化自然图像（例如DIV2K）或航空遥感图像作为训练数据的现有超分辨率（SR）研究不同，GF-5卫星图像保留了星载遥感成像的真实退化特征，包括大气干扰、传感器噪声和辐射畸变。这使得数据集能够提供与实际在轨遥感成像过程更一致的学习数据源，并确保训练模型在真实SR任务中的实际适用性。此外，构建的GF-5数据集具有足够的场景多样性，以支持轻量级SR模型的稳定和有效训练。本工作中采用的图像数据覆盖了中国多个地理区域，并包含各种典型的地表覆盖类别。此外，数据集还包括在不同成像季节、光照条件和大气可见度下获取的图像，这保证了训练数据中特征分布的丰富性和多样性，并帮助模型学习通用的特征表示，而不是过度拟合于特定场景类型。在这种情况下，选择了基于GF-5卫星AHSI的遥感图像作为数据集来源。该卫星捕获330个光谱通道，范围从可见光到短波红外（400–2500 nm），幅度为60 km，空间分辨率为30 m。其在可见光近红外波段的光谱分辨率为5 nm [12,41]。从GF-5 AHSI提供的庞大数据集中选择了176个60 km × 60 km的遥感数据视图作为数据源 [12,41]。这些图像是在太阳同步回归轨道的高纬度下捕获的，以实现低光照条件并覆盖多个区域和场景。这176张低光照图像构成了一个独特的数据集，其预览如图8所示。图8. 低光照条件下的GF-5卫星数据集。GF-5 AHSI的源图像都是高光谱的。选择了700 nm/545 nm/435 nm通道（RGB），目的是在训练过程中增强可视化效果。从GF-5卫星获得的原始图像分辨率为2008 × 2083像素，被随机裁剪成超过72,000个96 × 96像素的区域，然后用作训练和验证数据集。为了构建端到端模型训练所需的低分辨率和高分辨率（LR-HR）图像对，首先将原始的GF-5高光谱图像下采样四倍，然后添加少量与GF-5卫星在轨成像特性一致的高斯噪声，以完成图像退化过程，生成相应的低分辨率图像集。为了进一步丰富训练数据集的特征多样性，降低模型过拟合的风险，并提高模型在不同场景和数据源上的泛化能力，在模型训练阶段进行了一系列数据增强操作，包括随机水平和垂直翻转、多角度随机旋转、不对齐调整以及亮度和对比度扰动。4.1.2 测试数据集为了全面评估所提出的SASR的重建性能、场景适应性和跨域泛化能力，采用了具有不同成像特性和地表覆盖属性的多个公开可用的遥感数据集进行综合测试。所有实验测试都在零样本设置下进行。具体来说，模型仅在GF-5训练集上训练，而不需要对任何测试数据集进行额外的微调或参数调整，这可以客观反映构建的轻量级超分辨率框架的实际泛化能力。作为领域内测试基准，使用GF-5的独立测试子集来定量和定性验证在一致卫星成像条件下的重建性能。此外，还引入了三个代表性的公共遥感数据集进行跨域评估。UC Merced土地利用数据集涵盖了多样的人工和自然景观类别，具有丰富的空间纹理细节，有助于验证模型恢复复杂地面对象特征的能力。Sentinel-2数据集由不同的卫星传感器获取，具有独特的光谱和辐射特性，用于评估所提出方法的跨传感器泛化能力。此外，HRSC2016数据集包含密集的小目标和复杂的沿海场景，用于进一步检验其在具有挑战性的遥感场景中的细节恢复能力。结合上述多源测试数据集、不同的成像平台、地理场景和退化分布，实验结果可以更好地展示所提出方法在各种遥感超分辨率任务中的鲁棒性和适用性。4.2 评估标准 4.2.1 标准指标为了评估图像质量，本节采用了两个核心指标：PSNR（峰值信噪比）和SSIM（结构相似性指数度量）。这些指标在评估算法性能方面被广泛认可和信赖，在深入分析超分辨率结果中起着关键作用，以确保全面评估。在评估超分辨率的重建速度时，本节主要依赖于算法的平均执行时间，反映了算法将单个低分辨率图像转换为高分辨率图像所需的时间，从而指示其处理速度。4.2.2 感知指标为了全面评估所提出的超分辨率（SR）模型的感知质量，本研究采用了两个代表性的图像质量评估（IQA）指标，即学习感知图像块相似性（LPIPS）[42]和自然图像质量评估器（NIQE）[43]。作为全参考（FR）感知指标，LPIPS解决了像素级指标（例如PSNR、SSIM）的局限性——这些指标优先考虑低级像素差异，但往往偏离人类视觉判断——通过利用预训练的深度卷积神经网络（例如VGG16）从重建图像及其对应的真实图像中提取高级语义特征（例如边缘连续性、纹理一致性、结构完整性）。它通过计算这些特征表示之间的距离来量化感知相似性，较低的LPIPS值表示较少的视觉失真（例如模糊、人工伪影）和与真实图像更高的一致性。相比之下，NIQE是一个无参考（NR）指标，消除了对高质量真实图像的依赖——这对于实际场景（如本研究的低光照遥感应用）来说是一个关键优势，因为在这些场景中参考图像通常不可用。该模型通过建立基于高质量自然图像的统计特性（例如，亮度分布、空间相关性）的“自然图像先验”数据库来运作，然后计算测试图像的统计特征与预先建立的先验之间的马氏距离；较小的NIQE分数表示测试图像的失真（例如，噪声、结构退化）较少，视觉特征更加自然。通过结合LPIPS和NIQE，本研究实现了对感知质量的全面、多维度评估，确保所提出模型的性能与客观特征一致性和人类主观体验相符。

4.3 训练过程
实验平台的硬件环境包括一个Ultra 9 275HX CPU和一个NVIDIA GeForce RTX 5080笔记本电脑GPU。软件环境包括CUDA 13.0、Python 3.12和PyTorch 2.9.0框架。训练过程（如图9所示）使用的学习率范围从1 × 10^-4到1 × 10^-6，批量大小为16，最大训练周期为15,000个周期。初始学习率设置为0.001，批量大小为16，训练周期为500个周期。每个训练周期结束时，会持续监控损失值，并将损失最低的模型保存为检查点以供后续比较。这种方法确保了保存的模型在整个训练过程中都能达到最佳性能。训练的目标是在损失函数降至0.001以下时自动停止，从而保证训练过程的效率和效果。

5. 结果与讨论
5.1 消融研究
在本节中，将SASR的超分辨率重建结果与两种代表性方案进行了比较：一种是不带注意力嵌入的轻量级重参数化主干网络SR模型，另一种是带有注意力机制的经典RCAN（残差通道注意力网络）超分辨率方法。消融研究的结果在表4中呈现。该小节探讨了将优化的轻量级重参数化主干网络作为超分辨率重建的核心特征提取模块的有效性。实验结果表明，其高效的特征提取能力为低光照条件下的超分辨率图像重建提供了丰富的特征信息，在速度和图像质量之间取得了良好的平衡。在4倍放大倍数下，该网络的PSNR超过30.3 dB，SSIM超过0.80，同时响应时间仍小于1秒。

5.2 与无注意力的轻量级单阶段主干网络的总体比较
在本节中，将SASR的超分辨率重建结果与基于现有典型轻量级主干的模型进行了比较。实验结果表明SASR取得了更令人满意的结果。定量实验结果分别在表6、表7和表8中呈现，性能的视觉比较显示在图10、图11和图12中。值得注意的是，在本节中，模型的平均处理时间的倒数被用作其速度指标，并使用雷达图进行性能比较。为了在雷达图上进行有效的比较并更好地可视化性能，数据被标准化，以便每个指标具有相同的重要性。通过结合高效的特征提取能力和多尺度通道注意力机制的特征融合优化，SASR在图像超分辨率任务中实现了更高的PSNR和SSIM指标，显著提高了重建图像的质量。此外，尽管引入了注意力机制对处理速度略有影响，但考虑到整体性能的显著提升，这种牺牲几乎是微不足道的。

5.3 与其他近期方法的总体比较
本节评估了SASR与近期轻量级遥感图像超分辨率方法在多个不同数据集（即UCMerced和Sentinel-2）上的性能-复杂性权衡，揭示了其优势、固有局限性和实际应用价值。比较结果展示在表9以及图13、图14和图15中。总体而言，SASR在重建性能和计算复杂性之间取得了令人满意的平衡，在轻量级模型领域中表现出色，其PSNR和SSIM指标优于大多数基于CNN的轻量级模型，同时计算复杂性远低于混合CNN-Transformer架构和传统的基于注意力的模型（如RCAN）。像IMDN [44]、RFDN [45]和CARN [46]这样的现代轻量级SR网络在2倍放大倍数下在性能和计算复杂性之间取得了更好的平衡，但当放大倍数增加到4倍时性能急剧下降。尽管SASR仅有980 K参数，但其超分辨率性能与DBSR（约1200 K参数）和Lighten-MST（约2060 K参数）相当甚至更优，展示了在资源受限条件下的卓越参数效率，其推理时间在2倍、3倍和4倍放大倍数下均低于0.8秒，完全满足了遥感应用和边缘设备部署的实时处理需求。此外，SASR集成的重参数化EfficientRep主干和轻量级多尺度通道注意力机制有效增强了稀疏目标和细节的重建，而不会引入过高的计算成本，实现了轻量级架构和特征学习能力的结合。

尽管SASR具有显著的优势，但也存在某些局限性：其性能略低于采用特定设计的专用模型（如WFA-SRNet），后者采用了大型可分离核注意力和小波引导的频域解耦等技术进行复杂纹理恢复；同时，其FLOPs高于超轻量级纯CNN模型（如重参数化轻量级残差特征网络），在资源极其有限的极端边缘计算场景中推理速度相对较慢。尽管如此，SASR在遥感超分辨率任务中仍具有实际价值：它为实时板载处理和边缘部署场景提供了优化的性能-复杂性权衡解决方案，在需要重建质量和推理效率的情况下表现出色，能够以极低的参数和亚秒级延迟实现高质量的低光照遥感图像超分辨率重建，并通过将面向检测的轻量级主干网络适应超分辨率任务，为后续开发高效的遥感图像处理模型提供了启示。

5.4 详细比较
选择了两张典型的低光照遥感图像使用SASR进行超分辨率重建，并将结果与三种不带注意力机制的典型轻量级主干网络的超分辨率输出进行了比较（见图16和图17）。图16显示了基本单阶段系列与所提出的轻量级超分辨率网络（放大倍数=4倍）之间的比较。如图16和图17所示，某些边缘细节得到了增强。特别是在图17中，小点状目标变得更加清晰；这些小目标在无注意力机制的轻量级单阶段SR超分辨率重建中会变得模糊甚至丢失，但在SASR的重建结果中得到了恢复和突出显示。这可能是由于引入了通道注意力机制，该机制将网络的计算重点转移到了这些稀疏目标上，从而有效地强调了这些特征。为了测试SASR是否适合处理包含海洋船舶的遥感图像的超分辨率任务，从HRSC2016数据集中选取了几张图像进行验证。HRSC2016数据集由西北工业大学收集，用于船舶检测，所有图像来自六个著名港口，包括在海上航行的船舶以及靠近海岸线的船舶。图18展示了超分辨率结果。总体而言，在上述场景中，重建图像显示出显著的噪声，并引入了一些伪影和失真，尤其是在处理的图像包含大量纹理细节时。然而，可以观察到，集成多通道注意力机制的SASR模型在大多数情况下都能提供清晰、锐利的重建结果，并减少了噪声。与没有多通道注意力机制的超分辨率方法相比，SASR在稀疏目标的分割方面表现更出色，成功分离了相邻的小目标，为后续任务（如目标检测和其他图像处理应用）奠定了更好的基础。

6. 结论与展望
本文分析和总结了轻量级单阶段特征提取框架的发展和特点，并解释了注意力机制及其应用优势。考虑到遥感卫星成像中对实时处理的高需求以及在低光照条件下目标特征相对于暗背景的稀疏性，本文介绍了一种基于优化轻量级主干和多尺度通道注意力机制的超分辨率图像模型SASR。该模型利用改进的紧凑型重参数化主干进行分阶段特征提取，生成三个不同尺度的特征。通过采用基于MS-CAM模块的多尺度通道注意力机制，有效地融合了高层和低层特征，随后使用亚像素卷积层来实现图像超分辨率。该算法结合了优化后的轻量级、高速主干网络的特性与通道注意力机制的准确性和效率。测试结果显示：在2倍放大倍率下，SASR的PSNR达到了32.2346分贝，SSIM达到了0.8791；在3倍放大倍率下，PSNR为31.6040分贝，SSIM为0.8376；即使在4倍放大倍率下，PSNR仍稳定在30分贝以上，SSIM超过0.8。这些结果一致性地优于没有多尺度通道注意力的基于轻量级主干网络的超分辨率方法，证明了其强大的重建能力。此外，SASR是一种高度实用且可部署的轻量级超分辨率方法，其性能与复杂度的平衡很好地满足了遥感卫星成像的实际应用需求，使其成为资源受限情况下实时遥感图像增强的有力选择。对于海洋图像处理而言，SASR处理低光照、高对比度图像的能力尤其突出。水下和海洋成像通常面临可视性条件恶劣以及目标稀疏或微弱的问题，而SASR这种优先考虑关键特征并过滤背景噪声的模型能够带来显著优势。其基于注意力的机制使其能够在这些条件下隔离并增强重要目标特征，有助于船舶检测、海洋污染监测和海洋栖息地评估等任务。未来的研究可以探索将SASR与其他深度学习方法（如GAN或变分自编码器）结合，以进一步提高海洋及其他特定环境中超分辨率重建的质量和效率。结合深度学习的最新进展（如Transformer架构和自注意力机制），还可以提升模型的准确性和性能，为实时应用中的海洋图像重建和分析提供更精确、更高效的解决方案。