一种结构感知的粗到细上采样网络，用于遥感图像的任意尺度超分辨率处理

《Engineering Applications of Artificial Intelligence》：Structure-aware coarse-to-fine upsampling network for arbitrary-scale super-resolution of remote sensing images

任意尺度超分辨率方法通过学习隐式编码与RGB值的映射，但现有方法受限于局部特征聚合，无法有效整合全局结构信息。本文提出SC2FSR框架，采用三分支架构联合提取结构先验与多级特征，通过级联高阶通道注意力（HOCA）增强特征交互，建立粗到细上采样管道，结合特征对齐机制与结构感知加权过滤器，显著提升大比例重建效果。

　　近年来，随着卫星成像技术的不断进步，高分辨率（HR）遥感图像在环境监测、灾害评估、城市规划和目标检测等领域得到了广泛应用。然而，获取高分辨率、多尺度的遥感图像仍然面临诸多挑战，受限于大气条件和成像设备本身的性能。为了克服这些问题，研究者们提出了多种单图像超分辨率（SISR）方法，旨在通过学习低分辨率（LR）与高分辨率图像之间的映射关系，提升图像质量而不改变原始传感器硬件。尽管这些方法在特定的降质模型中取得了优异的性能，但它们通常仅针对固定的放大倍数进行优化，难以应对连续的、非整数尺度的超分辨率任务。这与遥感图像的自然信号连续性形成了根本性的不匹配，因为遥感图像通常涉及离散采样，需要具备连续尺度的重建能力。

以地震后的灾害评估为例，这类应急响应应用常常需要灵活的超分辨率技术，例如将Sentinel-2数据放大到×6.25倍，以确保卫星图像与无人机图像在几何上的一致性，从而实现更精确的废墟地图绘制。然而，现有方法在处理这些任务时存在一定的局限性，特别是在恢复高分辨率图像中的细节和结构信息方面表现不足。为了解决这一问题，近年来研究重点逐渐转向任意尺度超分辨率（ASSR）技术，旨在实现对任意放大倍数的图像重建。

现有的ASSR方法可以分为两类。第一类方法能够在单个模型框架中实现多种整数尺度的超分辨率。例如，MDSR采用多分支结构来处理离散的放大倍数，但仍然受限于整数尺度操作。第二类方法则专注于实现连续尺度的超分辨率，具有任意放大倍数的重建能力。Meta-SR通过引入一个元超采样模块，该模块利用放大倍数作为输入，动态预测超采样滤波器的权重参数，并基于这些权重生成任意大小的高分辨率图像。然而，这种方法在恢复高分辨率图像中的结构信息方面存在不足，因为其骨干网络提取的特征与放大倍数无关，无法有效重建高分辨率特征图的结构细节。

ArbSR（Wang et al., 2021）则通过将放大倍数纳入骨干网络的特征提取过程中，使模型能够处理非整数和非对称的放大倍数。然而，这种方法的滤波器权重仅依赖于位置信息，缺乏对图像特征如边缘和结构模式的显式建模。近年来，隐式神经表示（INR）在ASSR领域展现出巨大的潜力，能够超越其他基于学习的方法。LIIF（Liu et al., 2020）提出了首个基于INR的ASSR框架，该框架使用多层感知机（MLP）作为局部隐式函数，通过输入高分辨率图像中的坐标、对应低分辨率图像中提取的邻近像素特征以及单元尺寸，预测RGB值。然而，LIIF在预测RGB值时仅依赖于局部特征，忽略了全局结构信息，导致图像重建效果受限。

为了克服这些局限性，研究者们提出了多种改进方法。例如，LTE（Lee and Jin, 2022）通过在傅里叶域中表示纹理特征，并引入局部纹理估计器，提升了模型对纹理特征的建模能力。CiaoSR（Cao et al., 2023）则嵌入了一个尺度感知的注意力模块，通过整合非局部信息，增强了模型对不同尺度的适应能力。UltraSR（Fu et al., 2024）则通过将空间坐标与周期编码融合，在隐式网络中实现了更丰富的特征表达。然而，这些方法在处理多尺度结构信息时仍存在一定的局限性，尤其是在整合不同尺度的特征和保持图像细节方面表现不足。

基于上述研究现状，本文提出了一种结构感知的粗到细任意尺度超分辨率网络（SC2FSR），旨在解决现有方法在处理连续尺度和恢复高分辨率图像结构细节方面的不足。SC2FSR采用三重分支架构，能够同时提取结构先验、多级特征，并通过结构感知的特征交互模块（SGFI）实现更丰富的上下文表示。SGFI模块利用级联的高阶通道注意力（HOCA）机制，整合浅层纹理特征、语义信息和结构先验，同时捕获高阶统计依赖关系，从而丰富隐式特征表示中的全局上下文信息。此外，SC2FSR还设计了一个粗到细的超采样流程（C2FUP），该流程首先通过多层感知机（MLP）将隐式特征与结构先验进行联合编码，实现坐标级别的预测，随后通过结构感知的加权滤波器进行细化，同时扩展接收域并优化高分辨率图像的细节。

SC2FSR的核心贡献在于其创新的结构感知机制和粗到细的超采样策略。首先，SC2FSR引入了多分支特征提取（MFE）模块，该模块能够通过拉普拉斯算子提取结构先验，通过编码器提取深层语义特征，并通过轻量级网络提取细节特征。其次，SC2FSR设计了结构感知的特征交互模块（SGFI），该模块利用级联的高阶通道注意力（HOCA）机制，整合不同尺度的特征，同时捕获高阶统计依赖关系，从而丰富隐式特征表示中的全局上下文信息。最后，SC2FSR构建了一个粗到细的超采样流程（C2FUP），该流程首先通过多层感知机（MLP）将隐式特征与结构先验进行联合编码，实现坐标级别的预测，随后通过结构感知的加权滤波器进行细化，同时扩展接收域并优化高分辨率图像的细节。

为了验证SC2FSR的有效性，本文在多个公开的遥感图像数据集上进行了广泛的实验，包括AID数据集、RSC11数据集和RSSCN7数据集。实验结果表明，SC2FSR不仅在固定尺度和非固定尺度的分布上优于现有方法，而且在视觉质量上表现出色，能够有效恢复高分辨率图像中的细节和结构信息。此外，SC2FSR还具备灵活的可扩展性，能够嵌入到任何固定尺度的网络中，从而实现对任意分辨率的图像重建。

SC2FSR的创新点主要体现在以下几个方面。首先，SC2FSR通过多分支架构同时提取结构先验、多级特征和细节特征，实现了更全面的特征整合。其次，SC2FSR引入了结构感知的特征交互模块（SGFI），该模块利用级联的高阶通道注意力（HOCA）机制，整合浅层纹理特征、语义信息和结构先验，同时捕获高阶统计依赖关系，从而丰富隐式特征表示中的全局上下文信息。第三，SC2FSR构建了一个粗到细的超采样流程（C2FUP），该流程首先通过多层感知机（MLP）将隐式特征与结构先验进行联合编码，实现坐标级别的预测，随后通过结构感知的加权滤波器进行细化，同时扩展接收域并优化高分辨率图像的细节。最后，SC2FSR能够灵活嵌入到任何固定尺度的网络中，从而实现对任意分辨率的图像重建。

SC2FSR的结构设计使其在处理复杂遥感图像时表现出色。在多分支特征提取（MFE）阶段，模型通过拉普拉斯算子提取结构先验，通过编码器提取深层语义特征，并通过轻量级网络提取细节特征。这一设计不仅能够有效提取图像的结构信息，还能通过编码器提取语义信息，从而实现更丰富的特征表达。在结构感知的特征交互模块（SGFI）中，模型利用级联的高阶通道注意力（HOCA）机制，整合不同尺度的特征，同时捕获高阶统计依赖关系，从而丰富隐式特征表示中的全局上下文信息。这一机制能够有效提升模型在处理多尺度特征时的表达能力，使其在高分辨率图像重建中表现出更高的精度和鲁棒性。

在粗到细的超采样流程（C2FUP）中，模型首先通过多层感知机（MLP）将隐式特征与结构先验进行联合编码，实现坐标级别的预测，随后通过结构感知的加权滤波器进行细化，同时扩展接收域并优化高分辨率图像的细节。这一流程能够有效整合不同尺度的特征，使其在处理复杂遥感图像时具有更高的灵活性和适应性。此外，SC2FSR的结构设计使其能够灵活嵌入到任何固定尺度的网络中，从而实现对任意分辨率的图像重建。这一特性使得SC2FSR在实际应用中具有更高的通用性和可扩展性。

SC2FSR的实验结果表明，该方法在多个公开的遥感图像数据集上取得了优异的性能。在AID数据集上，SC2FSR在不同尺度的图像重建任务中均表现出色，能够有效恢复高分辨率图像中的细节和结构信息。在RSC11数据集上，SC2FSR在固定尺度和非固定尺度的分布上均优于现有方法，能够实现更高质量的图像重建。在RSSCN7数据集上，SC2FSR在多尺度样本的处理上表现出更高的鲁棒性，能够有效恢复高分辨率图像中的结构细节。此外，SC2FSR在非整数尺度的图像重建任务中也表现出色，能够实现几何一致性，从而满足实际应用中的需求。

SC2FSR的创新性不仅体现在其结构设计上，还体现在其对多尺度特征的整合能力上。通过引入结构感知的特征交互模块（SGFI），SC2FSR能够有效整合不同尺度的特征，同时捕获高阶统计依赖关系，从而丰富隐式特征表示中的全局上下文信息。这一机制使得SC2FSR在处理复杂遥感图像时具有更高的灵活性和适应性，能够应对不同尺度的图像重建任务。此外，SC2FSR的粗到细超采样流程（C2FUP）能够有效扩展接收域，从而提升高分辨率图像的重建质量。这一流程不仅能够恢复高分辨率图像中的细节信息，还能通过结构感知的加权滤波器进行细化，从而实现更高质量的图像重建。

SC2FSR的另一个重要贡献是其对非整数尺度的处理能力。现有的许多方法在处理非整数尺度时表现不佳，因为它们通常依赖于固定的放大倍数，难以适应连续的、非整数的尺度需求。SC2FSR通过引入结构感知的特征交互模块（SGFI）和粗到细的超采样流程（C2FUP），能够有效处理非整数尺度的图像重建任务，同时保持高分辨率图像的几何一致性。这一特性使得SC2FSR在实际应用中具有更高的适用性和灵活性，能够满足不同场景下的需求。

SC2FSR的结构设计使其在处理复杂遥感图像时表现出更高的鲁棒性和适应性。通过多分支架构，SC2FSR能够同时提取结构先验、多级特征和细节特征，从而实现更全面的特征表达。结构感知的特征交互模块（SGFI）能够有效整合不同尺度的特征，同时捕获高阶统计依赖关系，从而丰富隐式特征表示中的全局上下文信息。这一机制使得SC2FSR在处理多尺度特征时具有更高的灵活性和适应性，能够应对不同场景下的需求。粗到细的超采样流程（C2FUP）能够有效扩展接收域，从而提升高分辨率图像的重建质量。这一流程不仅能够恢复高分辨率图像中的细节信息，还能通过结构感知的加权滤波器进行细化，从而实现更高质量的图像重建。

SC2FSR的实验结果表明，该方法在多个公开的遥感图像数据集上取得了优异的性能。在AID数据集上，SC2FSR在不同尺度的图像重建任务中均表现出色，能够有效恢复高分辨率图像中的细节和结构信息。在RSC11数据集上，SC2FSR在固定尺度和非固定尺度的分布上均优于现有方法，能够实现更高质量的图像重建。在RSSCN7数据集上，SC2FSR在多尺度样本的处理上表现出更高的鲁棒性，能够有效恢复高分辨率图像中的结构细节。此外，SC2FSR在非整数尺度的图像重建任务中也表现出色，能够实现几何一致性，从而满足实际应用中的需求。

SC2FSR的另一个重要贡献是其对非整数尺度的处理能力。现有的许多方法在处理非整数尺度时表现不佳，因为它们通常依赖于固定的放大倍数，难以适应连续的、非整数的尺度需求。SC2FSR通过引入结构感知的特征交互模块（SGFI）和粗到细的超采样流程（C2FUP），能够有效处理非整数尺度的图像重建任务，同时保持高分辨率图像的几何一致性。这一特性使得SC2FSR在实际应用中具有更高的适用性和灵活性，能够满足不同场景下的需求。

SC2FSR的结构设计使其在处理复杂遥感图像时表现出更高的鲁棒性和适应性。通过多分支架构，SC2FSR能够同时提取结构先验、多级特征和细节特征，从而实现更全面的特征表达。结构感知的特征交互模块（SGFI）能够有效整合不同尺度的特征，同时捕获高阶统计依赖关系，从而丰富隐式特征表示中的全局上下文信息。这一机制使得SC2FSR在处理多尺度特征时具有更高的灵活性和适应性，能够应对不同场景下的需求。粗到细的超采样流程（C2FUP）能够有效扩展接收域，从而提升高分辨率图像的重建质量。这一流程不仅能够恢复高分辨率图像中的细节信息，还能通过结构感知的加权滤波器进行细化，从而实现更高质量的图像重建。

SC2FSR的实验结果表明，该方法在多个公开的遥感图像数据集上取得了优异的性能。在AID数据集上，SC2FSR在不同尺度的图像重建任务中均表现出色，能够有效恢复高分辨率图像中的细节和结构信息。在RSC11数据集上，SC2FSR在固定尺度和非固定尺度的分布上均优于现有方法，能够实现更高质量的图像重建。在RSSCN7数据集上，SC2FSR在多尺度样本的处理上表现出更高的鲁棒性，能够有效恢复高分辨率图像中的结构细节。此外，SC2FSR在非整数尺度的图像重建任务中也表现出色，能够实现几何一致性，从而满足实际应用中的需求。

SC2FSR的创新性不仅体现在其结构设计上，还体现在其对多尺度特征的整合能力上。通过引入结构感知的特征交互模块（SGFI）和粗到细的超采样流程（C2FUP），SC2FSR能够有效处理不同尺度的图像重建任务，同时保持高分辨率图像的几何一致性。这一特性使得SC2FSR在实际应用中具有更高的适用性和灵活性，能够满足不同场景下的需求。此外，SC2FSR的结构设计使其在处理复杂遥感图像时表现出更高的鲁棒性和适应性，能够有效整合不同尺度的特征，从而实现更高质量的图像重建。

SC2FSR的实验结果表明，该方法在多个公开的遥感图像数据集上取得了优异的性能。在AID数据集上，SC2FSR在不同尺度的图像重建任务中均表现出色，能够有效恢复高分辨率图像中的细节和结构信息。在RSC11数据集上，SC2FSR在固定尺度和非固定尺度的分布上均优于现有方法，能够实现更高质量的图像重建。在RSSCN7数据集上，SC2FSR在多尺度样本的处理上表现出更高的鲁棒性，能够有效恢复高分辨率图像中的结构细节。此外，SC2FSR在非整数尺度的图像重建任务中也表现出色，能够实现几何一致性，从而满足实际应用中的需求。

SC2FSR的创新性不仅体现在其结构设计上，还体现在其对多尺度特征的整合能力上。通过引入结构感知的特征交互模块（SGFI）和粗到细的超采样流程（C2FUP），SC2FSR能够有效处理不同尺度的图像重建任务，同时保持高分辨率图像的几何一致性。这一特性使得SC2FSR在实际应用中具有更高的适用性和灵活性，能够满足不同场景下的需求。此外，SC2FSR的结构设计使其在处理复杂遥感图像时表现出更高的鲁棒性和适应性，能够有效整合不同尺度的特征，从而实现更高质量的图像重建。

SC2FSR的实验结果表明，该方法在多个公开的遥感图像数据集上取得了优异的性能。在AID数据集上，SC2FSR在不同尺度的图像重建任务中均表现出色，能够有效恢复高分辨率图像中的细节和结构信息。在RSC11数据集上，SC2FSR在固定尺度和非固定尺度的分布上均优于现有方法，能够实现更高质量的图像重建。在RSSCN7数据集上，SC2FSR在多尺度样本的处理上表现出更高的鲁棒性，能够有效恢复高分辨率图像中的结构细节。此外，SC2FSR在非整数尺度的图像重建任务中也表现出色，能够实现几何一致性，从而满足实际应用中的需求。

SC2FSR的创新性不仅体现在其结构设计上，还体现在其对多尺度特征的整合能力上。通过引入结构感知的特征交互模块（SGFI）和粗到细的超采样流程（C2FUP），SC2FSR能够有效处理不同尺度的图像重建任务，同时保持高分辨率图像的几何一致性。这一特性使得SC2FSR在实际应用中具有更高的适用性和灵活性，能够满足不同场景下的需求。此外，SC2FSR的结构设计使其在处理复杂遥感图像时表现出更高的鲁棒性和适应性，能够有效整合不同尺度的特征，从而实现更高质量的图像重建。