学习用于遥感图像超分辨率的语义-空间层次结构表示方法

《Pattern Recognition》：Learning semantic-spatial hierarchies representation for image super-resolution of remote sensing

　　赵康辉|卢涛|王建明|张彦铎|王宇|王远志•提出了用于遥感图像超分辨率处理的SHL框架，该框架嵌入轻量级语义分割模块以获取像素级先验信息，对空间令牌分布进行建模，并采用ISAM/CGAM方法增强局部与全局信息之间的交互。•引入复合损失函数（包括L1损失、梯度损失和频率分离损失），以此提升物体边缘的清晰度，有效恢复纹理和边缘等高频细节。•在AID和RSSCN7数据集上取得了最优性能，优于其他竞争方法，在下游语义分割任务中表现出色，同时兼顾了计算效率与重建质量。

引言高分辨率遥感图像因其丰富的空间细节，在环境监测[1]、资源管理[2]以及地理信息系统[3]等领域具有重要价值。然而，在图像采集、传输和存储过程中可能出现的分辨率下降问题，常常会导致关键信息——尤其是边缘和纹理特征——变得模糊或丢失，从而限制了这类图像的广泛应用。为了解决这些难题，超分辨率技术[4]为从低分辨率图像重建高分辨率图像提供了一种高效且经济的方法。目前，超分辨率技术已被广泛应用于各种遥感任务中，包括物体检测[5]、变化检测[6]以及大规模场景分割[7]。不过，一个亟待解决的挑战在于如何有效恢复高频纹理，而这些纹理对于准确解读和分析遥感数据至关重要。因此，开发能够可靠重建高频信息的超分辨率方法仍是一个重要且实用的研究方向。自从卷积神经网络被引入单图像超分辨率处理领域以来，大量研究致力于开发基于CNN的架构，以实现从低分辨率输入到高分辨率图像的重建[8]、[9]、[10]、[11]、[12]。尽管取得了这些进展，这类方法的一个固有缺陷是它们往往会产生过于平滑的输出，缺乏高频细节。这一现象主要源于卷积操作的本质局部性，它限制了模型捕捉全局依赖关系和长距离上下文信息的能力。为了解决这一问题，一些方法[13]、[14]试图通过设计极为复杂且深度较大的网络结构来扩大模型的感受野并提升其表示能力。然而，这种架构上的扩展无疑会带来沉重的计算负担，从而降低这些模型在实际应用中的实用性和效率。随后，基于自注意力机制的Transformer架构在遥感图像超分辨率处理中展现出显著优势，因为它能够捕捉长距离依赖关系并建模全局上下文关系。张等人[15]通过结合通道-空间注意力机制和频率门控前馈网络，有效地利用了全局上下文信息和频域细化技术，从而提升了细节重建效果并减少了伪影。不过，由于该方法在空间和通道维度上需要进行全局自注意力运算，因此存在较高的计算成本。为了解决这个问题，现有的方法通常会将输入图像分割成多个较小的非重叠局部窗口，然后在每个区域内分别进行自注意力计算，如图1(a)所示。例如，SwinIR[16]将图像分割成与内容无关的局部窗口，而TTST[17]则通过构建稀疏掩码来选择仅保留最高k个注意力值（即令牌相似度得分）的通道。尽管如此，这些策略仍难以充分捕捉尺度差异较大的地面物体，且容易在每个分割区域的边缘产生边界伪影。另一种策略是采用轴向条带注意力机制[18]，该方法能够扩展每个像素的感受野，超越小型局部窗口的限制。然而，这种做法仍然依赖于预定义的固定几何模式，而非自适应的、基于内容的机制，可能会引入无关的上下文信息，从而妨碍表示学习。有一些研究尝试采用基于簇的方法来解决这些问题。例如，SPIN[19]采用了基于软K-means算法的令牌聚类方法，利用聚类中心作为注意力机制中查询项和键项之间的中介，以实现长距离信息传递。然而，由于聚类中心是对令牌群组的抽象概括，它们往往无法捕捉各个令牌之间精细的长距离依赖关系，从而导致每个群组内的详细信息丢失。刘等人[21]提出了一种基于内容相似度的令牌聚类方法。不过，这种方法主要依赖于低级纹理特征，未能纳入高级语义线索，这可能导致重建输出出现语义歧义，如图1(b)所示。为了解决上述局限性，我们提出了一种用于遥感图像超分辨率处理的语义-空间分层学习框架，如图1(c)所示。该方法将语义线索和空间结构信息整合到令牌聚合阶段，以实现更具上下文感知能力的特征分组。具体而言，该框架采用了轻量级语义分割模块来生成像素级语义先验图，以此引导属于相同地理对象类别的令牌进行聚类。此外，还对令牌中心之间的空间关系进行了显式约束，以促进来自空间相邻区域的令牌聚合。为便于有效的信息交流，我们在群体内部采用了群体内自注意力机制来优化局部特征，同时运用跨群体注意力机制来捕捉不同群体之间的全局依赖关系。最后，我们精心设计了复合损失函数来优化模型性能。除了传统的L1损失之外，还通过计算预测图像和真实图像梯度幅值之间的L1距离，加入了梯度损失项。这有助于模型更有效地保持物体边界和线性特征的清晰度。此外，我们还引入了频率分离损失：通过高斯滤波将图像分解为低频成分和高频成分，然后专门针对高频成分计算重建误差，从而引导模型专注于恢复纹理和边缘等精细细节。这种联合损失策略显著提升了超分辨率输出的视觉质量和细节保真度。本工作的主要贡献如下：•提出了一种用于遥感图像超分辨率处理的语义-空间分层学习框架。该框架将语义引导和空间先验信息融入令牌聚合过程，从而实现更具上下文感知能力的特征表示。•为了实现高效的信息交互，该框架在群体内部采用自注意力机制来优化局部特征，同时运用跨群体注意力机制来建模不同群体之间的全局依赖关系，从而明确模型中令牌中心的空间关系，促进来自连续空间区域的令牌聚合。•设计了复合损失函数来提升模型性能。除了传统的L1损失之外，还通过计算预测图像和参考图像梯度幅值之间的L1距离，加入了梯度损失项。此外，还通过高斯滤波将图像分解为低频和高频成分，设计了基于频率意识的损失函数，专门针对高频成分计算重建误差，从而引导模型恢复精细的纹理和边缘细节。•通过大量实验验证了所提方法相较于现有最先进的遥感图像超分辨率方法的优越性。实验结果表明，我们的模型在计算效率与重建性能之间实现了良好的平衡。

章节摘录遥感图像超分辨率处理在LCGN[22]的基础上，随后出现了众多基于CNN的超分辨率方法，这些方法在该领域取得了显著进展。这些方法通常采用复杂的注意力机制来抑制无关信息，例如整体注意力机制[8]、[14]。为了利用自相似性等全局先验知识，又进一步引入了自相似性注意力机制[10]和非局部稀疏注意力机制[23]等机制。

网络架构如图2所示，所提出的语义-空间分层学习框架的整体架构由三个核心模块组成：浅层特征提取、深层特征提取以及图像重建。浅层特征提取是通过3×3卷积层实现的，该层将输入图像从其原始空间映射到高维特征空间。设ILR表示低分辨率输入图像，ISR则表示超分辨率输出图像。浅层

实验设置为了评估所提方法的有效性，我们在三个公共数据集上进行了实验：AID[36]和RSSCN7[37]。AID数据集包含10,000张图像，涵盖了30种不同的场景类别，每种类别大约有200到420张图像，图像分辨率为600×600像素。我们从每个类别中选取了最后15张图像用于测试，其余图像则用于训练和验证。RSSCN7数据集包含2800张图像，分为7个类别，每个类别

结论本文提出了一种用于遥感图像超分辨率处理的语义-空间分层学习框架，该框架将语义引导和空间先验信息整合到令牌聚合过程中。具体而言，该框架引入了轻量级语义分割模块，用于提取像素级语义先验信息，从而引导属于相同地理对象类别的令牌进行聚类。此外，该框架还对令牌中心的空间分布进行了建模，以确保来自相邻地理区域的令牌能够被正确聚合。

作者贡献声明赵康辉：写作——审阅与编辑、写作——初稿撰写、可视化、验证、方法论、形式分析。卢涛：写作——审阅与编辑、项目管理、资金获取、数据整理。王建明：写作——审阅与编辑。张彦铎：写作——审阅与编辑、项目管理、资金获取。王宇：写作——审阅与编辑。王远志：写作——审阅与编辑。

利益冲突声明作者声明存在以下可能被视为潜在利益冲突的财务利益/个人关系：卢涛表示获得了国家自然科学基金的支持，同时还获得了湖北省重点研发计划以及中央政府为支持湖北省发展而设立的专项基金的资助。王建明也表示获得了相关财务支持。

致谢本研究部分得到了国家自然科学基金（62401410）、湖北省重点研发计划（2025BAB0004）以及湖北省科技创新团队（T2023009）的支持。