基于浅层特征重建和维度协同线性注意力网络的遥感图像分割方法

《Advances in Space Research》：Shallow feature reconstruction and dimensional collaborative linear-attention network for Segmentation of Remote Sensing Images

自适应浅层特征重建与维度协作线性注意力网络解决高分辨率遥感图像分割中的边界信息丢失与多尺度特征融合难题，在Potsdam、Vaihingen和DeepGlobe数据集上表现优异。

　　

张忠伟|秦海杰|刘树东

天津城建大学，计算机与信息工程学院，天津，300384，中国

摘要

由于遥感图像的空间分布不均匀、目标尺度多样以及边界复杂，图像分割任务具有挑战性。在特征提取阶段，需要重复进行卷积降采样操作以提取高层次的局部语义信息，但这一过程也可能模糊浅层特征的细节信息。而这些细节信息（如物体边界）对分割任务至关重要。在保留高层次语义信息的同时恢复和增强浅层特征仍然是一个重要的挑战。本文提出了一种自适应浅层特征重建与维度协同线性注意力网络（ABCFNet），专门用于应对上述挑战。在编码阶段，ABCFNet引入了维度协同线性注意力模块（DCA），以协调空间/通道注意力中的通道/空间维度信息，从而提高模型提取小目标和多尺度信息的能力。此外，我们还引入了自适应浅层特征重建模块（AFR）来重建和增强丢失的边界和纹理信息。值得注意的是，DCA模块的计算复杂度是线性的。在解码阶段，引入了多尺度特征聚合模块（MFA）来整合不同细粒度的特征信息。ABCFNet在Potsdam、Vaihingen和DeepGlobe数据集上的表现优于主流方法，为高分辨率遥感图像（HRRSI）分割提供了一种有效的解决方案。代码可在https://github.com/HJ-Qin/ABCFNet获取。

引言

遥感图像中土地资源覆盖的语义分割是遥感和计算机视觉领域的关键研究方向。它广泛应用于地球观测、环境监测、覆盖分析以及制图（Lopez-Fuentes等人，2017年；Liu等人，2022年；Du等人，2021年）。通过准确识别土地覆盖类型（Zhang等人，2019年；Nielsen，2015年）（如建筑物、植被和水体），它支持环境监测的详细分析、灾害评估（Xu等人，2022年）以及土地管理策略。

传统的语义分割方法包括基于边缘的方法、基于区域的方法、基于图的方法、聚类方法和基于机器学习的方法（Canny，1986年；Shi和Malik，2000年；Felzenszwalb和Huttenlocher，2004年；Ng等人，2001年；Belgiu和Dragut，2016年），这些方法在为图像像素分配语义标签方面发挥着重要作用。然而，由于遥感图像存在的挑战，包括尺度变化、类内差异、类间相似性、复杂背景以及有限的上下文信息（Wang等人，2021年），传统方法受到手工特征和简单算法的局限，从而大大限制了它们的分割效果。相比之下，基于深度学习的方法在应对这些挑战方面表现突出（Shelhamer等人，2017年；Zhou等人，2020年）。通过数据驱动的特征学习和空间依赖性，它们克服了传统方法的局限性，在复杂多样的遥感场景中取得了显著的性能。

UNet（Ronneberger等人，2015年）通过跳跃连接将编码器的高层次特征与解码器的相应层连接起来，从而保留了多尺度特征并恢复了细节特征。然而，其直接的融合策略可能导致冗余和语义理解不足，尤其是在复杂地形和物体边界的情况下。PSPNet（Zhao等人，2017b）采用固定尺度池化来整合全局和局部上下文，但这种池化常常导致空间细节的丢失，限制了其准确分割小对象或细粒度对象的能力。Deeplab系列（Chen等人，2017年；Cheng等人，2018b）使用膨胀卷积和ASPP模块来整合多尺度上下文，但它们存在网格效应，并且缺乏对多样化上下文依赖性的动态适应性。HRNet（Sun等人，2019年）通过并行多分辨率分支保持了高分辨率特征。尽管如此，它仍具有较高的计算成本，并且缺乏有效模拟空间和通道信息之间跨维度关系的机制。UNet++（Zhou等人，2020年）通过密集的跳跃连接提高了特征的重用率，并结合了自注意力来增强上下文建模。然而，其注意力是静态的，限制了其在高分辨率遥感图像（HRRSI）中适应不同场景复杂性的能力。Vision Transformer（ViT）（Dosovitskiy等人，2020年）及其衍生模型通过全自注意力捕获长距离交互作用。它们通常需要大型训练数据集，并且计算成本较高，这在高分辨率遥感应用中是一个挑战。Swin Transformer（Liu等人，2021年）通过采用分层结构和移位窗口提高了可扩展性，平衡了全局和局部上下文建模。然而，它的计算强度仍然很高，并且没有明确模拟空间和通道维度之间的交互作用。

深度学习方法在HRRSI语义分割方面取得了突破性进展，推动了遥感领域的广泛应用和深入研究。然而，现有方法仍存在一些局限性，例如对小对象的识别不足、边界轮廓模糊和不精确、多尺度特征表示不足以及计算和参数成本较高。为了解决这些挑战，我们提出了创新的ABCFNet，它能够更好地适应复杂的遥感场景。本文的主要贡献如下：

(1) 我们提出了维度协同线性注意力模块（DCA）。通过确保$O\left(N\right)$的计算复杂度，DCA实现了跨维度特征协调，使模型能够更好地理解空间维度与通道维度之间的关系。

(2) 我们提出了自适应浅层特征重建模块（AFR），该模块简单高效。它使用可变形卷积来适应性地重建和增强遥感图像中的浅层信息，特别是边界信息。值得注意的是，AFR模块设计为即插即用，便于在不同领域之间移植。

(3) 我们引入了多尺度特征聚合模块（MFA）来进一步整合不同细粒度的特征。该模块通过整合解码器前三个分支的输出，实现了不同尺度信息的有效融合和适应。它可以满足不同尺度目标的需求，尤其是小对象。

(4) 我们开发了浅层特征重建与维度协同线性注意力网络（ABCFNet）框架，在保持多尺度高层次特征的同时重建浅层特征信息。在两个经典的遥感数据集ISPRS Potsdam和Vaihingen上的实验表明，ABCFNet优于当前主流的HRRSI分割方法。

章节片段

遥感中的语义分割

FCN（Shelhamer等人，2017年）是使用CNN进行端到端语义分割的开创性尝试，取得了成功。随后，编码器-解码器架构网络被引入并成功应用于遥感图像分割。Xiao等人（2023年）设计了方向卷积和大场卷积，分别用于提取方向特征和扩展卷积操作的范围。Hou等人（2023年）引入了

方法论

本节介绍了我们模型的整体框架，并详细解释了所提出的AFR、DCA和MFA模块。

实验与分析

我们在ISPRS Potsdam、ISPRS Vaihingen和DeepGlobe数据集上进行了一系列比较和消融实验（https://www.isprs.org/education/benchmarks/UrbanSemLab，https://competitions.codalab.org/competitions/18467）。首先介绍实验中使用的数据集，然后是评估指标。最后，我们展示了消融和比较实验的结果以及详细的分析。

结论

在本文中，我们提出了ABCFNet，这是一种旨在解决高分辨率遥感图像语义分割挑战的新网络架构。ABCFNet有效解决了特征提取过程中的关键问题，包括边界丢失、细节不足、多尺度特征提取不足以及难以识别小目标等问题。具体来说，AFR模块通过从高层次特征中自适应学习信息来增强边界。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文所述的工作。

致谢

本工作得到了国家自然科学基金[项目编号41971310]、天津市哲学与社会科学规划项目[项目编号TJGL19XSX-045]以及天津市研究生科研创新项目[项目编号2022SKY392]的支持。