ALSRFormer：一种融合动态窗口注意力与多尺度可变形前馈网络的自适应Transformer，用于遥感图像分割

《Neural Networks》：ALSRFormer: An Adaptive Transformer with Dynamic Window Attention and Multi-Scale Deformable Feed-Forward Network for Remote Sensing Image Segmentation

　　

我们提出了ConvALSR-Net，一种用于遥感分割的卷积-Transformer混合网络，通过将ConvNeXt与ALSRFormer模块相结合来增强多尺度特征建模和效率。

我们设计了DynamicWMSA，以适应性地调整局部注意力窗口，在保持平衡效率的同时提升细粒度特征捕获能力。

我们提出了MSDD-FFN，采用多尺度可变形卷积，增强对不规则物体和复杂纹理的表征能力。

我们设计了AdaptiveFusion，通过增强信息丰富的通道并抑制冗余来优化全局特征传播。

引言

遥感方法的进步拓宽了高分辨率影像的获取途径，支持城市规划、灾害评估和土地利用监测等多种应用（Shi, Liu, Marinoni, Liu, 2022, Song, Tong, Wang, Zhao, Prishchepov, 2019, Xiong, Li, Lu, 2020）。语义分割作为这些领域的基础任务，旨在准确区分不同的土地覆盖类别。与普通自然场景不同，遥感图像不仅具有高分辨率和多样化的目标尺度，还面临着复杂的空间结构、由传感器缺陷和大气干扰引入的噪声污染（Zhang, Dong, Zheng, Yu, Song, Zhang, Yuan, 2024a, Zhang, Yuan, Song, Yu, Zhang, 2022, Zhang, Zheng, Yuan, Song, Yu, Xiao, 2023a）以及显著的类内外观变化，从而对分割模型提出了更高的要求。

早期方法依赖于纹理、边缘和颜色等手工特征进行分割，在复杂场景中表现出有限的表征能力。随着深度学习的兴起，卷积神经网络（CNNs）逐渐成为主导范式（Krizhevsky, Sutskever, Hinton, 2012, Liu, Mao, Wu, Feichtenhofer, Darrell, Xie, 2022）。基于全卷积网络（FCNs）（Long et al., 2015）的架构在语义分割中取得了显著进展（Guo, Du, Zhang, Su, 2022, Ji, Wei, Lu, 2018）。然而，由于卷积核的局部性，CNNs难以捕获长程依赖。仅凭局部上下文往往不足以处理尺度变化大和空间分布复杂的物体（Peng et al., 2021）。

为克服这一局限，研究人员探索了非局部方法和注意力机制，并将Transformer（Dosovitskiy, Beyer, Kolesnikov, Weissenborn, Zhai, Unterthiner, Dehghani, Minderer, Heigold, Gelly, et al., Vaswani, Shazeer, Parmar, Uszkoreit, Jones, Gomez, Kaiser, Polosukhin, 2017）引入遥感分割任务（Liu, Lin, Cao, Hu, Wei, Zhang, Lin, Guo, 2021, Wang, Xie, Li, Fan, Song, Liang, Lu, Luo, Shao, 2021c）。Transformer的自注意力机制在全局建模方面表现优异，但其计算成本随分辨率呈二次方增长，且难以保留局部空间细节（Wang et al., 2022a）。因此，近期研究尝试融合CNN和Transformer以结合局部建模和全局建模的优势。例如，Zhang等人（2023b）通过并行的全局和局部路径提取多尺度特征，而He等人（2022）在ST-UNet中提出了并行的CNN-Transformer架构。然而，这些方法仍存在浅层特征全局建模不足以及局部和全局表示之间交互不充分等局限。

最近提出的ConvLSR-Net（Zhang et al., 2024b）在CNN阶段之后引入LSRFormer模块，将局部感知与全局依赖高效结合，在三个评估基准上取得了强性能。尽管如此，它仍存在若干局限：固定窗口划分难以适应不规则区域，静态的全局-局部交互不足以处理不同尺度的物体，而基于固定卷积核的前馈网络在建模复杂纹理和形态多样的物体方面能力有限。为解决这些问题，我们提出了ALSRFormer模块，并在ConvNeXt（Liu et al., 2022）骨干网上构建了卷积自适应长短期网络（ConvALSR-Net）。

这些局限对应于特征处理流水线中不同阶段的瓶颈：网络输入端的多尺度表征不足、与内容无关的局部注意力分配、通道均匀的全局-局部融合以及前馈阶段的结构建模受限。所提出的四个组件设计为以协调级联的方式解决这些瓶颈：IDConv丰富浅层特征表示，为后续注意力提供更强基础；DynamicWMSA通过根据token复杂度调整注意力半径来产生内容自适应的局部表示；AdaptiveFusion通过通道级重校准整合局部和全局上下文，在下游处理前抑制冗余通道；MSDD-FFN通过可变形条纹卷积细化方向性结构细节。这种有序排列中，每个组件为其后继者提供精细化的特征，构成了ALSRFormer的处理流水线。具体而言，我们设计了动态窗口多头自注意力（DynamicWMSA）以实现自适应的局部注意力范围，引入多尺度可变形方向性FFN（MSDD-FFN）以增强对不规则物体和复杂纹理的表征能力，并纳入AdaptiveFusion模块以提高长程信息传播的有效性：

1）我们提出了一种用于遥感图像分割的混合卷积-Transformer网络ConvALSR-Net。ConvALSR-Net采用ConvNeXt作为骨干网并嵌入ALSRFormer模块，实现局部细节、全局依赖和多尺度特征的自适应建模，从而在复杂场景中平衡分割精度和计算效率。

2）我们设计了DynamicWMSA模块，根据输入特征内容自适应调整局部注意力范围，在保持建模精度与计算效率平衡的同时有效捕获细粒度区域。

3）我们提出了MSDD-FFN，用多尺度可变形卷积替代固定卷积核，提升了对不规则物体和复杂纹理的表征能力。

4）我们设计了AdaptiveFusion模块，沿通道维度自动评估和增强关键全局特征同时抑制冗余信息，从而提高全局信息传播的有效性。

本文余下部分组织如下：第2节回顾遥感图像语义分割的相关工作。第3节详细介绍ConvALSR-Net模型。第4节描述数据集、实验设置和评估指标。第5节将ConvALSR-Net与其他现有方法进行性能对比，并包含消融实验以评估模型的泛化性能。第6节总结结果、指出局限并建议未来研究方向。

节选片段

基于CNN的方法

CNN长期以来主导着遥感语义分割领域，依赖局部卷积运算，在细粒度空间特征提取方面表现优异。代表性方法如DeepLabV3+（Chen et al., 2018）通过空洞卷积和ASPP模块扩展感受野以实现多尺度上下文聚合。后续工作进一步改进了特征建模；例如，A2FPN（Li et al., 2022）将特征金字塔与注意力机制融合以增强

整体架构

为有效融合多个尺度和阶段的全局与局部特征，我们提出了ConvALSR-Net，一种基于ConvNeXt骨干的 novel CNN-Transformer混合架构。整体架构如图1所示。在每个阶段，ConvALSR-Net将Transformer类模块与卷积骨干集成，并嵌入所提出的ALSRFormer模块；这些组件在模块级别串联连接，以利用卷积和自注意力的互补优势。

数据集

遵循先前的研究（Wang, Li, Zhang, Fang, Duan, Meng, Atkinson, 2022c, Zhang, Zhang, Zhang, 2024b），我们在三个公开的遥感数据集上评估模型：LoveDA（Wang et al., 2021a）、ISPRS Vaihingen（ISPRS, 2022b）和ISPRS Potsdam（ISPRS, 2022a）。

1）LoveDA：这个大规模航空场景分割基准涵盖了乡村和城市场景的图像。其主要挑战来自多样化的物体外观和不均匀的类别分布。总共

对比实验结果

为评估模型的有效性，我们在三个广泛使用的遥感分割数据集上与近期最优方法进行对比。

结论

本文提出了ALSRFormer模块并基于该模块构建了ConvALSR-Net模型，以解决遥感语义分割中局部-全局特征交互不足、固定窗口划分以及对不规则物体建模能力有限的问题。所提出的模块通过动态窗口注意力提升局部自适应性，引入通道注意力机制以抑制冗余特征并增强有效信息流动，并采用多尺度可变形

作者贡献

Ziqi Jia：撰写初稿并设计核心模型架构。Jiawei Zhang：参与核心模型架构设计，修订手稿并进行对比实验。Dongen Guo：准备数据集并进行消融研究。Penghua Yan：处理实验数据，创建可视化并分析结果。Junze Guo和Kaiyang Qu：监督项目并为手稿提供修改建议。

利益冲突

作者声明不存在利益冲突。

代码可用性

代码已发布于 https://github.com/SmallBambooCode/ConvALSR-Net。

CRediT作者贡献声明

Ziqi Jia：撰写——原稿、方法学、概念构思。Jiawei Zhang：验证、方法学、调查、撰写——审阅与编辑。Dongen Guo：验证、调查、数据整理。Penghua Yan：可视化、形式化分析、数据整理。Junze Guo：撰写——审阅与编辑、监督。Kaiyang Qu：撰写——审阅与编辑、监督。

利益冲突声明

作者声明不存在可能影响本文所述工作的已知竞争性经济利益或个人关系。

致谢

本研究部分由国家自然科学基金（批准号62502242）资助，部分由河南省科技研究项目（批准号252102210019、262102211069和262102311248）资助，部分由南阳理工学院博士研究启动基金（批准号NGBJ-2023-32）资助，部分由南阳理工学院交叉科学项目（批准号NGJC-2022-01）资助。

Ziqi Jia | Jiawei Zhang | Dongen Guo | Penghua Yan | Junze Guo | Kaiyang Qu