基于扩张残差网络和Swin-Neighbor变换器的方法在精确遥感图像分析中的应用

《Knowledge-Based Systems》：Dilated Residual and Swin-Neighbor Transformer-Based Methods for Accurate Remote Sensing Image Analysis

准确分类卫星图像对环境监测、城市规划等应用至关重要。本文提出DRVGG-16与Swin-Neighbor Transformer融合架构，通过Dilated Residual Visual Geometry Group捕获局部纹理特征，结合窗口注意力机制（W-SaMCA/SW-SaMCA）和邻居窗口连接（NWC）建模全局上下文，并引入Kohonen学习层增强类别可分性。实验表明该模型在四个高分辨率遥感数据集上平均精度达98.12%，较基线模型提升2.5-3.3%。

　　

王伟业

北京信息科技大学自动化学院，中国北京

摘要

卫星图像的准确分类对于环境监测、城市规划和土地利用制图等应用至关重要。尽管传统的基于变压器的视觉模型通过自注意力机制提供了全局感受野，但它们通常表现出较弱的局部归纳偏见，并且可能无法充分表示细粒度的空间纹理，尤其是在复杂的高分辨率遥感场景中。为了解决这些挑战，本文提出了一种新的卫星图像分类架构，该架构结合了扩张残差视觉几何组（DRVGG-16）网络以实现鲁棒的深度特征提取，以及Swin-Neighbor Transformer来层次化地建模局部到全局的依赖关系。在Transformer中，基于窗口的空间多头上下文注意力（W-SaMCA）和移位窗口SaMCA（SW-SaMCA）模块能够自适应地对空间邻域进行聚类，以提高上下文区分能力，而邻居窗口连接（NWC）机制则允许窗口间的通信，以确保边界连续性。Kohonen学习层通过无监督聚类来增强类别的可分性。评估是在Land-Use Scene Classification、WHU-RS19、RSSCN7和RSI-CB256数据集上使用Python 3.10和PyTorch框架进行的。该模型在所有数据集上的宏观平均准确率分别为：Land-Use Scene Classification数据集98.78%，WHU-RS19数据集97.89%，RSSCN7数据集98.90%，RSI-CB256数据集98.68%。该模型在平衡空间细节和全局上下文建模方面的能力为大规模土地覆盖分类任务和实际地理空间分析提供了有价值的前景。

章节摘录

与卫星图像分类相关的背景信息

在现代地理空间分析中，卫星图像分类作为原始观测数据与资源管理、土地利用规划和环境保护等决策工具之间的桥梁[1]。由于卫星传感器的进步，提供丰富空间、光谱和时间信息的高分辨率图像的可用性迅速增加。

机器学习（ML）方法，如随机森林（RF）、支持向量机（SVM）和k-最近邻

用于卫星图像分类的深度学习技术

深度学习方法已被用于多种卫星图像分类任务。例如，Hu等人[11]提出了一个多路径可重构残差网络（MR-ResNet）模型，该模型通过重建具有不同特性的训练模块来针对特定任务进行个性化处理。基于多路径输入策略，该模型能够高效选择最佳路径并减少训练时间和计算成本。然而，它在处理长距离空间信息时存在困难

方法论

所提出的方法整合了互补机制，以实现卫星图像分类，同时保留局部细节并理解全局上下文。其结构如图1所示。首先，使用DRVGG-16网络进行深度特征提取。该网络通过添加扩张卷积、残差连接和DRSCA模块扩展了VGG-16结构。主要的创新在于DRSCA模块，它能够捕捉大规模的上下文线索

结果

模型通过混淆矩阵、训练收敛性和稳定性分析、判别能力评估（AUC-ROC和AUPRC曲线）、超参数敏感性分析以及使用t分布随机邻域嵌入（t-SNE）的特征嵌入可视化进行了评估。还使用梯度加权类别激活映射（Grad-CAM）可视化来检查模型的可解释性。此外，还进行了消融研究和比较基准测试

讨论

所提出方法在四个具有挑战性的基准数据集WHU-RS19、RSI-CB256、RSSCN7和Land-Use Scene Classification上的实验结果表明，该方法在所有指标上都取得了出色的性能。模型的分类准确率分别为97.89%、98.68%、98.90%和98.78%，平均比最佳基线模型高出2.5-3.3%。较高的F1分数、Kappa系数和MCC值也表明了其优越性

结论

本研究设计了一种混合深度学习方法，结合了DRVGG-16和Swin-Neighbor Transformer用于卫星图像分类。该方法通过使用DRVGG-16骨干网络提取细粒度局部纹理，利用层次化Swin-Neighbor Transformer中的W-SaMCA和SW-SaMCA来建模全局上下文关系，并通过NWC机制保持空间连续性，有效地满足了研究目标

伦理声明

资助：得到中国国家重点研发计划[项目编号2022YFF0607400]和北京市教委研发计划[项目编号KM202011232005]的支持。

人类和动物权利

本文不包含任何作者进行的涉及人类或动物的研究。

知情同意

已从所有参与研究的个体参与者处获得知情同意。

数据和材料的可用性

支持本研究发现的数据可向相应作者提出合理请求后获取。

作者贡献

王伟业：研究构思与设计、数据收集、分析、结果解释及

结果解读和手稿准备。

CRediT作者贡献声明

王伟业：资金获取、正式分析。

利益冲突声明

作者声明他们没有已知的可能会影响本文所述工作的财务利益或个人关系。