DPNet：一种用于在对抗性攻击环境下进行高光谱图像分类的动态金字塔辅助自适应特征聚合方法

《Knowledge-Based Systems》：DPNet: Dynamic pyramid-aided adaptive feature aggregation for hyperspectral image classification under adversarial attacks

　　

• •
  提出了一种动态金字塔辅助网络结构（DPNet），用于强大的高光谱图像分类，其在各种具有挑战性的基准数据集上实现了最先进的准确率，并具备更强的抵御各类对抗性攻击（FGSM、PGD、C&W）的能力。
• •
  设计了一种动态金字塔上下文编码器模块，用以捕捉全面的多尺度空间特征，从而提升模型的整体鲁棒性。
• •
  引入了一种选择性光谱变换器模块，该模块通过选择策略有效屏蔽无关特征，减少光谱冗余和对抗性噪声。

引言

高光谱图像能够捕捉地面物体在数百个窄波段上的连续光谱信息。充分利用高光谱图像可实现精准的地球观测，有助于识别精细材料及微小变化[1]、[2]、[3]、[4]。近年来，诸如超分辨率处理[5]、全色锐化处理[6]、[7]、[8]以及动态变化检测[9]等先进的高光谱图像处理技术不断涌现，进一步拓展了高光谱数据的应用范围。作为高光谱分析中的核心任务，高光谱图像分类旨在利用高度差异化的光谱特征为每个像素赋予唯一的语义标签。这类技术已被广泛应用于解决诸多实际问题，包括精准农业、环境监测、城市规划以及矿产勘探等领域[10]、[11]、[12]。

早期的高光谱图像分类方法主要依赖于传统的浅层模型。为应对高光谱图像的高维度特性及空间异质性，传统浅层模型逐渐被深度学习框架所取代[13]、[14]。卷积神经网络，尤其是3D卷积神经网络[15]，成为用于同时提取空间与光谱特征的主流架构[16]、[17]。例如，HybridSN[18]通过串联3D和2D网络，在降低参数冗余的同时增强空间特征表征能力。由于卷积神经网络的卷积核是固定的，且感受野有限，后续研究又探索了图神经网络[19]和状态空间模型[20]等新型架构，以建立强大的长距离依赖关系，处理不同尺度的物体。

将Transformer架构引入高光谱图像分析后，有效解决了全局依赖性问题，像HSI-BERT[21]和SpectralFormer[22]这样的开创性模型展现了出色的长距离特征提取能力。通过架构搜索[23]和光谱采样[24]，模型的泛化能力和对抗鲁棒性得到了进一步提升。由于纯Transformer缺乏局部归纳偏置，且往往对不同光谱带的处理不够细致，因此人们设计了混合方法，将卷积神经网络的局部敏感性与Transformer的全局上下文建模能力相结合。常见的设计包括将轻量级卷积与自注意力机制结合使用[25]，以及采用双路径空间-光谱特征提取方式[26]，以此提升分类性能。

除了分类准确率之外，高光谱图像的广泛应用也引发了严重的安全问题，因为深度模型极易受到难以察觉的对抗性扰动的影响[27]、[28]、[29]。为解决这一固有缺陷，人们开发了强大的高光谱图像防御框架。具体而言，SACNet[29]通过全局上下文自注意力机制系统分析对抗性影响，从而提升模型的鲁棒性。S${}^3$ANet[30]则通过多尺度空间-光谱协同网络进一步抑制对抗性噪声，而RCCA[31]则通过明确建模上下文差异，确保在攻击环境下特征仍具有区分度。同样，WFSS模型[32]采用了光谱变换器与空间自注意力的加权融合方式，有效建模全局光谱相关性，从而实现更高的准确率以及更稳定的对抗鲁棒性。尽管已取得显著进展，但这些方法大多忽视了一个根本性的架构瓶颈。

虽然已经有一些初步的鲁棒性方法被开发出来以减轻对抗性攻击的影响，但现有的绝大多数深度网络架构本质上仍然依赖固定的结构设计以及静态的计算模式。由于高光谱图像包含极其丰富的光谱与空间信息，这类僵化的框架在应对复杂、隐蔽且不断演变的对抗性扰动时，其处理能力存在根本性限制。受限于静态计算模式，传统网络无法动态调整其特征提取策略，以适应不同地面物体及输入场景的多样特征。这种缺乏适应性的问题成为了提取强大特征的重大障碍，往往会导致关键区分特征的丢失，使得模型极易受到对抗性噪声的影响。如图1所示，在对抗性攻击下，静态模型会出现严重的特征损坏：虽然它们对某些简单特征具有不错的提取能力，但对于复杂的土地覆盖类型，其性能则会大幅下降。因此，若要实现本质上的结构鲁棒性，就必须为网络赋予先进的自适应能力，使其能够根据输入数据的特定特征动态调整其特征提取机制。

基于上述观察，本文提出了一种动态金字塔网络（DPNet），用于实现高光谱图像的强大分类功能，该方法通过构建空间动态金字塔结构以及采用选择性光谱Transformer机制来实现这一目标。具体而言，该网络由两个分支组成：空间分支和光谱分支。在空间分支中，动态金字塔上下文编码器（DPCE）负责捕捉多尺度空间上下文，它通过自适应层、动态尺度以及可学习的尺度权重，能够自主适配不同的输入数据。与此同时，局部交叉注意力模块在自适应窗口内提取局部细节。在光谱分支中，则引入了选择性光谱Transformer（SST）编解码器，用于建模光谱维度上的长距离依赖关系。最后，通过一种带门控的自适应融合机制将空间分支与光谱分支连接起来，确保这两种特征表示方式之间保持动态平衡。

本研究的主要贡献如下：

• •
  一种具有双分支结构的强大分类框架（DPNet）。该框架能够自主调整空间尺度与光谱依赖关系，有效减轻对抗性扰动的影响，同时通过自适应模态门控（AMG）优化空间-光谱特征的融合，从而确保模型既具备高区分度，又拥有强大的防御能力。
• •
  一种动态金字塔上下文编码器（DPCE）模块，它能自主提取多尺度空间上下文特征。与传统静态金字塔策略不同，该模块能够让整个模型根据不同输入自动学习最合适的金字塔层级与尺度因子，即便在面对复杂扰动时也能实现强大的特征提取能力。此外，它还能为不同的金字塔层级分配自适应权重，体现不同特征尺度的重要性差异。
• •
  一种选择性光谱Transformer（SST）模块，该模块基于选择性Transformer编解码器架构，用于解决光谱冗余问题。与标准的全局自注意力机制不同，它采用了token选择策略，能够识别并强化关键的光谱依赖关系。通过选择性注意力，该模块能够突出重要光谱带，同时有效屏蔽无关或含噪声的光谱带，从而大幅提升光谱特征表示的鲁棒性，以及模型对抗攻击的能力。

本文的其余部分结构如下：第2节回顾了关于对抗性攻击及防御算法的相关研究；第3节介绍了所提出的DPNet架构；第4节详细阐述了实验过程并分析了实验结果；最后，第5节对全文进行总结。

各章节要点

相关研究

本节简要回顾了与对抗性攻击及防御机制相关的背景知识。

所提方法

本文提出了DPNet，其整体架构如图2所示。该框架采用并行双分支结构，旨在协同提取并融合高光谱图像中的强大空间-光谱特征。具体而言，通过全局-局部协同设计策略，空间分支由全局特征模块（GFM）和局部特征模块（LFM）组成：前者利用DPCE模块提取全局多尺度上下文，而后者则负责捕捉

实验研究

本文通过对比分析，对所提出的方法进行了系统的实验研究。

结论

本文提出了一种强大的分类框架，该框架利用多尺度协同感知机制，有效提升了高光谱图像对抗对抗性扰动的能力。其主要创新在于引入了动态金字塔上下文编码器模块。该模块突破了传统卷积网络固定感受野的限制，能够自适应地捕捉不同分辨率下的空间上下文信息。通过动态

CRediT作者贡献说明

杨静：写作——审稿与编辑、指导、方法设计、资金获取。宁浩瑞：写作——初稿撰写、方法设计、实验研究、概念构思。尚昌景：写作——审稿与编辑、方法设计。郭晓颖：可视化处理、验证、实验研究。耿海军：验证、概念构思。陈璐：写作——审稿与编辑、指导、资金获取。沈强：写作——审稿与编辑、指导、方法设计。

利益冲突声明

作者声明，他们不存在任何可能影响本文研究结果的已知利益冲突或个人关系。

杨静|宁浩瑞|尚昌景|郭晓颖|耿海军|陈璐|沈强