用于高光谱异常检测的空谱注意力增强 U 形盲点网络

《Neural Networks》：Spatial-Spectral Attention-Enhanced U-shaped Blind Spot Network for Hyperspectral Anomaly Detection

　　

摘要 近年来，基于盲点网络的高光谱异常检测（HAD）算法已取得了良好的检测精度。然而，现有方法在捕获全局信息方面仍存在不足，且往往忽略了背景的多类属性，这进一步限制了它们的检测精度。为解决这些问题，本文提出了一种用于高光谱异常检测的空谱注意力增强 U 型盲点网络（SubNet）。该网络的整体架构采用 U-Net 形式，并使用掩膜卷积和下采样操作来消除异常目标对后续特征提取的干扰。首先，为了有效捕获全局信息，在网络中嵌入了一个空谱自注意力模块（SSAB）。具体来说，对于空间自注意力模块，为了防止盲点信息干扰后续特征提取，在注意力图上添加了掩膜以满足盲点要求。此外，为了感知背景的多类属性，在潜在空间中设计了一种基于令牌字典的注意力模块（TDAB）。该模块通过额外的字典感知背景的多类属性，并进一步对输入特征进行分类。在每个类别上，使用多头自注意力模块来学习其相似性。因此，背景质量得到有效增强，检测精度进一步提高。最后，当网络收敛时，通过重构误差获得检测结果。通过在四个公开高光谱数据集上与八种算法进行比较，实验结果表明，提出的 SubNet 在 AUC(D,F) 指标上优于其他算法，具有更好的检测精度。本工作的代码发布于：https://github.com/xautzhaozhe/SubNet

引言 高光谱图像（HSI）在保留地面物体空间结构的同时，提供了丰富的光谱信息，使得每种材料都具有独特的光谱特征（Luo 等，2025）。这一特性使得 HSI 特别适合在复杂场景中进行物体检测和识别（Guo, Yang, He, Fu, Luo, 2024, Huo, Dong, Wang, Zhang, Wang, 2026）。在该领域，高光谱异常检测（HAD）已成为一个活跃的研究方向。HAD 的目标是在没有任何先验知识的情况下，通过分析内在数据分布来识别潜在目标。在过去几十年中，开发了许多检测器，它们大致可分为三类：基于统计的方法、基于表示的方法和基于深度学习的方法（Zhao, Song, Zhou, Zhu, 2026a, Zhao, Song, Zhou, Zhu, Zhang, 2026b）。

基于统计的方法通常假设背景服从某种概率分布，并通过距离度量来识别异常。最具代表性的算法是 Reed–Xiaoli (RX) 检测器（Reed and Yu, 1990），它使用多维高斯分布对背景建模，并通过计算每个测试像素与背景之间的马氏距离来检测异常。继 RX 检测器之后，开发了各种扩展，包括加权 RX（Guo 等，2014）、基于核的 RX（Kwon and Nasrabadi, 2005）和基于傅里叶变换的变体（Tao 等，2019）。除了高斯假设外，还提出了几种无分布或自适应检测器，包括棋盘拓扑（Gao 等，2023a）、具有信息熵（IEEPST）的点集拓扑（Sun 等，2024）以及基于广义似然比检验的自适应 CFAR 检测器（Liu 等，2021）。然而，由于现实场景的复杂性，单一分布假设往往无法准确建模背景，这限制了基于统计的方法的检测性能。

基于表示的方法主要包括协同表示（CR）、稀疏表示（SR）和低秩表示（LRR）。Li 和 Du（2014）首先将协同表示的概念引入 HAD，并提出了基于协同表示的检测器（CRD）。为了提高效率，Lin 和 Lin（2024）引入了基于单纯形求解器的超像素级 CRD 用于背景重构，并将重构的背景作为凸正则项集成到鲁棒 PCA 中以减少计算负担。Zhang 等（2024a）提出了一种概率协同表示方法，通过迭代估计像素类别概率，减少异常干扰并提高迭代效率。随后，Li 等（2015）提出了一种背景联合稀疏表示检测器，它估计一个正交背景互补子空间以选择代表性的局部背景基，然后通过无监督自适应子空间检测器抑制背景并突出异常。Zhao 等（2017）开发了一种稀疏表示系数评分检测器，在稀疏编码后将每个字典原子的频率作为异常分数。为了增强物理可解释性，Ling 等（2018）将求和为一和非负性约束纳入稀疏表示模型。Xu 等（2016）提出了基于低秩和稀疏表示的检测器（LRASR），它通过 K-means 聚类构建背景字典，使用 LRR 模型分离异常，并在这些区域内检测异常。除了低秩建模外，Cheng 和 Wang（2019）将图理论和全变分约束集成起来，以捕获局部几何结构并提高准确性。Zhang 等（2016）沿空间和光谱方向分割 HSI，通过 CP 分解分解每个子张量并聚合结果进行检测。Li 等（2020）提出了 PTA，它使用截断范数对背景进行低秩光谱约束，对背景进行空间平滑的全变分，并对异常进行组稀疏，将 HSI 分解为背景和异常张量。基于 CR 的检测器通常需要指定双窗口大小。基于 SR 和 LRR 的方法通过精心设计的背景字典和正则化项来建模背景和异常。然而，在现实场景中，异常和背景的大小在不同数据集间差异显著，使得在没有先验知识的情况下难以确定最佳参数（Tu, He, He, Zhou, Liu, Li, Plaza, 2025a, Tu, Zhou, Liu, He, Li, Plaza, 2025b）。

最近，基于深度学习的 HAD 引起了广泛关注。Li 等（2017）率先将 CNN 引入异常检测，从参考数据中学习异常和背景之间的判别性特征，并使用差异分数进行检测。Wang 等（2021）设计了 Auto-AD，这是一种基于自编码器（AE）的检测器，通过卷积和下采样层提取多级特征，并通过加权损失抑制异常的重构。Jiang 等（2021）提出了 LREN，它通过在潜在特征空间中构建字典并进行端到端训练，将 AE 与 LRR 模型集成。随后，Xiao 等（2023）设计了一种具有空谱双窗口掩膜策略的 Transformer，通过聚合全局背景和局部上下文信息自适应地抑制异常重构，然后利用重构误差进行检测。与上述方法不同，Gao 等（2023b）首先将盲点网络引入 HAD，其 BS3LNet 使用周围数据填充盲点像素，通过多层残差网络重构背景，并通过重构误差检测异常。随后，Wang 等（2023）将 Pixel–Shuffle 下采样纳入盲点框架（PDBSNet）以破坏异常之间的相关性，并通过多尺度空洞卷积扩大感受野以改进背景重构。在另一项工作中，Wang 等（2024）在中心像素周围引入了保护窗口（BockNet），从而扩大了盲点区域并增强了对较大目标的检测。他们还提出了 DirectNet（Wang 等，2024），它集成了滑动双窗口方案以匹配输入补丁大小，确保感受野与外窗口区域对齐。NL2Net 通过在最终检测前融合并行局部和非局部分支的特征来进一步捕获全局依赖。此外，PUNNet 采用无非线性激活网络进行特征增强（Wang 等，2025a）。尽管这些方法取得了令人鼓舞的精度，但它们仍然难以利用全局信息。例如，虽然自注意力模块能够建模长程依赖，但它们在特征交互过程中有传播盲点信息的风险，这会阻碍后续特征学习。此外，由于现实世界的背景通常包含多个类别，增强同类别内的特征对于实现更高质量的背景重构至关重要。

为解决这些局限性，本文提出了 SubNet，一种用于 HAD 的空谱注意力增强 U 型盲点网络。该整体架构采用 U-Net 结构，其中编码器和解码器通过跳跃连接相连，以实现多尺度特征传输。在编码阶段，采用空谱自注意力模块（SSAB）来捕获全局依赖，随后进行下采样。值得注意的是，为了保持盲点约束，在空间注意力图上应用了棋盘掩膜，防止中心（盲点）信息参与后续特征聚合。此外，为了考虑现实世界背景的多类别性质，在潜在空间中引入了基于令牌字典的注意力模块（TDAB）。该模块利用外部可学习字典自适应地对输入特征进行分类。在每个类别内，多头注意力机制增强类别内特征相似性，从而加强背景表示。解码器在结构上映射编码器并逐步重构背景。一旦网络收敛，通过计算逐像素重构误差获得最终的异常图。本文的主要贡献总结如下：

本文提出了一种用于 HAD 的具有空谱自注意力增强的 U 型盲点网络。该网络通过注意力模块捕获全局和局部上下文，同时满足盲点约束，从而准确重构背景。

设计了一种空谱自注意力盲点模块，通过对注意力图掩膜来强制盲点约束，同时深入挖掘背景的全局空谱特征，从而提高了背景重构的保真度和鲁棒性。

在潜在空间中引入了基于令牌字典的交叉注意力模块，该模块通过可学习字典感知背景的多类属性。该模块增强了类别内特征一致性，显著加强了判别性背景表示。

本文的其余部分组织如下。第 2 节介绍基于 DL 的 HAD 和注意力机制。第 3 节描述 SubNet，实验部分和讨论分别在第 4 节和第 5 节中呈现。最后，第 6 节是结论。

章节片段

基于深度学习的 HAD

基于深度学习的 HAD 是使用各种架构开发的，包括卷积神经网络（CNNs）、自编码器（AEs）、生成对抗网络（GANs）、Transformers、状态空间模型和扩散模型。Liu 等（2024a）引入了一种多尺度异常检测器，它以无监督方式学习分层背景特征以恢复背景。Zhao 等（2025b）将潜在特征分解为高频和低频分量，使用

SubNet 概述

SubNet 的框架如图 1 所示，主要包括训练阶段和测试阶段。整体架构采用 U-Net 结构（Ronneberger 等，2015），其中特征通过跳跃连接在编码器和解码器之间传输。

(1) 训练阶段：输入 HSI 表示为 X∈RH×W×C，其中 H、W 和 C 分别代表高度、宽度和光谱通道数。为了减轻异常像素对后续的干扰

实验设置

(1) 数据集：为了验证提出的 SubNet 的有效性，我们在四个真实世界的高光谱数据集（Kang 等，2017）上进行了实验，分别表示为 HSI-I、HSI-II、HSI-III 和 HSI-IV。这些数据集的详细特征总结在表 1 中，并如图 4 所示。所有四个数据集的空间分辨率均为 100 × 100 像素。HSI-I、HSI-II 和 HSI-III 是由机载可见/红外成像光谱仪（AVIRIS）传感器获取的，带有建筑物

参数分析

在 SubNet 中，关键可调参数是嵌入维度 N、空间注意力头维度 D、光谱注意力维度 R 和字典原子数 n。图 9 说明了 N、D、R 和 P 对最终检测性能的影响。这些参数的默认值分别设置为 N=48、D=36、R=24 和 P=256。在检查一个参数的影响时，其他两个参数保持固定。

(1) N 的参数分析：如图 9(a) 所示，嵌入

结论

本文提出了一种由空谱自注意力增强的用于 HAD 的 U 型盲点网络，称为 SubNet。该架构遵循 U-Net 风格，其中编码器和解码器通过跳跃连接相连，以促进多尺度特征传播。首先，输入 HSI 由掩膜卷积层处理，以抑制潜在异常像素对后续特征学习的影响。然后采用空谱自注意力模块来捕获

CRediT 作者贡献声明

赵哲：写作 – 审查与编辑，写作 – 初稿，可视化，验证，软件，方法论，调查，形式分析，数据整理，概念化。宋江路琪：验证，形式分析。周惠心：资金获取，形式分析。杨天方：形式分析。

利益冲突声明

作者声明，他们没有已知的竞争财务利益或个人关系，这可能出现在影响本论文报告工作的方面。

赵哲 | 宋江路琪 | 周惠心 | 杨天方