《Pattern Recognition》：Light-AD: A lightweight anomaly detector via decoupled knowledge distillation for processing large-scale hyperspectral images onboard
编辑推荐：
•轻量级模型使机载大规模高光谱异常检测更加高效。•采用解耦知识蒸馏策略以提升特征表达能力。•异构子网络实现异常与背景的独立建模。•解耦训练策略以学习特定的异常/背景表示。•在边缘设备上对GB级机载高光谱数据实现分钟级响应。引言机载高光谱异常检测（HAD）旨在以完全无监督的方式
- •
轻量级模型使机载大规模高光谱异常检测更加高效。
- •
采用解耦知识蒸馏策略以提升特征表达能力。
- •
异构子网络实现异常与背景的独立建模。
- •
解耦训练策略以学习特定的异常/背景表示。
- •
在边缘设备上对GB级机载高光谱数据实现分钟级响应。
引言
机载高光谱异常检测（HAD）旨在以完全无监督的方式识别出其光谱特征相对于主导背景分布存在显著统计偏差或几何偏差的像素[1]，具体应用于低功耗卫星边缘设备。在地球观测过程中，此类光谱异常仅依据其相对于周围背景的罕见性和独特性来定义，而不需要任何关于材料组成或语义类别的先验知识，通常仅占图像的一小部分，可能对应于自然特征、人造物体或其他地表干扰，从而确保广泛的适用性。因此，机载HAD在军事侦察等应用中具有巨大的前景，可检测伪装或水下目标[2]、[3]，以及灾害响应，包括识别火点热点和石油泄漏[4]、[5]。这种在样本受限条件下有效工作的能力，使机载HAD成为近年来高光谱图像（HSI）解译领域的突出研究焦点。
传统的HAD处理链主要涉及在地面对高光谱遥感图像切片进行处理。这些方法可分为生成式和判别式两类，产生了大量有效成果。1）生成式方法建模图像背景并基于低概率像素检测异常。Reed-Xiaoli（RX）检测器[6]将背景建模为高斯分布，并使用马氏距离进行异常检测。核RX-AD[7]等变体以及使用低秩[8]、[9]、[10]或张量表示[11]的方法提高了准确率。自编码器[12]和GAN[13]也用于重建。2）判别式方法聚焦于学习异常与背景之间的差异，捕捉异常与背景在不同场景下的不变偏差关系，增强迁移能力[14]、[15]。即使异常和背景在跨场景机载处理中都发生变化，基于偏差关系的方法也能通过评估HSI中每个像素的偏差程度有效地定位异常。
随着高光谱地球观测数据的不断增加，高光谱数据的智能解译平台正逐步从地面高性能设备向边缘设备转移[16]，促进了机载HAD方法的发展，以处理具有复杂背景和多种异常的大规模高光谱图像。当部署在机载边缘平台上时，HAD方法面临关键挑战：如何在模型尺寸有限且信号微弱的条件下准确建模高光谱图像中的异常和背景？该挑战主要包含两方面的困难：
(1) 大规模机载图像中弱信号异常难以区分。与现有的在地面处理仅数百像素大小的高光谱图像切片不同，机载异常检测器通常需要处理宽度为数千甚至数万像素的推扫图像。地面物体更为复杂，使背景建模更加困难。在此条件下，小而稀有的地表异常已经微弱的特征信号很容易被复杂的背景所淹没，严重增加了机载HAD的难度。
(2) 资源受限的机载环境[17]、[18]、[19]限制了HAD网络的规模。为满足实时性要求，深度学习模型要么设计轻量级架构，要么通过模型压缩方法压缩网络。然而，神经网络的特征表达能力与参数规模正相关。有限的参数空间使轻量级异常检测网络难以保持复杂网络对地面物体光谱特征的建模能力。
为解决这些困难，本文提出了Light-AD，一种利用异常-背景解耦知识蒸馏的轻量级机载HAD方法。该方法增强了学生网络识别异常与背景之间光谱差异的能力。提出了一种新颖的异常-背景解耦结构，将学生网络划分为独立的异常专属子网络和背景专属子网络。异常专属子网络获取教师网络传递的完整知识，而背景专属子网络则专注于学习教师网络对背景的表示。通过整合两个子网络的输出，获得最终的异常响应图。异常和背景建模的这种分离使网络能够更精确地突出异常与背景之间的差异，同时增强了结果的可解释性。在损失函数设计方面，设计了一种异常-背景光谱偏差损失，利用平均光谱的余弦相似度来蒸馏偏差关系，从而增强模型在边缘平台上的适应性和效率。本文的主要贡献如下。
(1) 一种异常-背景解耦网络架构，以精确独立建模异常和背景。专门设计了一种轻量级学生网络架构，利用异构的轻量级背景专属和异常专属子网络分别学习异常和背景的知识，从而增强学生网络的特征表达能力、效率和可解释性。
(2) 一种解耦知识蒸馏训练策略，以从预训练异常检测器中学习。利用解耦训练策略，通过模拟样本生成异常图像和正常图像。结合知识蒸馏策略，Light-AD可以专门学习可迁移HAD方法的目标和背景表示。
(3) 大规模航空线列阵高光谱数据的实时处理实验。我们利用机载线列阵HSI结合嵌入式边缘设备，对大规模高光谱数据进行了实时处理实验，在边缘端实现了对GB级数据的分钟级响应。
本文其余部分组织如下。第2节对相关工作进行了深入回顾。在第1节初步概述的基础上，重点总结了基于偏差关系的HAD方法和利用知识蒸馏的高光谱神经网络压缩方法。第3节探讨了所提出的Light-AD方法的技术细节。第4节详细介绍了一系列实验，包括与现有HAD方法和KD方法的对比分析，以及在大规模HSI处理上的大量实验。最后，第5节总结全文的贡献并对未来研究方向提出见解。
章节摘要
高光谱异常检测方法
HAD任务的方法可分为两类：生成式方法和判别式方法，产生了大量有效成果。
(1) 生成式HAD模型旨在先学习图像背景，然后将存在概率低的像素视为异常，包括基于统计的、基于表示的和基于重建的模型[20]。Reed-Xiaoli（RX）检测器是最经典的基于统计的检测器，将背景建模为多元高斯分布
所提出的Light-AD模型与机载并行计算平台
为解决知识蒸馏过程中无监督HAD任务中异常与背景差异学习不足的问题，我们设计了Light-AD，一种基于异常-背景解耦蒸馏的轻量级高光谱异常检测方法。如图1所示，我们的方法分别对背景 and 异常进行建模，并设计了基于偏差关系蒸馏学习的损失函数，使学生网络聚焦于光谱
实验设置
在实验阶段，我们首先在服务器端使用与之前所有地面HAD方法相同的设置进行实验。通过将Light-AD与现有HAD方法和KD方法进行比较，我们证明了所提方法的优越精度和速度。然后，我们利用大规模机载线列阵高光谱数据（GB级）在边缘端平台上进行机载处理实验，使用本研究开发的机载HAD平台。该实验，
结论
本文提出了一种基于异常-背景解耦的知识蒸馏方法，旨在提升可迁移高光谱机载异常检测方法的效率，减少计算资源使用，并使轻量级网络能够掌握异常与背景之间的区别。该方法构建了一个背景子网络和异常子网络以独立建模异常和背景，并辅以创新的
CRediT作者贡献声明
陈孙：撰写 – 初稿，可视化，验证，方法论，调研，构思。李景涛：验证，方法论，调研，构思。王心宇：撰写 – 审阅与编辑，监督，资源，项目管理，经费获取。王少宇：撰写 – 审阅与编辑，数据整理，构思。钟燕飞：撰写 – 审阅与编辑，监督，资源，构思。
利益冲突声明
作者声明不存在任何已知的可能影响本文所报告工作的竞争性经济利益或个人关系。
致谢
本工作得到了国家自然科学基金的资助，资助编号为42571413、编号424B2010和编号42325105。
陈孙|李景涛|王心宇|王少宇|钟燕飞
