基于超像素的双流空谱融合自编码器用于高光谱目标检测

《Optics & Laser Technology》:Superpixel-based two stream spatial spectral fusion autoencoder for hyperspectral target detection

【字体: 大 中 小 】 时间:2026年10月23日 来源:Optics & Laser Technology 4.6

编辑推荐:

   ## 摘要 高光谱遥感图像(HSI)凭借其融合的时空-光谱特性,为目标检测提供了丰富的信息。然而,大多数数据集中仅包含单一目标光谱这一常见局限,限制了空间上下文的充分利用,而空间上下文对于应对光谱不确定性至关重要。为克服这一挑战,本文提出了一种基于超像素的补丁构建策略,并结

  

## 摘要

高光谱遥感图像(HSI)凭借其融合的时空-光谱特性,为目标检测提供了丰富的信息。然而,大多数数据集中仅包含单一目标光谱这一常见局限,限制了空间上下文的充分利用,而空间上下文对于应对光谱不确定性至关重要。为克服这一挑战,本文提出了一种基于超像素的补丁构建策略,并结合双通道空间-光谱融合自编码器(TS3FAE)。邻域光谱补丁构建模块将像素组织为反映真实世界空间分布的时空-光谱补丁,从而从有限的光谱样本中有效训练目标和背景表示。该模型利用空间-光谱联合卷积和自编码,在超像素邻域内联合学习光谱特征和局部空间特征。此外,线性背景抑制模块增强了目标-背景可分性。在圣地亚哥、德州海岸、香槟湾和卡特岛基准数据集上的实验表明,TS3FAE的性能优于现有方法。为便于复现,本文代码将在 https://github.com/ChevalierZ/TS3FAE 提供。

## 引言

高光谱成像(HSI)凭借其融合空间与光谱信息的独特特性,为目标检测提供了丰富的数据。然而,与高光谱分类[1]、[2]、异常检测[3]、[4]、[5]、[6]、[7]或变化检测[8]、[9]等任务相比,目标检测面临数据集特异性方面的挑战。这主要是因为在现有的高光谱目标检测算法中,严重依赖从单一目标光谱中获得的先验知识,这限制了其有效利用空间信息的能力[10]、[11]、[12]。因此,如何高效融合高光谱数据中的空间与光谱信息以提升目标检测性能,已成为一个关键的研究焦点。

早期的高光谱目标检测方法主要基于统计模型和信号处理技术[13]、[14]。自适应相干估计器(ACE)[15]、匹配滤波器(MF)[16]和匹配子空间检测器(MSD)[17]等算法均源自广义似然比检验(GLRT)[18]。此外,许多研究人员将信号处理技术应用于高光谱目标检测任务。例如,Kruse等人[19]提出的光谱角制图法(SAM)通过计算先验目标光谱与测试像素光谱之间的夹角来衡量两者的相似性。类似地,Chang[20]提出了光谱信息散度(SID),用于量化目标光谱和测试像素光谱所代表概率分布之间的散度。正交子空间投影(OSP)方法聚焦于亚像级目标检测。尽管这些算法在一定程度上可以检测亚像目标,但它们需要大量先验知识[21]。相比之下,约束能量最小化(CEM)方法[22]通过施加约束来构造有限冲激响应滤波器,以最小化输出能量,从而直接对特定目标进行滤波。

尽管这些经典检测器在合理的模型假设下表现出优异性能,但高光谱数据固有的多样性与复杂性,以及实际高光谱数据分布与假设模型之间的不一致,往往导致其在实际应用中性能下降[23]、[24]、[25]。大多数现有的高光谱目标检测算法主要关注光谱信息的挖掘,对空间相关性的探索相对有限[26]、[27]。基于正交匹配追踪(OMP)[28]的稀疏表示检测器,如基于稀疏表示的检测器(STD)[29],是高光谱目标检测中的代表性模型。然而,由于高光谱中的目标像素通常表现为混合像素,Zhu等人提出了基于稀疏表示的二元假设检测器(SRBBH)模型[30],该模型利用目标和背景的联合字典来重建目标像素。为进一步增强稀疏表示检测器的检测性能,Li等人将协同表示检测器(CRD)与稀疏表示相结合,提出了联合稀疏与协同表示(CSCR)模型[31]。然而,这些使用同心双窗口进行字典构建的检测模型无法为目标和背景构建过完备字典。为解决这一问题,Zhu等人[32]提出了一种基于CEM算法的目标字典构建(TDC)方法,并结合K-means算法构建过完备背景字典,从而提出了单光谱驱动的二元类稀疏表示目标检测器(SSBSTD)[33]。与经典方法相比,这些基于稀疏表示的检测器通常表现出更好的鲁棒性和更高的检测精度。

近年来,深度学习模型[34]、[35]在计算机视觉[36]、[37]、[38]、自然语言处理和大数据领域取得了显著成功,并被引入高光谱目标检测领域以提升检测精度[39]、[40]、[41]。在这些方法中,SRUN通过正则化自编码器和变分自编码器模型的隐变量,并选择目标判别性隐单元,实现无监督的逐像元光谱表示学习。尽管这一策略强化了光谱表示,但它既未构建空间组织的邻域样本,也未学习针对目标和背景模式的独立重建映射。然而,高光谱目标检测中对单一目标光谱作为先验知识的依赖,严重限制了深度学习方法的进一步发展。Li等人[42]首次将卷积神经网络(CNN)应用于该领域,提出了卷积神经网络目标检测(CNNTD)模型。该模型通过迁移学习策略,利用带标签的源数据构建像素对,并以光谱差异作为网络训练的输入,解决了训练样本有限的问题。CNNTD设计了一个基于CNN的光谱差异判别网络,根据输入的光谱差异来区分目标和背景。在此基础上,Zhang等人[43]引入了高光谱目标检测网络(HTD-Net),该网络采用U型自编码器(U-AE)[44]基于先验目标光谱生成训练样本。随后使用基于最小二乘的线性预测算法,选择与目标光谱具有最大光谱差异的背景光谱进行训练。然而,HTD-Net构建的目标训练集光谱曲线相对相似,未能解决光谱不确定性的问题。为应对这一挑战,Zhu等人[45]提出了双通道卷积神经网络目标检测(TSCNTD)模型,该模型整合稀疏表示算法生成背景字典,并通过将先验目标与部分背景结合来构建混合像素,从而显著提高了模型的鲁棒性。然而,TSCNTD从合成的单维光谱混合中学习。此外,Wang等人[46]提出了基于元学习的孪生网络高光谱目标检测(MLSN)方法,该方法利用深度残差卷积特征嵌入模块,有效地将光谱向量嵌入欧几里得空间进行特征表示。通过在基于三元组损失的三通道孪生网络架构上使用带标签的源数据进行元训练,该算法学习了特征空间内的类内相似性和类间差异性。此外,随后设计了一个双通道孪生网络,将元学习知识在先验目标光谱中进行整合,实现对新检测任务的快速适应,从而提高了效率和精度。深度学习也已扩展到弱监督高光谱目标检测(WS-HTD)领域,在该领域中可获得区域级标签,但不需要精确的像素级标注。Yang等人提出了变分多实例学习与嵌入相关性建模(VMIL-ECM),该方法在推断潜在目标位置的同时,显式建模高光谱区域嵌入之间的相关性[47]。他们随后引入了代理增强原型记忆网络(PE-PMN),该方法在双记忆库中维护目标和背景原型,并利用代理增强和包级混合来缓解光谱变异性和类别不平衡问题[48]。这些研究表明了深度表示学习在放宽监督条件下的有效性。相比之下,本文研究的是由单在先验目标光谱驱动的高光谱目标检测,不需要区域级标签。

尽管高光谱目标检测取得了进展,但现有模型主要聚焦于分析目标光谱与测试像素之间的光谱差异,对高光谱数据中空间信息的利用十分有限。例如,SRUN通过正则化自编码器和变分自编码器模型的隐变量,并选择目标判别性隐单元,实现逐像元的无监督光谱表示学习。它既未构建空间组织的邻域样本,也未学习针对目标和背景模式的独立重建映射。此外,TSCNTD通过先验目标光谱和背景光谱构建合成混合光谱,并从光谱向量表示中进行检测。这种局限性制约了检测性能,导致精度次优和背景抑制不足。为解决这一问题,本文提出了一种新颖的双通道空间-光谱联合自编码器方法用于高光谱目标检测,利用超像素分割联合提取空间和光谱特征,以实现高精度目标检测。具体而言,联合捕获空间和光谱维度的卷积网络已证明在空间-光谱信息融合方面有效且高效,并已被广泛应用于相关的高光谱分类任务中。然而,由于高光谱目标检测与分类数据集之间存在先验知识的差异,高光谱数据无法直接构建为空间-光谱补丁用于训练。超像素由光谱相似的像素组成,可以实现对高光谱空间信息的无监督粗分类。因此,本文采用我们此前工作中提出的超像素分割算法ADCTD[49]对高光谱数据进行分割。在ADCTD中,这些标签用于构建目标和背景的稀疏表示字典,随后使用SID进行目标-背景粗分离。基于这种分割,本文设计了两个模块:基于SID-CEM的粗检测模块(SC2D)和邻域光谱补丁构建(NSPC)模块。这两个模块协同模拟高光谱数据的真实分布,并构建空间-光谱补丁用于训练卷积网络。此外,本文用自编码器(AE)[50]替代稀疏表示模型进行光谱恢复,并提出了双通道空间-光谱融合自编码器(TS3FAE)和背景抑制光谱差异检测器(BSSD2)。这些创新既保留了稀疏表示模型的优势,又解决了其局限性,如漏检、虚警和背景抑制不足等问题。

综上所述,本文的主要贡献可归纳如下:

- **新颖的SC2D模块,用于鲁棒粗分割**:该模块基于高光谱的光谱特征对超像素进行粗分割。具体而言,该模块将SID与CEM相结合,根据光谱与先验目标光谱的相似性来分割超像素。光谱度量与信号处理的这种整合,使得目标和背景区域的鲁棒区分成为可能。

- **创新的NSPC模块,用于空间-光谱补丁构建**:该模块通过将超像素内光谱与超像素质心相结合来模拟真实的空间结构。利用八邻域扩展和边缘-内部比率,从单一目标光谱构建空间一致的空间-光谱补丁,解决了先验信息有限的场景问题。

- **新颖的TS3FAE网络**:构建了一个空间-光谱联合卷积神经网络,同时处理高光谱中的空间信息和像素光谱。此外,设计了一个带有跳跃连接的U型自编码器以防止空间信息丢失。这使得空间-光谱联合信息能够有效映射到训练块中中心像素的光谱特征上,显著提升了空间与光谱特征的融合效果。

- **有效的BSSD2模块**:为进一步抑制背景干扰并突出目标,通过融合幂函数和指数函数构建了一个基于欧几里得距离的光谱差异检测器。该方法有效地解决了传统基于欧几里得距离的光谱差异度量方法常受地形分布影响的局限性。

## 章节片段

### 预备知识

在本节中,我们将深入探讨超像素分割方法和自编码器架构的基本概念,通过对它们基本定义的全面回顾来阐述相关理论基础。

### 所提方法

在本节中,我们将详细介绍所提出的TS3FAE模型。首先,使用SC2D模型将高光谱数据分割为超像素,其中每个超像素由具有相似光谱特征的像素组成。基于这些超像素,采用NSPC算法生成目标和背景像素的三维光谱补丁。这些补丁随后输入到S2F和UAE模型中,这些模型旨在将每个三维光谱补丁映射到其对应的中心像素。

### 实验分析

在本研究中,我们提出了一种名为TS3FAE的新模型,并将其与四种基准数据集上的其他模型进行比较,以评估其性能。

### 总结与结论

在本研究中,我们提出了一种双通道空间-光谱融合自编码器,以解决高光谱目标检测(HTD)中固有的光谱不确定性和空间上下文利用有限的问题。本研究的核心理念在于开发了基于SID-CEM的粗检测模块和邻域光谱补丁构建策略,有效地弥合了理想化的先验光谱知识与复杂真实世界背景分布之间的差距。

## CRediT作者贡献声明

张伟博:软件、方法论、概念设计。吴晓边:撰写——审阅与编辑。陈中豪:撰写——初稿、数据整理。王亚坤:可视化、调研。王德刚:指导。

张宏启:验证,软件。利益冲突声明:作者声明他们不存在任何可能影响本文报告工作的已知竞争性经济利益或个人关系。致谢:本研究部分由国家重点研发计划资助(项目编号:2024YFC3210704),部分由国家自然科学基金委员会-联合基金资助(项目编号:U23B20150),部分由中国博士后科学基金会资助(项目编号:2026M790332),部分由中央研究院基本科研业务费资助(项目编号:Y722003 和 Yy726014)。张伟博|吴小边|陈忠昊|王亚坤|王德刚|张宏启
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号