HyperTea:基于超图的时间增强与对齐网络,用于移动红外小目标检测
《Knowledge-Based Systems》:HyperTea: Hypergraph-based temporal enhancement and alignment network for moving infrared small target detection
【字体:
大
中
小
】
时间:2026年05月06日
来源:Knowledge-Based Systems 7.6
编辑推荐:
**摘要**
在实际应用中,移动红外小目标检测(MIRSTD)仍然面临巨大挑战,因为目标体积小、强度低且运动模式复杂。现有方法通常仅模拟特征之间的低阶相关性,并在单一时间尺度内进行特征提取和增强。尽管超图已被广泛用于高阶相关性学习,但在MIRSTD领域的应用仍较为有限。为了充
**摘要**
在实际应用中,移动红外小目标检测(MIRSTD)仍然面临巨大挑战,因为目标体积小、强度低且运动模式复杂。现有方法通常仅模拟特征之间的低阶相关性,并在单一时间尺度内进行特征提取和增强。尽管超图已被广泛用于高阶相关性学习,但在MIRSTD领域的应用仍较为有限。为了充分发挥超图的潜力并提升多时间尺度特征表示能力,我们提出了HyperTea框架,该框架结合了全局和局部时间视角,有效模拟特征的高阶时空相关性。HyperTea由三个模块组成:全局时间增强模块(GTEM)通过语义聚合和传播实现全局时间上下文增强;局部时间增强模块(LTEM)用于捕捉相邻帧之间的局部运动模式并增强局部时间上下文;时间对齐模块(TAM)用于解决潜在的跨尺度特征不对齐问题。据我们所知,HyperTea是首个将卷积神经网络(CNN)、循环神经网络(RNN)和超图相结合用于MIRSTD的框架,显著提升了检测性能。在DAUB和IRDST数据集上的实验证明了其先进性。论文被接受后,代码和权重将公开提供。
**引言**
红外小目标检测(IRSTD)已广泛应用于侦察、监视和救援等领域[1]。在许多实际场景中,无人驾驶飞行器(UAV)是主要检测目标。然而,红外成像系统的固有特性给IRSTD带来了以下挑战:
- **目标尺寸微小**:长距离成像导致目标尺寸小、强度低、对比度低、信噪比(SCR)低,使得目标在复杂背景中容易被遮挡。
- **空间区分度差**:由于红外成像系统的特性,目标缺乏颜色和纹理特征,边缘模糊,这大大降低了目标与背景的空间区分度。
- **时空不稳定性**:对于移动的红外小目标,由于距离变化、姿态调整或部分遮挡等因素的影响,它们的空间特征(如大小和强度)在连续帧中可能会发生变化。同时,它们的运动特征(如速度和轨迹)受到目标自身运动和成像平台运动及视角变换的影响,这两种因素共同导致目标运动模式非均匀和非线性,给特征表示学习带来巨大困难。
- **目标与背景的时空耦合**:背景杂乱在两个关键维度上与目标相似:在单帧内,它们的特征相似;在时间上,当成像平台改变位置和方向时,目标与杂乱的相对运动变得高度相似,这种双重相似性加剧了两者之间的时空耦合,从而大大增加了准确检测的难度。
为应对这些挑战,提出了多种IRSTD方法,主要分为基于模型和方法基于学习的方法。基于模型的方法利用从图像观察和分析中获得的先验知识进行目标检测[2][3][4],虽然在某些场景下表现良好[5][6],但它们对人工设计的特征提取器和超参数调优的依赖性限制了其适应性。相比之下,基于学习的方法最近展现了更优秀的检测性能和泛化能力[7][8][9],这些方法主要依赖于卷积神经网络(CNN)[10][11]、变换器(Transformer)[12][13][14]、循环神经网络(RNN)[15]及其混合模型。基于CNN的方法[8][16][17]能有效提取局部特征,但受到基于网格的表示方式的限制,难以模拟全局空间依赖性。变换器通过将图像视为完全连接图来克服这一限制,一些方法利用变换器改进了长距离建模[18][19][20],但由于二次计算复杂性和补丁嵌入导致的低层细节丢失,其应用受限。RNN基于序列依赖性建模的能力使其受到关注[9][21],但它们在并行训练和高计算成本方面存在困难,尤其是处理长序列时。尽管这些基于学习的架构种类繁多,但其固有的缺陷(CNN的局部感受野、变换器的高层细节丢失、RNN的高计算成本)限制了其在实际场景中的性能。此外,这些范式仅适用于低阶特征相关性建模,无法捕捉全局特征节点之间的复杂多对多跨时间关联,使得单一架构难以有效解决所有上述问题。
**解决方案**
CNN、Transformer和RNN主要限于低阶相关性建模,而超图神经网络(HGNN)[22][23]凭借其高阶学习能力在通用目标检测方面取得了显著成功。因此,我们自然想到探索一种新的解决方法,整合上述网络的互补优势,以实现多时间尺度的高阶特征表示,从而提升整体检测性能。为此,核心问题是如何基于基本网络架构构建检测流程。鉴于CNN在高效提取空间特征和保留低层细节方面的优势,以及RNN在处理短期时空不稳定性方面的能力,我们的框架策略性地结合了这两种基本架构以实现全局和局部时间上下文的增强。此外,我们引入HGNN为全局和局部特征赋予更高阶的依赖性表示能力,超越了传统低阶建模的局限。
为了充分利用各种基本网络架构的互补优势并促进目标的跨时间特征表示学习,我们提出了基于超图的时间增强与对齐网络(HyperTea)。HyperTea的核心目标是解决MIRSTD中的时空不稳定性和目标与背景的耦合问题——这些问题对于单一架构模型通常是难以克服的,主要是因为它们缺乏高阶学习能力以及仅限于单一时间尺度的特征表示。具体来说,我们的工作重点是在全局和局部时间尺度上同时表示红外目标,尤其利用超图实现高阶相关性的学习。这种三架构融合的独特性在于其协同作用:HGNN模拟特征节点之间的复杂多对多关联,而RNN+HGNN和CNN+HGNN子结构分别在局部和全局尺度上增强运动上下文,从而在检测性能和计算复杂性之间取得平衡。据我们所知,这是首个将CNN、RNN和HGNN集成用于MIRSTD的研究。
**主要贡献**
- 我们探索并提出了一种开创性的三架构方案HyperTea,利用多时间尺度特征表示学习来提升MIRSTD性能,首次将CNN、RNN和HGNN集成到一个统一框架中。
- 首次将HGNN应用于IRSTD,设计了两个模块来增强全局和局部时间上下文:基于CNN和HGNN的全局时间增强模块(GTEM)从全局时间上下文中提取高阶语义相关性并传播到每个帧进行增强;同时改进了ConvLSTM,设计了局部时间增强模块(LTEM)以增强小目标的帧间相关性。
- 设计了时间对齐模块(TAM)来减少不同时间尺度特征之间的潜在不对齐,并放大目标与背景之间的语义差异。
**超图学习**
如[22][24]所示,超图在模拟复杂的高阶关联方面表现出色,并已应用于多个领域[25][26][27]。最近,通用超图神经网络[22]引入了一种空间方法来促进特征顶点之间的高阶信息传播,取得了显著的检测性能。尽管如此,超图学习在IRSTD中的应用尚未得到充分探索。
**红外小目标检测**
根据不同的驱动范式,IRSTD涉及多个方面。
**初步讨论**
与仅能模拟成对依赖关系的普通图(如Transformer)相比,超图的重要特点是超边可以与多个顶点关联,从而能够模拟更复杂的高阶关系。超图[22]可以定义为G={V,E}。给定一个扁平化的特征图X,我们将每个特征点视为一个顶点,所有顶点构成顶点集V。为了构建超边集E,任意一组...
**数据集和评估指标**
为了全面验证HyperTea的有效性和优越性,我们在两个数据集DAUB[69]和IRDST[34]上进行了实验。表1展示了这两个数据集的详细信息。数据集的分割遵循[9]中的方法。
在评估指标方面,我们采用了物体检测领域广泛采用的精度(Pr)、召回率(Re)、F1分数以及在IoU阈值为0.5时的平均精度(mAP50)。这些指标的定义如下:
精度 = (真正例数 + 假正例数) / (真正例数 + 假正例数 + 假负例数)
**结论**
为了通过跨时间表示学习提升移动红外微小目标的检测性能,我们提出了HyperTea网络架构,该架构结合了CNN、RNN和HGNN。首先设计了GTEM来增强全局时间上下文,然后开发了LTEM来增强关键帧中的局部时间上下文。此外,我们利用HGNN为GTEM和LTEM赋予高阶学习能力。为了解决潜在的特征不对齐问题,我们还...
**作者贡献声明**
- 齐兆园:撰写——原始草案、可视化、方法论、数据整理、概念化
- 高卫华:撰写——审稿与编辑、研究、形式分析、数据整理
- 牛文龙:撰写——审稿与编辑、监督、资金争取
- 唐杰:验证、软件、资源准备
- 李云:撰写——审稿与编辑、研究
- 彭晓东:资源准备、项目管理
**利益冲突声明**
作者声明没有已知的财务利益冲突或个人关系可能影响本文的结果。
**致谢**
本研究部分得到了青年创新促进协会(Grant E1213A02)的支持,以及中国科学院前沿科学重点研究计划(Grant 22E0223301)的支持。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号