具有跨层次注意力与U型门控交互的红外-可见光双模态物体检测Transformer模型
《Infrared Physics & Technology》:Infrared-visible dual-modal object detection transformer with cross-hierarchical attention and U-like gated interaction
【字体:
大
中
小
】
时间:2026年08月07日
来源:Infrared Physics & Technology 3.8
编辑推荐:
摘要:红外-可见光物体检测旨在通过利用红外图像与可见光图像对之间的互补信息来实现可靠的物体检测。然而,现有的双模态DETR方法面临三大挑战:难以有效融合跨模态特征,深度网络架构会导致空间细节严重丢失,以及现有匹配机制无法在分类与定位之间保持稳定的优化路径。本文提出了一种端到端的红
摘要:红外-可见光物体检测旨在通过利用红外图像与可见光图像对之间的互补信息来实现可靠的物体检测。然而,现有的双模态DETR方法面临三大挑战:难以有效融合跨模态特征,深度网络架构会导致空间细节严重丢失,以及现有匹配机制无法在分类与定位之间保持稳定的优化路径。本文提出了一种端到端的红外-可见光双模态物体检测框架。首先,我们明确构建了自上而下的上下文传递路径和多分支交叉注意力机制,并提出了交叉分层注意力特征融合(CHAF)模块,该模块使网络能够精确提取多尺度互补特征。为弥补在深度特征编码过程中丢失的浅层纹理细节,我们提出了U型门控特征交互(UGFI)机制。该机制能够动态结合深度全局语义与浅层高频细节,从而使网络在解码阶段更精准地定位物体。此外,为解决该任务中高精度空间定位与分类得分优化之间的矛盾,我们设计了位置监督损失函数(PSL)。该函数通过位置度量指标(IoU)来监督正样本的分类得分,从而提升模型稳定收敛的能力。大量实验表明,所提方法在FLIR、LLVIP、KAIST和GIR四个公开数据集上均取得了优异性能:在FLIR数据集上,其mAP值达到50.1%,比现有最佳方法高出2.6%;在LLVIP数据集上,其mAP50值为98.4%。这些量化成果显著优于现有方法,充分证明了我们的架构在复杂非结构化环境中的有效性与可靠性。相关代码已公开发布在https://github.com/tomsad524/CHU-DETR。
引言:物体检测是计算机视觉领域的核心任务。得益于深度学习的快速发展,物体检测技术取得了显著进步,并被广泛应用于现实场景中。在自动驾驶领域,为确保不同交通条件下的安全,人们对多光谱行人及车辆检测进行了大量研究[1]、[2]、[3]。在安全监控方面,视频异常检测与物体跟踪对于公共安全监测起着关键作用[4]、[5]。此外,物体检测技术在无人机航拍以及通用可见光-红外感知任务中也展现出卓越效果[6]、[7]、[8]。通常,物体检测算法是为处理可见光图像而设计的。然而,可见光传感器容易受到光照强度变化、烟雾等复杂环境因素的影响,这些因素往往会导致物体细节模糊,进而大幅降低物体检测器的性能。相比之下,红外传感器受天气和光照条件的影响较小,即使在光线不足或存在烟雾的环境中,也能有效捕捉物体,从而提高检测精度。例如,近期出现的单模态红外检测技术,如UIU-Net[9],便采用了嵌套的U-Net架构来有效保留小目标特征并增强局部对比度。不过,仅依赖单模态红外信息的算法由于缺乏精细的视觉纹理,在背景复杂的场景中容易产生误报。因此,近年来红外-可见光双模态物体检测受到了广泛关注[10]、[11]、[12]。
现有的双模态物体检测算法大多基于单模态检测框架实现,主要包括基于YOLO的算法[13]、[14]、[15]以及基于Transformer的算法[16]、[17]、[18]。其中,基于Transformer的双模态物体检测算法[11]、[19]、[20]因其出色的全局建模能力,近年来在多模态领域得到了广泛研究。然而,现有的多模态检测架构在特征交互与融合机制方面仍存在明显局限。首先,现有的多模态融合策略难以有效挖掘复杂的跨模态互补特征。大多数方法采用简单的元素级相加[10]、[21]或拼接[22]、[23]的方式,难以处理跨模态的非线性关系。尽管一些基于Transformer的方法引入了交叉注意力机制[17]、[18]、[24],但它们通常受限于单一尺度的感受野,难以充分提取适用于多尺度物体的精确互补特征。同时,现有的融合模块往往孤立地处理各个特征层[7]、[8]、[25],切断了层级之间的上下文关联,导致浅层特征在融合过程中缺乏高层语义的引导。因此,在没有高层语义约束的情况下,浅层融合容易在恶劣环境条件下出现非线性空间错位(物理视差)和背景噪声问题。为解决这一问题,我们引入了交叉分层注意力机制。该机制通过建立自上而下的上下文传递路径,让高层融合后的特征作为明确的语义先验,引导浅层特征的交互,从而实现稳健的多尺度对齐,并减少跨模态噪声。
虽然一些最新研究尝试了不对称融合策略来解决模态不平衡问题(例如,在黑暗环境中侧重使用红外特征,在白天则侧重使用可见光特征,通过光照感知加权实现这一目标)[11]、[26],但这些方法仍存在固有缺陷。从融合粒度来看,现有的不对称方法通常在单一固定的感受野下运行[8]、[19],难以同时捕捉微观的像素级对齐与宏观的上下文语义。而我们所提出的CHAF模块则通过采用并行多核交叉注意力(即{1×1,5×5,7×7}),从根本上重新定义了融合粒度,实现了从细到粗的感知方式,能够无缝适应极端的尺度变化。从特征交互模式来看,现有方法大多局限于层内的孤立交互(仅在相同网络深度处融合特征)[7]、[25],而我们的方法则建立了紧密耦合的跨层级交互模式。具体而言,我们仅将自上而下的上下文先验不对称地注入可见光分支,以抑制背景杂乱,同时利用UGFI机制动态连接深度全局语义与浅层高频细节。这种跨层级交互模式彻底打破了传统不对称架构的隔离性,有效避免了深度网络中空间细节的稀释。
此外,在Transformer编码器-解码器交互的设计中,现有主流方法通常仅使用最后一层编码器输出的高层抽象特征作为解码器的输入[16]、[18]、[27],从而导致编码器在不同层级提取的层次化图像特征未能得到充分利用。实际上,嵌入在浅层特征中的边缘、纹理等高频细节对于精确定位物体同样至关重要。然而,这些关键信息在经过深度网络的逐层抽象后很容易被稀释,从而导致小型或被遮挡物体的定位精度下降。尽管受经典U-Net架构启发的简单跳接结构[28]可以保留这些空间细节,但它同时也会将浅层背景杂乱引入解码流程。为解决这一权衡问题,我们采用了U型门控特征交互机制。该设计通过像素级的门控权重主动抑制非目标噪声,同时选择性地将高频边界细节注入解码器。
最后,现有的类DETR双模态检测器在不同解码层之间存在严重的“不稳定匹配”问题[18]、[24]、[27]。这种不稳定性的根源在于二分图匹配机制引发的“多重优化路径”冲突[29]。在训练过程中,模型经常会遇到两个预测结果不完美的边界框争夺同一个真实物体:边界框A的定位精度(IoU)很高,但分类置信度较低;而边界框B的分类置信度很高,但定位精度极差。在传统的损失函数下,由于分类得分与空间位置之间缺乏协同约束,模型总会倾向于选择被标记为正样本的边界框。这种在“追求高IoU”与“追求高分类得分”之间的摇摆不定,最终导致了严重的优化歧义。
为解决上述问题,本文提出了一种基于DETR架构的红外-可见光双模态物体检测算法。首先,针对多模态特征融合问题,我们提出了交叉分层注意力特征融合(CHAF)模块。该模块通过设计多分支交叉注意力结构,借助并行多核卷积获取多种不同的感受野,从而在多个尺度上精确提取各模态之间的互补信息。同时,它还引入了自上而下的上下文传递路径[30],利用前一层输出的高层融合特征作为语义先验,动态指导浅层网络中的交叉注意力计算。其次,为解决编码器与解码器之间的特征交互问题,我们引入了门控融合单元[31],用于动态评估并协调深度语义与浅层细节之间的关系,从而构建出高度交互的解码路径。最后,本文提出了位置监督损失函数(PSL)。PSL的核心原理是仅使用位置度量指标(IoU)来监督正样本的分类得分。该机制迫使模型减少那些定位不佳的边界框的分类奖励,只保留单一清晰的优化路径,从而显著提升模型的收敛速度与检测性能。
本文的主要贡献如下:与传统的孤立式或单一尺度多模态融合方法相比,我们提出了交叉分层注意力特征融合(CHAF)模块。该模块通过利用自上而下的上下文传递,借助高层语义共识作为引导先验,实现了跨模态互补特征的精确提取与稳健融合,有效克服了跨模态物理视差问题。为解决标准编码器-解码器架构中普遍存在的“空间细节稀释”问题,我们提出了U型门控特征交互(UGFI)机制。与那些会不可避免地引入严重背景杂乱的简单跳接结构不同,该机制采用门控融合策略动态过滤非目标噪声,同时协调深度全局语义与浅层高频细节,显著提升了小型及被遮挡物体的空间定位精度。为避免传统静态标签分配方式引发的二分图匹配歧义,我们提出了位置监督损失函数(PSL)。该机制仅通过位置度量指标(IoU)来监督分类得分,有效解决了层间不稳定匹配与优化歧义问题,大幅提升了双模态物体检测的收敛速度与精度。在FLIR、LLVIP、KAIST和GIR四个数据集上的大量实验表明,所提方法的性能优于其他现有最先进的物体检测方法,充分证明了其在复杂非结构化环境中的卓越稳健性与可扩展性。
本文的其余部分结构如下:第2节介绍相关研究,第3节详细阐述所提出的算法,第4节分析实验细节与结果,第5节给出结论。
片段摘录:基于Transformer的物体检测方法。在Transformer[32]、[33]在自然语言处理领域取得成功之后,Carion等人首次提出了基于Transformer的端到端物体检测器DETR(Detection Transformer)[16],将物体检测问题转化为集合预测问题。与传统基于CNN的检测器不同,DETR摒弃了复杂的锚点设计以及非最大值抑制(NMS)[34]后的处理步骤,通过二分图匹配实现了端到端的检测流程。然而,原始……
图1展示了所提出的双模态物体检测算法的整体框架。首先,红外图像与可见光图像被分别输入到两个独立权重结构的骨干网络中,以提取多尺度的单模态特征。这些多尺度特征随后被送入交叉分层注意力特征融合(CHAF)模块。经过CHAF模块融合后的特征,再由集成有U型门控特征交互(UGFI)机制的Transformer结构进行处理。
数据集与评估指标:我们在FLIR[47]、LLVIP[48]、KAIST[49]和GIR[50]四个数据集上进行了实验。评估时采用了标准的COCO AP[51]指标。FLIR数据集原本包含丰富的昼夜场景下的红外图像与RGB图像对,但其中存在大量对齐错误的图像。我们使用了经过对齐处理的FLIR数据集[47],该数据集包含5142对图像(其中4129对用于训练,1013对用于测试),涉及人物、汽车和自行车三种物体类别。
结论:本文提出了一种稳健的红外-可见光双模态物体检测框架,有效解决了现有方法在跨模态特征交互、空间细节重建以及匹配监督机制方面的瓶颈问题。首先,针对双模态特征融合效率低以及尺度分离问题,我们提出了交叉分层注意力特征融合(CHAF)模块。该模块通过自上而下的上下文传递路径……习建祥:写作——审阅与编辑。利益冲突声明作者声明不存在任何可能影响本文所报告工作的已知财务利益或个人关系。致谢作者感谢教育部人工智能在装备领域重点实验室开放基金(项目编号2024-AAIE-KF02-04)、国家自然科学基金(项目编号62072370、U23B2064)、陕西省自然科学基金(项目编号2023-JC-YB-598)以及匿名审稿人提出的宝贵意见和建议。侯志强|吴兴平|赵佳路|马苏刚|刘阳|卢瑞涛|习建祥中国西安,710121,西安邮电大学计算机科学与技术学院
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号