一种融合增强型红外-可见光目标检测网络,具备对目标差异的敏感度
《Neurocomputing》:A fusion-enhanced infrared-visible object detection network with target difference sensitivity
【字体:
大
中
小
】
时间:2026年04月12日
来源:Neurocomputing 6.5
编辑推荐:
红外可见光融合检测网络IVFDNet通过多尺度架构优化和TRS损失函数,提升低光照、遮挡场景下小目标检测性能,实验显示在多个数据集上检测指标提升10.51%,IoU提高9.59%,并保持高效推理能力。
赵元|李伟超|周倩|廖桥|李晨轩|龚天福
湖南大学电气与信息工程学院,长沙,410000,湖南,中国
摘要
在单模态红外或可见光图像中进行目标检测具有明显的实际价值。然而,在低光照、遮挡和纹理背景较弱等具有挑战性的场景中,其性能往往会下降。尽管多模态融合可以提供互补的信息,但它很少与目标检测集成在一个统一的框架中,而从融合图像中实现可靠的检测仍然具有挑战性。此外,当前的检测训练缺乏对空间和尺寸差异的显式优化,这限制了检测的准确性。因此,直接将现有的检测器应用于融合图像无法充分利用融合质量与检测性能之间的内在关系。为了解决这些问题,本文提出了一种名为IVFDNet的红外-可见光融合检测网络。该框架通过多尺度架构共同执行多模态融合和目标检测,对空间和尺寸变化具有更高的敏感性。它由一个红外-可见光融合模块和一个轻量级的目标检测模块组成。融合模块实现了渐进式的跨模态特征交互和模态引导的加权,同时保持了模态的完整性,生成了具有强烈热显著性和精细纹理细节的融合图像。检测模块引入了一个目标区域和尺寸敏感损失函数,该函数共同优化了位置和尺寸,并通过高效的检测头简化了多尺度结构。在多个红外-可见光配对数据集和红外数据集上的广泛实验表明,所提出的方法一致性地优于现有的代表性检测方法。该框架在检测指标上实现了高达10.51%的提升,在红外小目标检测的IoU上实现了高达9.59%的增益,同时保持了高推理效率和鲁棒性。
引言
红外图像中的目标检测是计算机视觉中的一个基本问题,在军事监视、边境检查、自动驾驶和医疗诊断等领域有重要应用[1]。红外成像在夜视、穿透遮挡和捕获热辐射方面具有明显优势。正如赵等人所强调的,高性能的小目标检测是红外搜索和跟踪任务的关键技术[2]。与可见光成像相比,红外系统对光照变化的敏感性较低,即使在低亮度、遮挡或雾霾等具有挑战性的条件下也能突出目标。然而,红外图像只包含一种模态信息,这导致了一些固有的限制,如维度降低、缺乏精细的纹理细节和空间分辨率不稳定。这些缺点削弱了目标检测在细节感知和复杂场景中的鲁棒性。相比之下,可见光图像提供了丰富的纹理细节和结构信息,使其自然地与红外图像互补。因此,红外-可见光图像融合已成为多模态感知中的一个活跃研究课题。例如,李等人提出了一个基于深度学习的融合框架,该框架分解图像并使用VGG网络进行多层特征提取,从而增强了融合图像的细节表现[3]。同样,马等人引入了一种保留细节的对抗学习方法用于红外-可见光融合,该方法在保持纹理保真度和语义一致性方面表现出色[4]。总体而言,现有研究表明,红外-可见光融合可以显著增强目标的显著性,从而提高检测系统在纹理较弱或杂乱环境中的鲁棒性。
然而,大多数现有的融合研究主要关注融合图像的视觉质量,而下游目标检测任务中的挑战尚未得到充分解决。在目标检测中,预测目标与真实目标之间存在定位偏差问题,特别是在涉及小目标或遮挡目标的场景中。预测的中心点容易发生系统性偏移,从而影响整体检测性能。此外,目标尺寸的变化可能导致尺寸感知的丧失。传统的目标检测网络缺乏适应尺寸差异的机制,这在低分辨率红外图像中尤为明显。当前主流的检测方法通常在训练期间使用IoU和GIoU等损失函数[5]。虽然这些函数提供了几何一致性约束,但在处理目标位置和尺寸不一致性时仍存在梯度退化和优化延迟等问题。
近年来,一些研究试图通过改进网络架构或引入多尺度建模策略来提高红外图像中的目标检测性能。关于这个主题已经有很多研究。例如,在基于深度学习的方法中,朱等人设计了一个端到端的CNN基检测器,结合了自上而下和自下而上的过滤模块,在红外小目标检测中实现了速度和准确性的平衡[6]。刘等人使用恒定信噪比的样本训练神经网络,与传统过滤方法相比表现出更好的性能[7]。余等人提出了MLCLNet,该网络利用多尺度局部对比学习和双分支特征融合机制,在复杂背景下显著提高了检测准确性和目标显著性[8]。同样,张等人开发了GANet,这是一种基于Transformer的网络,具有多尺度特征融合功能,不仅增强了小目标的全局感知,还提高了检测准确性,同时保持了轻量级架构[9]。然而,这些方法通常涉及复杂的设计和较高的计算成本,使其不太适合资源受限的场景,如边缘计算或嵌入式平台。此外,许多方法仍然仅依赖IoU或其变体作为回归指标,对损失函数的设计考虑不足。仅依赖传统指标忽略了空间错位和尺寸变化的影响。因此,在目标较小、有遮挡或尺寸变化较大的场景中,模型会遭受梯度退化和训练不稳定。这些问题最终限制了检测性能的进一步提高。
近年来,民用热红外成像硬件的快速发展显著扩展了红外感知系统的应用范围。紧凑的热成像相机和安装在无人机上的红外传感器现在可以捕捉到具有更清晰结构细节的高分辨率热图像。在这种情况下,检测算法必须在有限的机载计算资源下高效运行,同时保留精细的目标信息。得益于其轻量级的多尺度设计和简化的解码结构,所提出的IVFDNet在保持融合图像的详细空间特征的同时,保持了低计算复杂性。这一特性使得该框架适用于移动平台(如基于无人机的检测系统)的边缘部署。
基于此,我们提出了红外-可见光融合检测网络(IVFDNet),这是一种基于红外-可见光图像融合的简化且高效的多尺度检测架构。此外,我们设计了一种定制的损失函数——目标区域和尺寸敏感损失(TRS损失),该函数对位置和尺寸差异都很敏感。我们的方法以红外和可见光图像作为输入,增强了在模糊或杂乱背景下的目标可识别性。创新之处在于融合多模态输入以实现联合感知,同时优化网络结构。为了解决传统U-Net的大模型尺寸和计算量大问题,我们设计了一个轻量级的多尺度解码器。这种结构实现了高效的信息跨层传输。移除了冗余路径,保留了关键跳跃连接,并嵌入了轻量级的卷积单元。同时,在解码器中嵌入了多个预测头,它们能够对不同分辨率的目标区域细节进行建模和分析。我们进一步提出了TRS损失来处理融合图像中的两种常见错误类型:目标错位和尺寸变化。TRS损失由两个子模块组成。第一个是极坐标中的位置差异模块,可以测量角度和径向偏移,从而实现遮挡目标的鲁棒定位。第二个在传统的Dice损失中引入了尺寸敏感因子。通过应用非线性基于面积的加权,在训练期间对预测尺寸与真实尺寸之间差异较大的样本赋予了更大的重要性。与主要关注融合但难以进一步提高检测性能的现有方法相比,IVFDNet实现了集成设计。它从多模态输入到结构建模,再到损失优化,形成了一个完整的循环。在这项工作中,我们综合考虑了传统技术、深度学习方法和当前红外目标检测中的挑战。总结来说,我们的主要贡献如下:
1.我们开发了IVFDNet,这是一个融合红外和可见光输入并具有结构优化的检测框架。它在集成模型中提取了跨模态的互补特征,并实现了高效的多尺度目标感知。
2.我们提出了TRS损失,这是一种基于极坐标建模的损失函数,具有动态权重调整功能。它引入了对极坐标空间中位置差异的空间敏感性。此外,还添加了一个面积差异因子来增强Dice损失。权重根据尺寸误差动态调整。
3.在检测框架中,我们采用了多尺度引导的输出融合机制。所提出的TRS损失被集成到所有预测路径中,并在整个IVFDNet的迭代过程中应用。
本文的其余部分组织如下。第2节回顾了红外-可见光图像融合方法、检测网络结构和与损失函数建模相关的工作。第3节介绍了所提出的IVFDNet架构和改进的TRS损失。第4节分析了实验结果。第5节总结了本文。
章节片段
红外和可见光图像的融合特性
在红外-可见光图像融合方法的发展中,胡丽等人提出了DenseFuse,它引入了密集连接。通过融合中间层特征,它增强了结构细节的保留,并实现了两种模态互补特征的有效编码和重建[10]。张宇等人提出了IFCNN,这是一个基于卷积神经网络的通用图像融合框架,采用统一的架构用于不同的融合任务
提出的方法
图1展示了所提出的红外-可见光融合检测网络IVFDNet的总体架构。该网络由两个主要模块组成:融合模块(IVF)和目标检测模块(OD)。红外和可见光图像都被输入到IVF模块中。该模块包含一个融合单元和一个图像重建单元。融合单元从两种模态中提取和整合空间和语义特征。应用了一种逐步交互策略来增强
实施细节
数据集。我们设计的IVFDNet网络以融合增强后的图像作为输入,对红外和可见光融合图像进行目标检测。同时,改进的损失函数提高了对目标区域和尺寸差异的敏感性。在实验部分,我们选择了两个红外和可见光图像数据集以及一个红外图像数据集:M3FD数据集[29]、Aligned_FLIR数据集[30]和IRSTD-1K数据集[31]。前两个数据集用于多模态融合
结论
在这项工作中,我们设计了一个高性能的红外-可见光融合检测网络,即IVFDNet。为了解决单模态图像在检测任务中的局限性,我们提出了一种基于红外-可见光融合的多尺度检测方法。我们首先采用融合策略来获取多模态信息,充分利用每种模态的优势。同时,我们引入了一个损失函数TRS损失,该损失通过对极坐标进行组合,对空间和尺寸差异敏感
CRediT作者贡献声明
赵元:撰写——审稿与编辑、验证、监督、项目管理、资金获取。李伟超:撰写——原始草稿、可视化、软件、方法论、调查、数据管理、概念化。周倩:撰写——审稿与编辑、验证、监督、软件、资源管理、项目管理、资金获取、形式分析。廖桥:撰写——审稿与编辑、监督、资源管理、项目管理、资金
利益冲突声明
作者声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。
致谢
这项工作部分得到了中国国家自然科学基金(项目编号52007094)和湖南省科技创新计划(项目编号2023RC3104)的支持。
赵元于2017年在中国广州的华南理工大学获得电气工程博士学位。2018年至2020年,他在北京清华大学的电气工程系担任助理研究员。他目前是湖南大学电气与信息工程学院的副教授,研究兴趣包括机器学习和图像识别。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号