CBF-Net：面向小目标检测的一致性引导内部偏置与多尺度可见光-红外融合方法

《Infrared Physics & Technology》：CBF-Net: Consistency-Guided internal bias and Multi-Scale Visible–Infrared fusion method for small target detection

　　

摘要：户外物体检测对于遥感与智能监控至关重要。传统单模态传感器在恶劣天气和夜间条件下性能严重下降。可见光-红外融合方法能显著提升目标感知能力。然而，异构成像机制会导致模态间强度不一致和空间错位，降低特征可靠性，并在融合过程中加剧模态不平衡。这些因素共同破坏了特征表示的一致性，严重削弱了小目标检测能力，从而使检测对背景干扰和定位偏差极为敏感。为解决这些问题，本研究提出了CBF-Net——一种基于YOLOv8的可见光-红外小目标检测框架，融合了任务导向的融合、上下文增强和定位稳定回归。在MIBF模块中，可学习的逐通道偏置与空间-通道注意力相结合，在RGB-IR融合过程中重新校准特征级模态响应。MSE模块使用具有多个感受野的并行深度可分离卷积来融合局部和上下文信息以表征小目标。此外，提出了一种共识-NWD损失函数，通过强制模态间分布一致性并采用归一化Wasserstein距离来联合优化小目标的稳定回归。在VEDAI数据集上的实验结果表明，与YOLOv8基线相比，CBF-Net将mAP@50和mAP@50:95分别提升了5.2%和5.0%。在LLVIP数据集上的补充评估表明CBF-Net在另一种可见光-红外检测场景中的潜在适用性，mAP@50提升1.8%，mAP@50:95提升4.7%。该方法为缓解模态相关的特征退化并增强评估RGB-IR场景中的小目标检测提供了有效解决方案。

引言：物体检测在遥感影像和户外场景监控应用中发挥着至关重要的作用，包括土地资源管理、交通监控、公共安全、灾害评估和环境保护。户外场景高度复杂，目标外观受光照变化、昼夜交替、天气条件和视角变化的强烈影响，导致表示不稳定，单模态检测性能大幅退化。融合可见光（RGB）和红外（IR）影像的双模态检测已被证明能有效增强复杂环境中的感知能力[1]，如图1所示。通过融合RGB图像丰富的纹理和结构信息与IR图像对光照不敏感的特性，RGB-IR融合能在低光或复杂成像条件下改善感知[2]。然而，RGB-IR双模态检测在实践中仍面临挑战。异构传感器在成像机制、空间分辨率和视角方面存在差异，使得跨模态对齐和特征融合更加复杂，降低了特征可靠性。这些局限性对小目标检测尤为关键，因为小目标检测性能对空间精度和特征完整性极为敏感。即使是微小的配准误差或噪声伪影也可能掩盖判别性线索，严重影响检测精度[3]。

早期的RGB-IR图像融合方法主要依赖人工设计的规则或固定转换策略，包括多尺度变换（MST）[4]、稀疏表示（SR）[5]、加权最小二乘（WLS）[6]、基于显著性的方法[7]和混合方法[8]、[9]。这些启发式方法严重依赖领域专业知识，通常对多样化成像条件的适应性有限。

随着深度学习的发展，数据驱动的融合方法[10]展现出更强的表示能力和泛化性能，通常采用Transformer架构、生成对抗网络（GANs）和卷积神经网络（CNNs）来实现[11]。Han等人[12]提出了一种交替交叉注意力Transformer融合网络，通过建模差异信息和共同信息来提升融合性能；Zhang等人[13]提出了一种基于频率-空间注意力的改进Transformer融合网络，增强了跨模态特征提取和融合。然而，基于Transformer的融合架构通常依赖复杂的注意力机制[14]来建模全局上下文和跨模态交互[15]，导致模型复杂度过高且计算成本过高[16]，阻碍了实时部署[17]、[18]。

基于GAN的方法利用生成器-判别器框架整合互补的RGB-IR信息进行检测。FusionGAN[19]是早期的尝试，通过对抗学习保留红外热辐射和可见光纹理，用于下游检测任务；PAU-GAN[20]采用U型生成器和基于块的判别器用于低光目标检测。后续变体，包括SSGAN[21]、EMA-GAN[22]和GAN-HA[23]，进一步引入语义分割、注意力机制或异构判别器来减少信息损失并提升融合质量。尽管这些方法有效，但基于GAN的融合方法普遍存在训练不稳定、计算成本高、对噪声敏感以及可解释性有限的问题。然而，近期研究表明，明确量化和约束中间特征表示的统计差异可以有效稳定训练并改善收敛行为[24]。典型示例包括特征匹配策略[25]、基于Wasserstein距离的目标函数[26]和多模态归一化技术[27]。

在基于CNN的框架中，多模态融合策略通常分为三类：数据级融合、决策级融合和特征级融合[28]。数据级融合在输入阶段对齐像素以保留细粒度细节[29]，但它对配准误差和输入噪声极为敏感[30]。决策级融合通过加权或逻辑操作汇总各模态的检测输出，对互补特征信息的利用有限[31]。特征级融合在网络中间层组合不同模态的语义表示，在特征丰富度和对齐挑战之间取得平衡。特征级融合已成为主流方法，但仍具有显著的研究潜力[32]、[33]。例如，Shen等人[34]引入了一种基于通道注意力的融合网络，通过特征重加权来改善夜间行人检测。Li等人[35]开发了一种跨尺度特征对齐模块，以确保RGB和IR特征之间的空间一致性。Liu等人[36]提出了一种将融合与检测相结合的双层优化框架，采用对象感知的双对抗学习网络，实现了mAP指标的改善。Liu等人[37]提出了一种基于注意力的特征融合模块，用于动态多模态集成，实现了高效的月球陨石坑检测。在小目标检测领域，已提出多种基于CNN的融合方法。Wang等人[38]提出了CARNet，采用分解-交互-重建范式，结合交叉注意力和通道注意力模块，以提升复杂场景中的检测稳定性。Ye等人[39]提出了MBUDet，通过尺寸对齐、目标偏移标注和模态权重计算来解决小目标的弱特征和噪声问题。Zhang等人[40]开发了ESM-YOLO，集成了IASPP和CBCSP单元来增强小目标检测，在VEDAI数据集上实现了82.42%的mAP@50。Yuan等人[41]提出了C2Former，结合了模态间交叉注意力（ICA）和自适应特征采样（AFS），在减少模态不匹配的同时保持建模能力并降低计算开销。

基于CNN的双模态融合方法通常比基于Transformer的方法需要更少的计算资源，更适合无人机和监控摄像头等边缘设备，同时也比基于GAN的方法展现出更稳定的收敛性。尽管取得了巨大进展，上述研究表明RGB-IR小目标检测仍存在若干未解决的问题，限制了现有RGB-IR融合方法的整体有效性。静态融合机制在处理配准引起的特征干扰或RGB与IR传感器之间的模态特定质量变化时可能灵活性有限，从而未能充分利用提供更多判别性特征的模态[42]。此外，此类模块无法根据场景内容动态调整模态贡献，限制了互补信息的利用。具有单一或狭窄耦合感受野的模块通常无法同时捕获局部细节和长程语义相关性[43]，导致在复杂背景下漏检小目标[44]。尽管RGB和IR成像原理不同，但同一目标的两模态特征分布应保持统计一致性。忽视这些模态间分布差异可能导致多模态特征融合时收敛不一致、融合权重波动和分布漂移，最终限制模态融合的有效性[25]。

受这些问题的启发，本文提出了一种一致性引导的偏置融合网络（CBF-Net），这是一种基于YOLOv8架构[45]的RGB-IR小目标检测框架。在公开的VEDAI数据集[46]上进行了消融实验，该数据集作为小型飞行器检测的主要基准。作为补充，在LLVIP数据集[47]上进行了跨场景评估，以检验所提方法在不同RGB-IR检测场景中的表现。本工作的贡献可总结如下：
(1) 开发了CBF-Net，作为RGB-IR小目标检测的任务适应型双骨干框架，重点在于协调的检测流水线中组织双模态特征提取、多级融合、上下文增强和定位稳定回归。
(2) 提出了模态内部偏置融合（MIBF）模块，用于在融合过程中执行特征级模态可靠性重新校准并增强主导模态的表达。
(3) 在融合阶段后引入多尺度增强（MSE）模块，利用并行深度可分离卷积聚合多尺度上下文信息，旨在丰富小目标的表示。
(4) 将早期阶段的模态一致性正则化项与基于归一化Wasserstein距离（NWD）的边界框回归相结合，称为共识-NWD，降低小目标定位对空间扰动的敏感性，同时提升双模态融合质量。

片段章节：

CBF-Net架构：如图2所示，CBF-Net采用双分支骨干网络分别提取RGB和IR模态的多尺度特征表示。颈部网络跨多个尺度聚合对齐和融合后的特征，检测头在每个尺度上的融合特征上执行分类和边界框回归。

MIBF模块细节：受RGB和IR传感器成像物理特性的启发[48]，MIBF旨在重新校准模态特定特征，高效融合两者…

实验：为确保统计稳定性和可重复性，所有消融实验和报告结果均在配备Intel Core i5-13600 K CPU和单块NVIDIA GeForce RTX 4090 GPU的工作站上完成。训练过程中使用固定的随机种子，并启用了PyTorch确定性算法以减少模型训练过程中的非确定性变化，所有实验均采用相同的超参数设置和默认YOLO数据增强…

结论：本文提出了CBF-Net，一种任务适应型双骨干YOLOv8框架，用于解决RGB-IR小目标检测中的性能退化问题。在VEDAI数据集上的实验结果表明，与YOLOv8双模态基线相比，CBF-Net将mAP@50和mAP@50:95分别提升了5.2%和5.0%。在LLVIP数据集上，CBF-Net也将mAP@50提升了1.8%，mAP@50:95提升了4.7%。消融结果表明，增强主导模块的表达可以…

CRediT作者贡献声明：Tong Xu：撰写—初稿，验证，方法论，调查，数据管理。Zhiguo An：撰写—审阅与编辑，撰写—初稿，监督，项目管理，形式分析，概念化。Yu Li：调查，数据管理。Junxi Wang：可视化，调查。

未引用参考文献：[51]。

利益冲突声明：作者声明不存在任何可能影响本文报告的已知竞争性经济利益或个人关系。

Tong Xu | Zhiguo An | Yu Li | Junxi Wang
重庆交通大学机电与车辆工程学院，重庆 400074，中国