在自动驾驶、夜间监控和搜救等安全关键应用中,鲁棒的目标检测需要在复杂的照明条件、遮挡和严重退化情况下保持稳定的感知(Wang, Cheng, & Li, 2025)。仅依赖可见光图像的检测器在良性条件下通常表现良好,但在极端环境中,雾霾散射、低光照、眩光、低对比度和传感器噪声会共同扭曲外观,导致其性能急剧下降。这些因素会引起光度漂移、模糊细节并削弱结构梯度,从而破坏特征提取,增加误报和漏检的概率。红外(IR)成像对光照变化的敏感性较低,并且在夜间提供更一致的热显著性(Hu, Chen, You, & Tang, 2025)。然而,红外图像通常缺乏丰富的纹理和精细的结构细节。因此,红外-可见光(IR–VIS)检测可以从热显著性和可见外观线索的互补性中受益。然而,这种优势并非总是成立:当可见光模态受到严重损坏或不同场景和目标尺度上的模态可靠性不同时,不适当的融合可能会引入噪声甚至降低检测精度。因此,一个在多种退化条件下仍能保持准确性和鲁棒性的IR–VIS检测器对于实际应用至关重要(Yang, Li, Zhang, & Yue, 2025)。
跨模态融合已经从静态组合发展到可学习的注意力和基于Transformer的交互。早期方法通常采用无参数的连接或加权求和;然而,这些方案在遮挡和噪声情况下往往失败,因为它们忽略了分布差异和模态可靠性差异。注意力机制(Huang, Zhi, Hu, Yu, Han, Chen, Zhang, 2024, Li, Kong, Wang, Luo, Shi, 2023)可以通过强调显著区域和抑制冗余背景来提高鲁棒性;然而,许多现有设计仍然受到固定感受野或单尺度建模的限制,这限制了它们在多尺度场景中同时捕获全局上下文和局部细节的能力。最近,跨模态Transformer(Li, Wang, Ning, He, Cai, 2025, Qingyun, Dapeng, & Zhaokui)利用全局上下文提高了在复杂场景和大型目标上的性能;然而,它们增加的建模复杂性和优化需求可能会降低在不同退化模式的数据集之间的可迁移性。更重要的是,许多融合策略是针对平均样本难度进行隐式优化的,而目标尺度、退化严重程度和模态可靠性的显著变化往往被忽视(Hu, Sun, Kang, & Li, 2023)。在这种非均匀条件下,具有固定行为的单一融合模块在从良性到高挑战性案例的整个范围内可能无法保持有效。同时,已经探索了具有退化感知能力的增强方法来提高感知质量;然而,当增强目标与检测监督不一致时,视觉增强图像不一定能带来更好的检测性能,甚至可能引入伪影或风格偏差(Karim et al., 2023)。总之,这些观察结果揭示了一个关键的研究空白:现有的IR–VIS检测器通常只是孤立地加强流程中的某个阶段(如增强、注意力调节、自适应融合或回归),但缺乏一个协调的设计来共同解决从源可靠性到融合行为、跨尺度表示一致性和定位监督的退化引起的误差传播问题。
尽管取得了这些进展,但在极端环境中的IR–VIS检测仍然面临几个耦合挑战。可见光退化会扭曲数据分布并削弱结构线索,从而破坏特征提取并放大跨模态不匹配。同时,模态互补性随场景内容、目标尺度和退化严重程度而变化;因此,固定的融合模式无法在金字塔层级和样本难度上保持一致的有效性(Sun, Cao, Zhu, & Hu, 2022)。此外,退化的边界会使传统的回归信号变得不可靠,从而限制了收敛稳定性和定位精度。因此,一个有效的IR–VIS检测器应在融合之前减少源级不匹配,支持输入自适应的多尺度融合,并在边界证据不确定时提供可靠的定位梯度(Zhang & Demiris, 2023)。在FLIR和M3FD上的统一训练和评估设置下,本工作的实际目标是在强大的双模态YOLO基线YOLOv8(Dual)的基础上,特别是在更严格的定位标准(如mAP@0.5:0.95)下,实现鲁棒性和检测精度的明显且可验证的改进,同时保持有竞争力的模型预算。
因此,本工作围绕三个研究问题展开:RQ1)如何在跨模态融合之前减少退化引起的源级不匹配;RQ2)如何根据场景和模态可靠性的变化调整融合行为;以及RQ3)在边界证据退化时如何保持跨尺度表示一致性和定位稳定性。
为了解决这一差距,提出了PE-Det,这是一个渐进式的具有退化感知能力的IR–VIS检测框架,其中每个组件都与特定的失败模式相对应。除了引入各个模块外,PE-Det的核心概念创新在于一个与失败模式对齐的、阶段耦合的设计,它将退化引起的性能损失视为从源可靠性、融合行为、跨尺度一致性和定位监督的一系列耦合错误,并逐步缓解这些问题,而不是通过单一阶段的孤立改进。主要贡献总结如下:
•我们提出了一个适用于恶劣环境的渐进式具有退化感知能力的IR–VIS检测框架PE-Det。其关键区别在于在输入预处理、自适应融合、跨尺度聚合和定位监督之间进行了失败模式对齐的协同设计。与主要孤立改进一个阶段的现有检测器不同,PE-Det明确协调这些阶段,以减少整个检测流程中的退化引起的误差传播。
•为了减少退化引起的源级不匹配并在融合之前稳定表示学习,我们引入了一个基于先验的可见光预处理(PVP)模块,该模块使用具有残差耦合的可微分先验启发式操作符对可见光流进行预处理,从而在跨模态交互之前稳定光度统计信息并增强与结构相关的线索;然后,预处理后的可见光流与红外流一起通过带有SC-C2f块的双分支主干网络进行编码,以生成更稳定的模态特定金字塔特征。
•为了克服固定融合模式在场景和模态可靠性依赖性下的局限性,我们设计了一个多尺度动态专家(MDE)模块,该模块基于跨模态差异在金字塔层级(P2–P5)进行逐级路由的专家选择;然后通过GS-SSFF模块进一步聚合这些自适应融合的多尺度特征,以模拟跨尺度依赖性并加强以预测为导向的特征整合。
•为了在边界证据退化或模糊时提高定位鲁棒性,我们提出了CFI-MPD-IoU,这是一种强调核心区域重叠的鲁棒盒回归损失,它结合了几何感知约束,以在严重退化条件下提供更稳定的定位梯度。