PE-Det:基于先验引导的可见光预处理与专家融合技术,用于实现鲁棒的红外-可见光物体检测

《Expert Systems with Applications》:PE-Det: Prior-Guided Visible Preconditioning and Routed Expert Fusion for Robust Infrared–Visible Object Detection

【字体: 大 中 小 】 时间:2026年03月31日 来源:Expert Systems with Applications 7.5

编辑推荐:

  红外可见光检测在恶劣条件下因可见光模态严重退化(低光照、雾霾散射、对比度崩溃)导致跨模态不一致,传统固定融合策略失效。PE-Det提出退化感知自适应融合框架,通过可见光预处理稳定光照统计,增强结构特征;多尺度动态专家融合根据跨模态差异动态调整融合策略;改进的CFI-MPD-IoU边界回归损失提升定位鲁棒性。在FLIR和M3FD数据集上显著优于YOLO双模态基线和主流融合检测器,验证跨场景和域适应能力。

  
刘元|蔡珊珊|刘一龙|郭晓燕|耿庆毅|凌曦
中国陕西省西安市西北大学数学学院,邮编710127

摘要

在恶劣条件下进行红外-可见光目标检测仍然具有挑战性,因为可见光模态的严重退化(包括低光照、雾霾散射和对比度崩溃)会导致跨模态不一致性,从而削弱了在不同场景和目标尺度上固定融合策略的可靠性。为了解决这个问题,我们提出了PE-Det,这是一个具有退化感知能力的自适应融合框架,通过基于先验的可见光预处理、路由专家融合和多尺度聚合来提高检测的鲁棒性。具体来说,PVP模块通过稳定光度统计信息和增强与结构相关的线索来对可见光输入进行预处理,从而为后续的跨模态交互提供更可靠的特征。然后,在金字塔层级中引入了一个基于路由选择的专家融合池,使模型能够根据场景复杂性和跨模态差异调整其融合行为。此外,GS-SSFF模块增强了跨尺度交互,并生成了以检测为导向的多尺度表示。为了进一步提高退化条件下的定位能力,传统的基于IoU的盒回归被提出的CFI-MPD-IoU所取代,后者提高了边界框优化的稳定性和一致性。在FLIR和M3FD上的广泛实验表明,PE-Det在性能上始终优于代表性的单模态和多模态YOLO基线以及各种公开可用的融合驱动检测器。跨数据集的评估进一步验证了其对未见退化和领域变化的鲁棒性。源代码可在以下链接公开获取:https://github.com/601140736/PE-Det

引言

在自动驾驶、夜间监控和搜救等安全关键应用中,鲁棒的目标检测需要在复杂的照明条件、遮挡和严重退化情况下保持稳定的感知(Wang, Cheng, & Li, 2025)。仅依赖可见光图像的检测器在良性条件下通常表现良好,但在极端环境中,雾霾散射、低光照、眩光、低对比度和传感器噪声会共同扭曲外观,导致其性能急剧下降。这些因素会引起光度漂移、模糊细节并削弱结构梯度,从而破坏特征提取,增加误报和漏检的概率。红外(IR)成像对光照变化的敏感性较低,并且在夜间提供更一致的热显著性(Hu, Chen, You, & Tang, 2025)。然而,红外图像通常缺乏丰富的纹理和精细的结构细节。因此,红外-可见光(IR–VIS)检测可以从热显著性和可见外观线索的互补性中受益。然而,这种优势并非总是成立:当可见光模态受到严重损坏或不同场景和目标尺度上的模态可靠性不同时,不适当的融合可能会引入噪声甚至降低检测精度。因此,一个在多种退化条件下仍能保持准确性和鲁棒性的IR–VIS检测器对于实际应用至关重要(Yang, Li, Zhang, & Yue, 2025)。
跨模态融合已经从静态组合发展到可学习的注意力和基于Transformer的交互。早期方法通常采用无参数的连接或加权求和;然而,这些方案在遮挡和噪声情况下往往失败,因为它们忽略了分布差异和模态可靠性差异。注意力机制(Huang, Zhi, Hu, Yu, Han, Chen, Zhang, 2024, Li, Kong, Wang, Luo, Shi, 2023)可以通过强调显著区域和抑制冗余背景来提高鲁棒性;然而,许多现有设计仍然受到固定感受野或单尺度建模的限制,这限制了它们在多尺度场景中同时捕获全局上下文和局部细节的能力。最近,跨模态Transformer(Li, Wang, Ning, He, Cai, 2025, Qingyun, Dapeng, & Zhaokui)利用全局上下文提高了在复杂场景和大型目标上的性能;然而,它们增加的建模复杂性和优化需求可能会降低在不同退化模式的数据集之间的可迁移性。更重要的是,许多融合策略是针对平均样本难度进行隐式优化的,而目标尺度、退化严重程度和模态可靠性的显著变化往往被忽视(Hu, Sun, Kang, & Li, 2023)。在这种非均匀条件下,具有固定行为的单一融合模块在从良性到高挑战性案例的整个范围内可能无法保持有效。同时,已经探索了具有退化感知能力的增强方法来提高感知质量;然而,当增强目标与检测监督不一致时,视觉增强图像不一定能带来更好的检测性能,甚至可能引入伪影或风格偏差(Karim et al., 2023)。总之,这些观察结果揭示了一个关键的研究空白:现有的IR–VIS检测器通常只是孤立地加强流程中的某个阶段(如增强、注意力调节、自适应融合或回归),但缺乏一个协调的设计来共同解决从源可靠性到融合行为、跨尺度表示一致性和定位监督的退化引起的误差传播问题。
尽管取得了这些进展,但在极端环境中的IR–VIS检测仍然面临几个耦合挑战。可见光退化会扭曲数据分布并削弱结构线索,从而破坏特征提取并放大跨模态不匹配。同时,模态互补性随场景内容、目标尺度和退化严重程度而变化;因此,固定的融合模式无法在金字塔层级和样本难度上保持一致的有效性(Sun, Cao, Zhu, & Hu, 2022)。此外,退化的边界会使传统的回归信号变得不可靠,从而限制了收敛稳定性和定位精度。因此,一个有效的IR–VIS检测器应在融合之前减少源级不匹配,支持输入自适应的多尺度融合,并在边界证据不确定时提供可靠的定位梯度(Zhang & Demiris, 2023)。在FLIR和M3FD上的统一训练和评估设置下,本工作的实际目标是在强大的双模态YOLO基线YOLOv8(Dual)的基础上,特别是在更严格的定位标准(如mAP@0.5:0.95)下,实现鲁棒性和检测精度的明显且可验证的改进,同时保持有竞争力的模型预算。
因此,本工作围绕三个研究问题展开:RQ1)如何在跨模态融合之前减少退化引起的源级不匹配;RQ2)如何根据场景和模态可靠性的变化调整融合行为;以及RQ3)在边界证据退化时如何保持跨尺度表示一致性和定位稳定性。
为了解决这一差距,提出了PE-Det,这是一个渐进式的具有退化感知能力的IR–VIS检测框架,其中每个组件都与特定的失败模式相对应。除了引入各个模块外,PE-Det的核心概念创新在于一个与失败模式对齐的、阶段耦合的设计,它将退化引起的性能损失视为从源可靠性、融合行为、跨尺度一致性和定位监督的一系列耦合错误,并逐步缓解这些问题,而不是通过单一阶段的孤立改进。主要贡献总结如下:•
我们提出了一个适用于恶劣环境的渐进式具有退化感知能力的IR–VIS检测框架PE-Det。其关键区别在于在输入预处理、自适应融合、跨尺度聚合和定位监督之间进行了失败模式对齐的协同设计。与主要孤立改进一个阶段的现有检测器不同,PE-Det明确协调这些阶段,以减少整个检测流程中的退化引起的误差传播。
  • •
    为了减少退化引起的源级不匹配并在融合之前稳定表示学习,我们引入了一个基于先验的可见光预处理(PVP)模块,该模块使用具有残差耦合的可微分先验启发式操作符对可见光流进行预处理,从而在跨模态交互之前稳定光度统计信息并增强与结构相关的线索;然后,预处理后的可见光流与红外流一起通过带有SC-C2f块的双分支主干网络进行编码,以生成更稳定的模态特定金字塔特征。
  • •
    为了克服固定融合模式在场景和模态可靠性依赖性下的局限性,我们设计了一个多尺度动态专家(MDE)模块,该模块基于跨模态差异在金字塔层级(P2–P5)进行逐级路由的专家选择;然后通过GS-SSFF模块进一步聚合这些自适应融合的多尺度特征,以模拟跨尺度依赖性并加强以预测为导向的特征整合。
  • •
    为了在边界证据退化或模糊时提高定位鲁棒性,我们提出了CFI-MPD-IoU,这是一种强调核心区域重叠的鲁棒盒回归损失,它结合了几何感知约束,以在严重退化条件下提供更稳定的定位梯度。
  • 章节片段

    跨模态特征融合

    跨模态特征融合旨在通过利用互补线索并将模态特定的噪声和伪影抑制,将异构传感器观测集成到一个统一的表示中(Wang, Zhou, Li, & Zhang, 2026)。现有研究可以从两个维度进行大致分类:融合在检测流程中的引入位置以及所使用的交互操作符。从架构角度来看,融合可以在输入级别进行,例如通过

    整体网络架构

    在极端环境中,可见光模态的复合退化(包括雾霾、低光照和强散射)会大幅放大跨模态不一致性,使得固定融合策略在不同场景和目标尺度上变得不可靠。为了解决这些挑战,提出了PE-Det,这是一个统一的IR–VIS检测框架,它对可见光输入进行预处理,执行逐级路由的专家融合,聚合多尺度上下文,并提高

    设置

    环境。所有实验都在配备24 GB内存的NVIDIA RTX 3090 GPU上进行,使用CUDA 11.8、cuDNN 7.0、Python 3.10.14和PyTorch 2.2.2。除非另有说明,所有模型都在相同的计算环境和训练预算下进行训练,以确保公平比较。主要训练超参数总结在表2中。
    验证分割和超参数选择。为了明确训练协议,每个数据集首先被划分为80%的训练数据和20%

    结论

    本文提出了PE-Det,用于在具有挑战性的环境中进行鲁棒的红外-可见光目标检测,在这些环境中,可见光流的退化和跨模态不一致性会显著削弱检测可靠性。PE-Det通过整合四个协调组件构建了一个统一的具有退化感知能力的检测框架。首先,通过提出的PVP模块引入可见光预处理,以稳定退化情况下的光度统计信息并增强与结构相关的线索

    作者贡献声明

    刘元:概念化、方法论、软件、写作——原始草案、可视化。蔡珊珊:形式分析、可视化、调查、写作——原始草案。刘一龙:软件、资源。郭晓燕:形式分析、调查、验证、写作——审阅与编辑、监督。耿庆毅:软件、数据管理。凌曦:资源、数据管理。

    利益冲突声明

    作者声明没有已知的财务利益或个人关系可能影响本文报告的工作。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号