面向极端模态失衡场景的RGB-热成像自适应目标检测框架研究

针对RGB-Thermal（RGB-T）目标检测中因模态退化导致的极端数据失衡问题，研究人员提出了一种基于"基础-辅助"双检测器架构的创新方法。通过模态交互模块自适应融合特征，并采用模态伪退化策略模拟真实场景，显著提升了模型在模态缺失条件下的鲁棒性（缺失率降低55%），为自动驾驶、安防监控等领域的多模态感知提供了可靠解决方案。

　　

在计算机视觉领域，RGB-Thermal（RGB-T）目标检测技术因其在恶劣环境下的稳定性备受关注。传统方法假设训练数据中RGB和热红外（TIR）模态始终均衡可用，但现实中摄像头故障、天气干扰或视场差异常导致某一模态完全失效，引发极端模态失衡。这种分布外（OOD）问题不仅影响测试性能，还会破坏训练过程的收敛性。更棘手的是，现有方法缺乏对模态质量退化的自适应处理能力，难以应对自动驾驶夜间行驶或安防监控中突发传感器故障等关键场景。

为解决这一挑战，中国的研究团队在《Pattern Recognition Letters》发表论文，提出名为"基础-辅助检测器"的创新架构。该研究通过三个核心技术突破传统局限：首先设计模态交互模块（Modality Interaction Module）实现特征层面的动态加权融合；其次采用模态伪退化策略模拟真实世界的数据失衡；最后通过双检测器协同训练机制（基础检测器采用EMA更新，辅助检测器进行端到端训练）建立输出一致性约束。实验证明该方法在KAIST和FLIR ADAS数据集上能将缺失率降低55%，显著优于现有基线模型。

主要技术方法
研究采用KAIST（7000训练/2000测试对）和FLIR ADAS数据集，构建包含基础检测器（处理原始数据）和辅助检测器（处理退化数据）的双路径架构。通过欧几里得距离损失约束两者输出一致性，基础检测器参数采用指数移动平均（EMA）更新。模态交互模块通过通道注意力机制实现自适应特征融合，同时设计全局-局部退化策略模拟真实场景的模态缺失。

Method部分研究结果
基础-辅助架构通过双检测器协同训练解决收敛难题：基础检测器接收完整模态数据，辅助检测器处理随机退化的输入，两者输出通过L₂
损失强制对齐。这种设计使模型既能学习理想条件下的特征表示，又能适应测试时的模态缺失。消融实验显示，EMA更新策略使基础检测器mAP提升2.3%，而模态交互模块贡献了4.1%的性能增益。

Experimental settings部分验证结果
在KAIST测试集上，该方法在严重模态失衡条件下达到89.2% mAP，比单模态基线提高12.5%。特别在全局模态缺失场景（如完全失去RGB数据），缺失率从38.7%降至17.4%。FLIR ADAS的多类检测实验中，车辆识别AP⁵⁰
提升9.8%，证明方法的跨数据集泛化能力。

Conclusion部分讨论
该研究首次系统解决了RGB-T检测中的极端模态失衡问题，其创新性体现在三方面：1）双检测器架构通过输出一致性约束打破训练-测试分布差异；2）伪退化策略有效扩充了训练数据的模态组合空间；3）轻量级模态交互模块实现计算高效的动态融合。这些突破为自动驾驶在雾霾、强光等复杂环境下的可靠感知提供了新思路，同时其方法论可扩展至其他多模态任务（如RGB-Depth检测）。未来工作可探索更精细的模态质量评估指标，以及与其他跨模态蒸馏技术的结合。