用于恶劣环境中鲁棒对象检测的空间感知自适应融合技术

《Pattern Recognition Letters》：Spatial-Aware Adaptive Fusion for Robust Object Detection in Adverse Environments

目标检测在恶劣天气和多域场景下性能显著下降，SAF-YOLO通过空间感知自适应特征融合与多尺度语义正则化，在保持源域性能的同时提升多域检测效果。摘要：提出SAF-YOLO框架，结合多尺度语义正则化抑制环境干扰，采用空间自适应融合动态整合不同域特征，在雾、低光、雨天及多域检测中实现优于现有方法性能，同时维持源域检测稳定性。

　　

张云飞|钟文龙|江乐|吴思

华南理工大学未来技术学院，中国广东省广州市510641

摘要

目标检测方法在正常场景下取得了显著成果。然而，在恶劣天气条件下，它们的性能往往会大幅下降。领域自适应目标检测方法能够让模型适应特定的目标环境，但忽略了源领域性能的下降，并且在多领域目标检测方面存在困难。为了解决这个问题，我们提出了一种基于空间感知自适应融合（SAF-YOLO）的检测框架。具体来说，我们复制了一个预训练检测器的结构和参数来创建一个对语义敏感的适配器，并通过多尺度感知正则化和语义正则化来减少无关环境因素对特征提取的影响。为了完整提取与对象相关的特征，我们引入了空间感知自适应特征融合机制，该机制可以根据空间位置动态调整不同特征在融合过程中的贡献。实验结果表明，SAF-YOLO在雾天、低光照和雨天等条件下的表现优于现有方法，同时在源领域也保持了良好的性能，并且在多领域目标检测中表现出色。

引言

目标检测旨在识别和定位特定对象，这对于自动驾驶和安全监控等应用至关重要[1]、[2]、[3]、[4]。现有的目标检测方法已经取得了显著进展，在标准光照条件下可以实现高识别精度[5]、[6]、[7]、[8]。然而，在低光照、运动模糊或浓雾等具有挑战性的环境中，测试图像和训练图像之间的领域差异会导致检测精度下降。此外，在恶劣条件下标注图像/视频数据的高成本和难度严重阻碍了当前方法的实际应用。

现有的领域自适应方法在提高模型在特定环境中的鲁棒性和适应性方面取得了进展[9]、[10]、[11]、[12]、[13]。师生范式使得模型能够从预训练的教师模型中学习目标领域的知识，且额外的训练成本较低[14]。然而，现有方法通常只关注提高特定目标领域的性能，而忽略了源领域的性能，也无法同时在多个领域进行目标检测。这一限制对于推进目标检测算法的实际应用至关重要。为了解决这个问题，我们采用多尺度语义正则化来指导适配器提取与对象相关的特征。此外，我们还利用空间感知自适应特征融合来结合来自多个领域的信息，使模型能够提取领域不变的特征并在不同领域中提高性能，如图1所示。

我们提出了一种用于恶劣天气条件下的目标检测的空间感知自适应融合YOLO（SAF-YOLO）。SAF-YOLO是EIF-YOLO[15]的扩展版本，具有以下关键区别：1）SAF-YOLO通过空间感知特征融合整合与对象相关的特征，引导模型优先处理与对象相关的区域，而EIF-YOLO没有这一机制；2）SAF-YOLO引入了一个新的雨天数据集进行测试，并评估了多领域目标检测的结果，而EIF-YOLO没有涉及这一点。具体来说，我们使用主干网络和适配器从不同领域提取特征。为了确保适配器专注于与对象相关的信息，我们引入了多层感知正则化（MPR）来抑制无关环境因素的影响。此外，我们还加入了多尺度语义正则化（MSR）来引导模型朝向高级语义特征发展。另外，我们引入了空间感知自适应特征融合（SAFF），该机制在跨领域特征融合过程中根据空间位置动态调整融合系数，使模型能够捕获全面的对象信息。实验结果表明，SAF-YOLO在各种恶劣条件下都能实现稳定高效的目标检测。其贡献总结如下：

• •
  SAF-YOLO不仅关注特定的目标领域，还能提取领域不变的特征，在多种环境中表现出色。
• •
  为了确保全面捕获对象信息，我们通过空间感知自适应融合整合了来自不同领域的特征，从而实现稳定提取与对象相关的特征。
• •
  我们引入了多尺度语义正则化，引导模型关注语义敏感的特征，同时抑制与环境相关的信息。

部分内容摘要

目标检测

近年来，目标检测模型取得了显著进展。Faster R-CNN[16]引入了区域提案网络（RPN）来解决区域提案计算的瓶颈问题。SSD[5]根据特征图上每个位置的纵横比和规模将边界框的输出空间离散化为一组默认框。在预测过程中，根据每个默认框内存在各个对象类别的可能性计算得分，并据此选择相应的框。

方法论

在领域自适应目标检测任务中，给定通过环境扰动获得的源数据集X_s和目标数据集X_t [10]、[41]，现有方法通常只关注单一的具体目标领域，未能考虑模型在多个领域的性能。为了扩展模型以支持多领域目标检测，我们构建了一个混合数据集

实验

首先介绍实验设置的详细信息，然后探讨模型在多领域目标检测环境中的性能。此外，我们还验证了模型在单领域目标检测中的性能，并将其与几种代表性方法进行了比较。同时，我们分析了SAF-YOLO中不同模块的有效性。

结论

我们提出了SAF-YOLO，这是一种利用空间感知自适应融合来处理各种恶劣天气条件下图像的目标检测模型。我们保留了预训练的主干网络，并通过复制主干网络的参数构建了一个额外的适配器。为了实现语义敏感的特征提取，我们引入了多尺度语义正则化来协调不同模块提取的特征。考虑到不同领域的环境可能会干扰模型的性能

CRediT作者贡献声明

张云飞：撰写——原始草稿、方法论、研究。钟文龙：软件开发、数据管理。江乐：撰写——原始草稿、项目协调。吴思：撰写——审稿与编辑、撰写——原始草稿、方法论。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

致谢

本工作部分得到了TCL科技创新基金（项目编号20231752）、国家重点研发计划（项目编号2024YFE0105400）、广东省科技计划（项目编号2025A050508003）以及广东省基础与应用基础研究基金（项目编号2024A1515011437）的支持。