一种专注于恶劣天气下前景背景对齐的跨域目标检测方法

《Expert Systems with Applications》：A Cross-Domain Object Detection Method Focused on Foreground-Background Alignment in Adverse Weather

　　## 摘要在恶劣天气条件下，物体检测器的高效视觉感知对于交通安全至关重要，但传统检测器在恶劣条件下性能显著下降，且大规模数据集的收集和标注成本极高。无监督跨域检测无需标注即可在恶劣天气条件下实现物体检测。然而，现有方法主要基于两阶段检测器，速度慢且精度较低。因此，我们聚焦于特征的前景-背景对齐（FBAlign），提出了一种面向恶劣天气交通目标的通用单阶段（YOLO系列）跨域检测框架，通过像素级特征解决了前景-背景不对齐的问题。具体而言，我们设计了一个域构建模块（DB）来减少域间差异。此外，我们提出了多尺度前景特征对齐模块（MSFFA）和背景感知特征对齐模块（BFA），通过像素级多尺度对齐和对抗学习来对齐细粒度前景细节和背景特征。大量实验结果表明，我们的方法在基准数据集上取得了更好的检测性能。与基线相比，在雾天和雨天数据集（不同天气条件下的相同场景）上，mAP@0.5分别提升了14.3%和18.4%。在更具挑战性的低光数据集（不同场景和天气）上，mAP@0.5提升了4.1%。此外，FBAlign在训练过程中仅引入了1.4G额外FLOPs和0.9MParams，同时保持了原有的推理速度。## 引言如今，高级驾驶辅助系统（ADAS）和自动驾驶（AD）正逐步融入日常交通，这意味着高性能的物体检测器对交通安全至关重要。尽管基于深度学习的物体检测（Jocher, Wang, Chen, Liu, Chen, Lin, Han, 2024a；Wang, Yeh, Liao, 2024b）性能已取得显著提升，但在恶劣天气条件（雾天、雨天和低光照）下的物体检测仍然是一个挑战（Hu, Wu, Yang, Fan, & Jing, 2023）。这是由于正常天气与恶劣天气图像之间存在特征分布差异（Zhang, Rong, & Jing, 2025），如图1所示，这种分布差异导致在正常天气下训练的检测器往往无法在恶劣天气下检测到物体，从而可能导致交通事故。在恶劣天气条件下的图像上训练深度模型可以有效提高检测性能。然而，由于成本高昂，每次为新环境的物体检测都收集并标注大量图像是不切实际的。因此，无监督域适应（UDA）（David, Blitzer, & Crammer, 2010）作为一种有前景的解决方案应运而生。其主要目标是实现从拥有大量标注数据的源域（正常天气）向目标域（恶劣天气）的有效知识迁移，同时减少跨域特征分布差异。与传统监督学习方法相比，UDA无需目标域标注即可提高模型的泛化能力，从而显著降低标注成本，增强在开放和动态环境中的适应性。近年来，UDA已被广泛应用于各个领域，包括医学图像分析（Raza & Singh, 2021）、航空图像解译（Yang et al., 2026）、海上监测（Martinez-Esteso, Castellanos, & Javier Gallego, 2026）和文本分析（Huang, Liu, Chen, & Zhang, 2026），展现了强大的跨域迁移能力和巨大的应用潜力。然而，物体检测本质上比图像分类更具挑战性，因为它需要同时完成物体分类和定位。因此，尽管UDA在图像分类中得到了广泛研究，但现有的大多数基于UDA的物体检测方法（Lang, Zhang, Shi, Chen, Pu, 2023；Wei, Xia, Yang, Zhao, Liu, Wang, Chen, Lu, 2025；Zhou, Du, Zhang, 2022）都建立在两阶段检测器Faster R-CNN（Ren, He, Girshick, & Sun, 2017）之上，而最近的一些研究也探索了基于Transformer的检测框架（Xiao et al., 2025）。然而，与单阶段检测器相比，这些方法在推理速度和检测精度方面仍存在局限性，不太适用于实际场景。尽管单阶段检测器在推理效率方面具有显著优势，但它们通常依赖全局或大规模特征对齐策略，难以在单个物体级别进行细粒度特征提取和对齐。因此，在跨域适应过程中，前景物体和背景区域可能会纠缠在一起，导致前景-背景特征对齐不充分。这一问题在恶劣天气场景中尤为突出，因为雾、雨和低光照等因素主要影响低级视觉特征，包括背景外观、光照和能见度，而物体的语义属性通常保持不变。当采用全局特征对齐策略时，模型往往过度关注与天气相关的背景信息，而忽略了物体特征的有效对齐。因此，背景特征可能主导适应过程，导致负迁移。这使得消除源域与目标域之间的特征分布差异变得困难，削弱了物体特征的判别能力，最终降低了物体分类和定位的准确性，导致跨域检测性能不佳。因此，在恶劣天气无监督域适应物体检测中，仅依赖全局特征对齐不足以有效缓解域偏移。如何在强调前景物体区域的同时抑制背景干扰，从而实现物体特征的精确跨域对齐，已成为提高物体检测性能的关键挑战。为此，我们提出了一种针对YOLO系列的跨域物体检测框架，聚焦于前景-背景对齐（FBAlign）。FBAlign不依赖实例级候选框，通过像素级特征可以解决前景-背景特征不对齐的问题，如图2所示。我们首先提出了域构建模块（DB）来缩小域间差异，促使网络学习域不变特征。其次，我们结合轻量级注意力提出了多尺度前景特征对齐模块（MSFFA），通过像素级特征对齐前景细节信息。然后，我们提出了背景感知特征对齐（BFA）模块。基于检测头输出的特征图，它逐步增强和完善背景语义信息，并通过多尺度对抗训练实现背景特征对齐。FBAlign通过多尺度策略和像素级特征对齐方法有效解决了前景-背景特征不对齐的问题，为后续的跨域检测任务提供了新的见解。最后，我们使用公开的交通事故数据集Foggy Cityscapes（Sakaridis, Dai, & Gool, 2018）、Rain Cityscapes（Hu, Fu, Zhu, & Heng, 2019）和BDD100K_Dark（Qiu et al., 2018）验证了模型的检测性能。实验表明，我们的方法能够实现高效的无监督跨域检测，并显著提高了恶劣天气下交通目标的检测性能。主要贡献总结如下：- 我们提出了一个通用的单阶段跨域检测框架FBAlign。与之前仅关注前景对齐的方法不同，FBAlign针对像素级前景-背景特征对齐，为单阶段跨域检测提供了新思路。它适用于YOLO系列检测器，且不会降低推理速度。- 我们设计了DB模块来减少源域和目标域之间的特征分布差异。并提出两个域适应模块MSFFA和BFA，通过像素级多尺度对齐和对抗学习对齐前景细节信息和背景特征，解决了前景-背景特征不对齐的问题。- 此外，我们的模型在相同场景不同天气条件和不同场景不同天气条件下均显著提高了检测精度，mAP@0.5相比基线提升了高达18.4%，同时仅引入了可忽略不计的FLOPs和Params增量。本文其余部分组织如下：第2节介绍相关工作。第3节详细描述所提出的FBAlign。第4节分析实验结果并讨论模型的优缺点。第5节给出结论和展望。## 章节摘要### 相关工作本节概述了UDA的发展以及恶劣天气下物体检测的相关研究，为本文的后续研究奠定了基础。### 所提方法所提出的FBAlign由一个DB模块和一个前景-背景特征对齐模块组成。它不改变YOLO网络结构，接收两个输入：一组有标签的源域图像（正常天气）和一组无标签的目标域图像（恶劣天气）。### 实验与分析我们的实验平台为CentOS 7.9，PyTorch 1.7.1+cu11.0，Tesla V100 SXM2 32GB GPU。检测器为单阶段YOLO系列模型，batch size为16。雾天和雨天数据集的训练epoch数设置为100，BDD100K_Dark数据集设置为150。所有其他超参数遵循检测器的标准设置。DB模块使用官方CUT实现的默认超参数设置。生成器和判别器均使用……### 结论与未来工作我们提出了FBAlign，一个统一的单阶段跨域物体检测框架。与仅关注前景对齐的单阶段检测器研究不同，我们的方法强调前景和背景特征对齐。它适用于单阶段YOLO检测器，且不降低推理速度。这一设计不仅确保了恶劣天气条件下的高效检测，还为未来关于单阶段跨域特征对齐的研究提供了新的见解。### CRediT作者贡献声明**Xuejuan Han：** 概念化、方法学、软件、验证、形式化分析、调查、初稿撰写、项目管理、资金获取。**Zhong Qu：** 资源、审阅与编辑、监督、资金获取、项目管理。**Xuehui Yin：** 审阅与编辑、项目管理。### 利益冲突声明作者声明他们不存在可能影响本文研究工作的已知竞争性财务利益或个人关系。