REAL：面向多种天气条件下可靠感知的表征自适应退化定位方法

《Neurocomputing》：REAL: Representation-adaptive degradation localization for reliable perception under diverse weather conditions

　　

• •
  提出了一种用于全合一恶劣天气去除的非配对框架。
• •
  从表征质量的角度重新审视退化定位。
• •
  表征适应提升了混合退化条件下的定位可靠性。
• •
  定位轨迹学习逐步优化退化感知能力。
• •
  改进的图像恢复增强了自动驾驶的感知鲁棒性。

引言

恶劣天气条件，如雨、雪和雾霾，会严重降低图像质量并阻碍下游视觉应用。近年来，天气恢复方法在单一天气恢复任务上取得了显著进展。代表性方法包括CINet [34]，通过跨层特征交互和层内特征融合提升图像去雾效果；以及OBCOT [37]和SFTOT [36]，分别将非配对图像去雾和去雨建模为最优传输问题。虽然这些方法针对特定的天气退化，但处理多样化天气条件通常需要独立的恢复模型。为了提高部署灵活性，全合一（AiO）恶劣天气恢复作为一种重要的研究方向应运而生，通过使用单一恢复网络来处理多种天气退化 [4]、[15]、[17]、[20]、[27]、[35]、[44]、[45]、[46]、[52]。

近期的全合一恢复方法可大致分为面向恢复和定位引导两种范式，如图1(a)和(b)所示。面向恢复的方法依赖单一恢复网络直接从退化输入重建清晰图像，同时在学到的特征表征中隐式编码退化信息 [21]、[27]、[51]。在恢复网络的基础上，定位引导方法进一步引入额外的退化定位分支，显式估计退化掩膜 [22]、[30]、[31]、[33]、[41]、[50]。估计的退化掩膜刻画了退化的空间分布，并提供像素级的空间引导信息，从而促进后续的图像恢复。

尽管退化掩膜已被广泛用于引导图像恢复，但在异构天气条件下获得可靠的退化掩膜仍然具有挑战性。如图2所示，针对特定天气和混合天气的设置采用了相同的定位和恢复架构。然而，混合天气训练产生的退化定位显著不够可靠，进而降低了下游感知性能。由于定位架构保持不变，这种性能差异无法仅通过定位设计来解释。为了更好理解这一局限性，我们重新审视退化定位的获取方式。如图1(b)所示，退化掩膜直接从图像表征中估计。

这引出了一个根本性问题：定位的可靠性是否不仅受定位过程本身的影响，还受底层表征质量的影响？

现有研究主要关注改进定位过程，而表征质量在退化定位中的作用在很大程度上仍未被探索。我们假设在异构天气条件下，不同天气类型的退化特征在共享特征空间中变得越来越纠缠，使得退化模式难以区分，定位变得更加困难。这一观点表明，表征质量可能是影响定位可靠性的一个被忽视的因素。因此，除了传统的面向定位的改进外，我们从表征的角度重新审视退化定位，并研究增强底层表征是否能进一步提升定位可靠性。

受此表征视角的启发，我们提出了REAL（REpresentation-Adaptive Localization-guided restoration，即表征适应定位引导恢复），这是一个非配对全合一恶劣天气恢复框架，如图1(c)所示。REAL由退化定位分支和恢复分支组成。对于退化定位分支，我们关注定位前的表征适应，以缓解异构天气条件下的表征纠缠。为此，我们引入了天气引导表征适应模块（WRAM），在定位前自适应地重构混合天气表征，从而实现更可靠的退化定位。此外，现有的定位引导框架通常依赖迭代优化来提升定位质量，导致推理成本增加和推理效率降低。为解决这一问题，我们提出了定位轨迹学习（LTL）策略，将迭代优化的优势转化为推理时的高效单步定位。本文的主要贡献总结如下：

• •
  我们从表征视角重新审视退化定位，并表明在异构天气条件下，表征质量对定位可靠性起着关键作用。
• •
  我们提出了REAL，一个非配对定位引导的全合一恶劣天气恢复框架，旨在异构天气条件下实现可靠的退化定位。
• •
  我们引入了天气引导表征适应模块（WRAM），以缓解混合天气特征空间中的表征纠缠，并提出了定位轨迹学习（LTL）策略，稳定定位学习并实现高效的单步定位推理。
• •
  大量实验表明，REAL在多种恶劣天气条件下均实现了更优的恢复质量、定位精度和下游感知性能。

本文其余部分组织如下。第2节回顾相关工作。第3节详细介绍所提出的方法和网络架构。第4节展示并分析实验结果。第5节对所提出方法进行进一步讨论。最后，第6节得出结论。

章节摘要

全合一天气恢复

天气恢复逐渐从面向特定天气的恢复演进为使用单一模型处理异构退化的统一恢复框架 [4]、[5]、[6]、[15]、[17]、[20]、[27]、[28]、[35]、[44]、[45]、[46]、[52]。早期的全合一方法如TransWeather [27]采用统一恢复网络在单一模型内处理多种天气退化。后续方法进一步通过任务自适应深度展开推动了统一恢复的进展

框架概述

如图3(a)所示，所提出的REAL框架由掩膜生成器（第3.2节）和恢复网络（第3.3节）组成。给定退化图像 $$，掩膜生成器首先估计退化掩膜，为图像恢复提供退化感知的空间线索。在第 $$ 次迭代中，利用退化图像和从上一次迭代估计的退化掩膜来预测精细化的退化掩膜：$$$$其中 $$ 表示第 $$ 次迭代估计的退化掩膜，$$

实验设置

数据集。我们在两个基于公开数据集构建的合成混合天气基准上评估REAL。CityscapesMix由Foggy Cityscapes [24]、Rain Cityscapes [12]和Snow Cityscapes [47]组成，作为自动驾驶场景的主要基准。WeatherMix由OTSBETA [18]、Rain12,600 [9]和CSD [2]组成，用于评估跨数据集泛化能力。数据集组成以及训练和测试分布汇总于表5。训练使用

讨论

实验结果为异构天气条件下的退化定位提供了几个关键见解。

首先，第4.3.1节的结果支持了我们的表征视角。与仅定位相比，表征适应在异构天气条件下提升了定位可靠性。这表明图像表征质量是影响定位可靠性的一个重要因素，超出了定位过程本身。

其次，表征适应对比实验显示

结论

本文从表征视角重新审视了异构天气条件下的退化定位问题。我们提出了REAL，一个非配对定位引导的全合一天气恢复框架，通过提出的天气引导表征适应模块（WRAM）和定位轨迹学习（LTL）提升了定位可靠性。具体而言，WRAM在掩膜估计前进行表征适应以缓解表征纠缠，而LTL

CRediT作者贡献声明

陈建文：审阅与编辑、撰写初稿、软件开发。 卢志龙：监督指导、概念化。 洪哲纶：监督指导、方法论、调查研究。

利益冲突声明

作者声明不存在已知的可能影响本文所述工作的竞争性财务利益或个人关系。

致谢

本研究由台湾科技部（NSTC）资助，项目编号为 NSTC 114-2218-E-002-027。

目前正在台湾清华大学计算机系攻读博士学位。其研究兴趣包括联邦学习、强化学习和计算机视觉。

陈建文|卢志龙|洪哲纶