Clear2Fog（C2F）流水线在目标检测中利用合成雾进行数据效率研究

《Neurocomputing》：A Data Efficiency Study of Synthetic Fog for Object Detection Using the Clear2Fog Pipeline

　　

自动驾驶（Autonomous Vehicles, AVs）在恶劣天气下的目标检测对安全性至关重要，然而带标注的真实世界雾天数据稀缺仍是显著瓶颈。研究人员提出Clear2Fog（C2F），一种端到端、基于物理的流水线，在统一相机与LiDAR框架下为晴好天气数据集模拟雾。C2F结合单目深度估计与新颖大气光估计方法，提升合成雾的物理一致性，同时减少现有框架中的结构伪影与色偏。利用Waymo Open Dataset的270,000张图像训练集，研究人员开展广泛数据效率研究，探究环境多样性能否降低数据集规模需求并提升模型在不同雾条件下的泛化能力。研究发现，在75%规模上以混合密度雾训练的模型，性能与100%规模固定密度雾训练模型无统计差异，合成训练数据需求降低25%，且该效率趋势在两种代表性检测器架构中一致。进一步，研究人员以C2F生成数据作为预训练基础并在真实雾数据上微调来考察仿真到真实（sim-to-real）迁移；结果表明在评估设定内，将默认微调学习率相对提升10倍可削弱标准微调带来的负迁移，相较仅用真实数据的基线绝对mAP提升最高达0.0117。总体而言，本工作论证了多样合成雾作为真实世界适配预训练工具的价值。

研究背景方面，自动驾驶感知系统在雾、雪、雨等恶劣天气下受光散射与吸收影响，相机图像丢失颜色与特征、LiDAR信号被削弱与散射，导致目标检测性能下降。真实雾天大规模标注数据依赖不可控天气、成本高且场景稀疏，公开真实雾数据集如Seeing Through Fog（STF）规模有限；现有合成雾方法多为静态、任务特定，缺乏相机与LiDAR统一框架，且常因基于启发式大气光估计引入蓝绿偏色，或受LiDAR深度补全范围限制使远处区域保持清晰。为突破数据瓶颈并厘清合成恶劣天气的数据效率规律，研究人员开展本研究。

关键技术方法上，研究人员以Waymo Open Dataset（270,000张图像）为主训练源，构建Clear2Fog（C2F）端到端物理流水线：采用Depth Pro单目度量深度估计替代稀疏LiDAR深度补全以覆盖天空与远距区域；基于Koschmieder定律光学模型，提出深度约束暗通道先验结合亮度截断（luminance-clipping）的大气光估计，截断区间由超过2,000张真实雾图（STF与ACDC）统计得出；LiDAR雾仿真沿用Hahner等人基于硬目标衰减与软目标后向散射的物理模型，以统一散射系数β控制多模态能见度。人类感知研究含440组配对判断，检测器采用Faster R-CNN与YOLOX-S两类架构验证跨架构一致性。

研究结果部分，按论文主体小节归纳如下。3.1节流水线架构与方法论新颖性中，研究人员确立输入桥接、相机雾仿真、LiDAR雾仿真三支柱，并以Table 1比对既有基线，指出C2F在通用性、传感器可配置性与大气光策略上的贡献。3.2节深度估计中，定量对比KITTI深度验证集显示Marigold-DC局部精度更优（RMSE 1.8918 m、δ₁ 0.9714），但Depth Pro推理快约23倍、VRAM低25%，且远处语义一致，故被选为流水线深度源。3.3节相机雾仿真中，理论模型给出传输图t(x)=exp(?βd(x))与气象光学距离MOR≈3/β；大气光A经1,000 m深度掩膜暗通道采样后再按ITUR BT.709亮度公式截断至[0.6374,0.8555]，消除晴空蓝偏，符合Mie散射光谱中性。3.4节LiDAR雾仿真中，接收功率P_R(R)=P_R,fog^hard(R)+P_R,fog^soft(R)，以最大功率返回决定真实点保留或幻影点前移。3.5节定性验证中，Waymo帧显示相机远距消隐与LiDAR近处保形、远处衰减加幻影点同步；COCO 2017与Flickr30k泛化测试证明无LiDAR时单目深度仍具跨域适用性。第4节实验评估表明，75%规模混合密度雾训练与100%固定密度在Faster R-CNN及YOLOX-S上mAP无统计差异，合成数据减量25%；仿真到真实微调时默认学习率负迁移，相对10倍学习率敏感度分析获最高适配，超越仅真实数据基线最多0.0117 mAP；440次人工配对中C2F图被优选92.95%。

讨论与结论翻译总结：研究人员讨论指出，环境多样性而非单纯规模扩张是合成雾数据效率的核心杠杆，混合密度分布可在更小规模逼近固定密度大模型性能；标准微调会保留合成偏置引发负迁移，而受控提高学习率使模型更快遗忘合成痕迹、吸收真实分布。结论部分明言，C2F提供开源、数据集无关、相机-LiDAR可配置的雾合成流水线，其亮度截断大气光与单目深度机制在物理一致性与计算效率间取得平衡；数据效率研究证实多样合成雾可减量为原25%而不损检测性能；仿真到真实路径下10倍学习率策略抵消负迁移并带来最高0.0117绝对mAP增益；该工作发表于《Neurocomputing》，为恶劣天气感知的预训练范式与合成数据配比提供可复现依据。