《Sensors》：WFG-RT-DETR: A Highly Robust Object Detection Model for Autonomous Vehicles in Adverse Weather Conditions
编辑推荐：
在恶劣天气条件下进行目标检测因雨、雪、雾及复杂光照引起的图像退化，仍是自动驾驶系统中一项具有挑战性的问题。尽管RT-DETR在检测精度与效率间取得了良好平衡，但受天气诱导的特征失真与不可靠查询选择影响，其在恶劣天气场景中的性能受限。研究人员提出WFG-RT-D
在恶劣天气条件下进行目标检测因雨、雪、雾及复杂光照引起的图像退化，仍是自动驾驶系统中一项具有挑战性的问题。尽管RT-DETR在检测精度与效率间取得了良好平衡，但受天气诱导的特征失真与不可靠查询选择影响，其在恶劣天气场景中的性能受限。研究人员提出WFG-RT-DETR，一种面向恶劣天气的鲁棒实时目标检测框架。引入Weather-Focused Guidance(WFG)模块，通过结合频域噪声抑制与空间结构补偿增强特征表示；进而提出Weather-Aware Query Selection(WAQS)模块，通过融入天气感知噪声估计改进查询初始化，降低环境干扰导致的假阳性候选；同时采用指数移动平均(EMA)策略稳定模型训练。在DAWN与WEDGE数据集上的大量实验证明了所提方法的有效性。相较RT-DETR，WFG-RT-DETR在DAWN数据集上将mAP@50从64.62%提升至68.89%，同时保持实时推理能力。在WEDGE数据集上的跨数据集评估进一步验证了其在多样恶劣天气下的鲁棒性与泛化性。该框架为智能交通与自动驾驶应用中的可靠目标检测提供了有效方案。
研究背景方面，自动驾驶环境感知依赖目标检测实时识别行人与车辆等物体，但雾、雨、雪、尘及低照度等恶劣天气会引发背景噪声增强与对比度下降，导致物体特征表示受扰、检测可靠性降低。现有基于深度学习的方法中，Transformer架构的RT-DETR借助混合编码器与查询机制在精度与速度间取得平衡，但直接用于恶劣天气时，雨雪纹理与强光反射会在特征提取中产生异常响应，传统Top-K查询选择仅依赖分类置信度易被选入高响应的背景区域，且恶劣天气样本的不确定性会动摇训练稳定性。为此，研究人员以RT-DETR为骨干，从特征增强、查询优化与训练稳定三方面改进，开展WFG-RT-DETR研究。
主要关键技术方法上，研究人员在RT-DETR混合编码器中嵌入WFG模块，对主干输出的多尺度特征并行施加频域噪声门控（二维离散傅里叶变换DFT、通道能量估计、自适应门控多层感知机MLP、逆DFT）与空间条带卷积补偿（水平1×k与垂直k×1卷积）；在解码端以WAQS机制增设噪声估计头，用天气干扰响应λi按s'i=si?α·λi（α=0.5）重标定分类分后做Top-K查询；训练期引入衰减系数0.9999的EMA平滑参数更新。实验在真实恶劣天气DAWN数据集（1027图，70/20/10划分，六类物体）训练，并在生成式多天气WEDGE数据集（3360图，16天气，七类）上做零样本跨域测试，优化器为AdamW，输入640像素，单卡RTX 4090。
研究结果各节结论如下。整体架构（3.1节）表明，WFG置于混合编码器特征融合段、WAQS置于解码输入、EMA用于训练，使端到端实时管道在四阶段（提取—增强—查询—预测）中兼顾抗噪与效率。WFG模块（3.2节）通过频域分支按通道频谱能量自适应下调天气异常高响应通道，空间分支用正交条带卷积修复被过度平滑的物体边缘，两分支求和输出，使高频雨雪噪与物体细节不可逆混叠得以缓解。WAQS（3.3节）借共用特征的噪声估计头隐式学习天气干扰，重标定分数抑制反光/雨雪纹理的假响应，提升初始查询质量且不增标注成本。EMA机制（3.4节）以θema=βθema+(1?β)θt平滑历史与当前参数，缓解异常样本引发的权重振荡，推理沿用滑动平均权重。DAWN主实验（4.2节）显示mAP50-95由41.69%升至45.03%、mAP50由64.62%升至68.89%、APs由34.74%升至39.46%，Car与Person分别提4.40与5.37个百分点。计算复杂度（4.3节）仅增0.205M参数与0.578G FLOPs，时延由22.655ms增至23.058ms，保实时性。跨域WEDGE（4.4节）零样本mAP50达52.73%，超RT-DETR基线2.64点、超YOLOv8s-WAMNet 0.83点，但mAP50-95为23.44%低于后者24.96%，说明识召回优而精定位尚隙。消融（4.5节）证WFG单加贡献最大（mAP50-95 43.58%），频域支AP50 0.575优于空间支0.502，全WFG达0.689；EMA与WAQS分别带来训练稳定与误检抑制。可视化（4.6节）特征图显示WFG-RT-DETR背景响应减弱、车体激活集中，分天气表中Sand场景提升最剧（mAP50-95 50.2%→54.3%）；失败案例分析指出浓雾密雪下极小远距目标仍可能丢失，且纯可见光在极端降级时信息不足。
讨论与结论部分翻译总结：为应对恶劣天气下雨雪噪声、雾遮挡与光照变化导致的特征退化，研究人员提出以RT-DETR为基的WFG-RT-DETR，在保持端到端优势下借WFG做频域去噪与空间补强、WAQS优化候选查询、EMA稳训练。实验在DAWN上全面超越基线，mAP50、mAP50-95与小目标AP均显著提升；WEDGE跨域测试证其强泛化。局限在于框架主赖可见光，极端天气（浓雾、强降水、水溅、冰雹）下信息严重退化时仍受限，且大域偏移下mAP50-95精定位偏弱。未来将探更鲁棒频域建模与天气感知查询，并将红外与LiDAR等多模态融合以提升严酷天气可靠性。该文发表于《Sensors》。
