《Knowledge-Based Systems》：DAGFNet: a degradation-aware gated fusion network for object detection in adverse weather and low-light scenes
编辑推荐：
恶劣天气和低照度条件会显著降低图像质量，为目标检测带来巨大挑战。为解决这一问题，本研究提出了一种退化感知门控融合网络（Degradation-Aware Gated Fusion Network, DAGFNet）。首先，研究人员设计了一个退化感知特征增强网络
恶劣天气和低照度条件会显著降低图像质量，为目标检测带来巨大挑战。为解决这一问题，本研究提出了一种退化感知门控融合网络（Degradation-Aware Gated Fusion Network, DAGFNet）。首先，研究人员设计了一个退化感知特征增强网络（Degradation-Aware Feature Enhancement Network, DAENet），它利用拉普拉斯金字塔分解分别增强低频结构线索和高频细节线索。其次，提出了退化原型上下文编码器（Degradation Prototype Context Encoder, DPCE），通过可学习的退化原型对图像级别的退化上下文进行建模。最后，开发了跨尺度门控特征调制模块（Cross-scale Gated Feature Modulation Module, CGFM），该模块在退化上下文的引导下，对多尺度骨干网络特征进行自适应重校准。在多个恶劣天气和低光照数据集上的大量实验表明，与现有最先进方法相比，DAGFNet在检测精度和模型复杂度之间取得了更优的平衡。
论文解读文章
1. 研究背景与问题
在自动驾驶、智能交通、无人机巡检和视频监控等实际应用中，目标检测是一项基础且关键的计算机视觉任务。在晴朗、光照充足的条件下，基于深度学习的检测器已展现出卓越性能。然而，现实世界中的检测系统常常暴露于雾霾、雨雪、低光照和夜间成像等恶劣环境中。这些环境因素会导致图像对比度降低、物体边界和纹理弱化以及背景干扰增加，从而引发漏检、误报和定位误差。因此，在正常天气数据上训练的检测器，其性能在面对恶劣条件时会因清晰场景与退化场景之间的视觉分布差异和特征表征偏移而大幅下降。
针对上述挑战，现有研究主要分为三类方法：图像增强辅助检测、域适应或泛化、以及多模态传感器融合。图像增强方法通过在检测前进行去雾、去雨或低光增强来改善可见性，但额外的恢复模块会增加计算成本，且增强后的图像不一定能保留对检测最有用的结构信息。域适应和泛化方法通过在不同域间进行对齐以减少分布差异，但这些方法通常依赖于目标域数据、复杂的训练流程或额外的对齐模块，限制了部署灵活性和实时效率。多模态融合方法利用相机、雷达、LiDAR等多种传感器的互补信息来提高检测可靠性，但这需要额外的传感器、校准和同步，增加了系统的复杂度和成本。因此，如何有效地从单一可见光图像中提取鲁棒的检测线索，仍然是一个重要的研究课题。
从特征表征的角度来看，恶劣天气和低照度带来了三个主要挑战：第一，退化同时损害了低频结构和高频细节，削弱了轮廓、纹理和局部响应；第二，退化的类型和严重程度因图像而异，使得传统检测器难以显式地感知当前的退化状态；第三，不同尺度的特征可靠性不同：浅层特征保留了细节但对噪声和低对比度敏感，而深层特征语义更强但可能丢失小物体信息。因此，固定的特征提取和融合策略不足以应对复杂的退化场景。
2. 研究内容与结论
为应对上述挑战，研究人员提出了DAGFNet，一种构建在YOLO骨干-颈部框架之上的退化感知门控融合网络。该网络不依赖额外的图像恢复分支或多模态输入，而是直接在特征层面建模退化信息，以提高在复杂退化场景下的鲁棒性。通过在多个公开的恶劣天气和低光照数据集上进行广泛实验，结果表明DAGFNet在检测精度、定位质量和模型复杂度之间实现了良好的平衡，并在退化场景下保持了强大的鲁棒性。
重要意义在于：DAGFNet提供了一条端到端的路径，将退化感知增强、退化上下文建模和退化条件特征调制集成在一个单阶段检测器中，为提升目标检测在非理想环境下的实用性提供了有效方案。
3. 关键技术方法
为开展此项研究，研究人员采用了以下三个核心技术方法：
- •
退化感知特征增强网络（DAENet）：利用拉普拉斯金字塔将输入图像分解为低频和高频分量。通过退化感知感受野增强模块（DRFEM）增强低频的结构信息和全局上下文；通过轻量级退化注意力模块（LDAM）生成退化注意力引导特征；再通过退化变换增强模块（DTEM）处理高频分量并与LDAM的输出交互融合，最终通过拉普拉斯融合重构增强特征。
- •
退化原型上下文编码器（DPCE）：通过一组可学习的退化原型来建模图像级别的退化上下文。该编码器将DAENet输出的增强特征映射到一个退化原型空间中，通过加权组合生成一个能反映当前输入图像退化状态的上下文向量。
- •
跨尺度门控特征调制模块（CGFM）：插入在骨干网络和颈部网络之间。该模块接收来自DPCE的退化上下文向量，并结合各尺度的特征响应描述符，为不同尺度的骨干特征生成自适应的门控权重，从而增强当前退化条件下更可靠的尺度特征，同时抑制由噪声、模糊和低对比度引起的无效响应。
4. 研究结果
- •
与先进方法的比较（Comparative Experiment）：
- •
RTTS数据集：在雾天行人、车辆和自行车检测任务上，DAGFNet在mAP指标上优于包括R-YOLO、Foggy-aware Teacher、SA-DETR在内的多种先进方法，同时在参数量和推理速度（FPS）之间取得了更好的平衡。
- •
Rainy KITTI-T数据集：在雨天场景下，DAGFNet同样展现出优越的性能，特别是在中等和重度降雨条件下，其mAP显著高于其他对比方法。
- •
ExDark数据集：在极暗光条件下的目标检测中，DAGFNet在mAP和mAP50指标上均达到最优，证明了其在低光照环境下的有效性。
- •
消融研究（Ablation Studies）：
- •
DAENet的有效性：通过移除DAENet或其子模块（DRFEM、LDAM、DTEM），验证了DAENet及其各个组成部分对提升最终检测性能均有贡献，尤其是在增强低频结构和抑制高频噪声方面。
- •
DPCE的有效性：通过替换或移除DPCE模块，证实了显式地对图像级别退化上下文进行建模能够有效指导后续的特征调制，提升模型对不同退化程度的适应性。
- •
CGFM的有效性：通过比较不同的特征融合策略，证明CGFM利用退化上下文进行跨尺度门控调制，比简单的拼接或相加融合更能有效地整合多尺度信息。
- •
整体框架的有效性：将完整的DAGFNet与仅使用部分模块的变体进行比较，确认了三个核心组件协同工作的必要性，共同构成了一个高效的整体。
5. 讨论与结论
讨论总结：研究人员在讨论部分指出，DAGFNet通过显式建模退化信息并在特征层面进行自适应调制，有效提升了在恶劣天气和低光照下的检测性能。与需要额外恢复分支或多模态输入的方法相比，DAGFNet的单一RGB输入设计和端到端特性使其更具部署优势。尽管取得了成功，但该方法在处理极端退化或未见过的退化类型时可能存在局限性，未来工作可以探索更通用的退化表征或结合少量目标域数据进行微调。
研究结论翻译：本研究提出了DAGFNet，一种用于恶劣天气和低光照条件下目标检测的退化感知门控融合网络。在不依赖额外恢复分支或多模态输入的情况下，DAGFNet直接在特征层面建模退化信息，以提高在复杂退化场景下的鲁棒性。具体而言，研究人员设计了DAENet，它联合增强了低频结构信息和高频细节，以缓解轮廓模糊、纹理退化和局部响应减弱的问题。此外，研究人员还开发了DPCE，它从退化原型中学习图像级别的退化上下文，以及CGFM，它利用该上下文在颈部融合之前自适应地重新校准多尺度特征。在恶劣天气和低光照数据集上的大量实验表明，DAGFNet在检测精度、定位质量和模型复杂度之间取得了良好的平衡，同时在退化场景下保持了强大的鲁棒性。
