用于提升下游目标检测性能的恶劣多天气图像恢复技术

《Engineering Applications of Artificial Intelligence》:Adverse multi-weather image restoration for boosting downstream object detection

【字体: 大 中 小 】 时间:2026年07月22日 来源:Engineering Applications of Artificial Intelligence 9.0

编辑推荐:

  摘要 恶劣的天气条件会严重降低图像质量,给现实世界中的户外视觉应用中的物体检测带来巨大挑战。现有的方法通常采用将图像恢复与天气理解紧密整合的单一架构,这限制了系统的灵活性和可扩展性。为了解决这一问题,我们提出了一种名为Gating-Enhancement-Detection

  摘要
恶劣的天气条件会严重降低图像质量,给现实世界中的户外视觉应用中的物体检测带来巨大挑战。现有的方法通常采用将图像恢复与天气理解紧密整合的单一架构,这限制了系统的灵活性和可扩展性。为了解决这一问题,我们提出了一种名为Gating-Enhancement-Detection Network(GEDNet)的新型模块化框架,该框架将天气识别与图像恢复分开处理。首先,设计了一个天气分类门控模块(WCG),它结合了分层特征结构和频域注意力机制,以实现强大的全局上下文建模,从而准确识别天气状况。根据WCG的输出,系统会动态选择一种结构可互换的专家混合型恢复模块来执行针对性的图像恢复。最后,恢复后的图像会被送入下游检测器,以实现精确的物体定位。在多个基准测试中的综合评估表明,GEDNet在图像质量和定量性能方面均优于现有方法。特别是在具有对应数据的恶劣条件数据集ACDC上,我们的框架将平均精度均值提高了0.86%,充分体现了GEDNet框架的实际应用价值。代码地址为https://github.com/jinjinggu00/GEDNet。

引言
在户外视觉监控场景中,雨、雪、雾等恶劣天气导致的图像质量下降问题十分常见(Li等人,2024;Zhang等人,2020;Bijelic等人,2020)。这对于那些依赖物体检测的各类视觉系统而言都是一个重大瓶颈,包括自动驾驶(Kenk和Hassaballah,2020)、交通监控(Saffari和Khodayar,2023)以及安全监控(Gupta等人,2024a)。因此,开发一种能够有效提升图像质量并提高在不同恶化条件下物体检测性能的恶劣多天气图像恢复框架,对计算机视觉领域具有重要意义。

恶劣天气图像恢复旨在从被各种大气现象破坏的图像中恢复出清晰图像。目前已有许多图像恢复方法被用于去除水印(Jiang等人,2023;Y. Liu等人,2022;Wan等人,2022;Y. Huang等人,2024;Q. Wang等人,2024)、去除雨滴(Jin等人,2024)、去雾(Fu等人,2024;Sun等人,2023;Ding等人,2024)以及除雪(Xu等人,2022;Wang等人,2021;Y. Wang等人,2025)。基于此,现有的将恶劣天气图像恢复与物体检测相结合的方法可分为两种主流架构。如图1(a)所示,早期的方法通常采用“先恢复再检测”的两阶段流程。而较新的“一体化恢复”架构则试图通过统一的编码器-解码器结构直接将受损图像转换为清晰图像。如图1(b)所示,还有像RDMNet(X. Wang等人,2025)这样的先进并行协同处理架构,它通过并行分支同时处理恢复和检测任务。尽管取得了进展,但这些架构仍存在两个根本性缺陷。首先,这些模型通常对不同类型的图像损伤使用相同的恢复策略,没有明确区分不同的天气状况。但实际上,不同天气现象的物理特性差异很大——例如,雾会导致整体对比度下降,而雨则会形成高频局部条纹(Fu等人,2021;Kulkarni等人,2023)。因此,非自适应的恢复方法显然不够理想。其次,紧密耦合的设计使得独立开发的恢复算法难以集成,而且由于更新某个组件就需要重新训练整个框架,这会增加维护成本。虽然近期有一些研究开始探索使用专家混合机制来处理天气感知问题,但这类方法仍然依赖于内部软路由机制,使得恢复功能与下游任务紧密绑定,无法实现真正的系统级模块化。

为了解决这些问题,我们提出了Gating-Enhancement-Detection框架(GEDNet),这是一种全新的模块化专家调度架构。如图1(c)所示,GEDNet框架将恶劣多天气图像恢复过程分为两个独立的顺序阶段:决策阶段和执行阶段。这一设计解决了以往模型中缺乏明确决策阶段来识别损伤类型并指导恢复过程的缺陷。决策阶段由天气分类门控模块(WCG)负责,该模块能够准确识别输入图像的天气状况。其分类结果则作为执行阶段的路由指令,从结构可互换的专家混合型恢复模块(MoER)中动态选择合适的预训练专家模型。这种将决策逻辑与独立的恢复专家分离的模块化架构,有效解决了紧密耦合设计中存在的系统性相互依赖问题。因此,GEDNet框架在集成新恢复模型方面具有更高的灵活性,同时也为构建强大的物体检测系统提供了可扩展的结构。我们在多种多天气和单天气基准测试上对下游物体检测任务进行了全面评估,结果表明,GEDNet框架在检测精度方面显著优于“一体化恢复”和“并行协同处理”方法。本研究的主要贡献如下:
• 提出了用于恶劣多天气图像恢复的模块化专家调度框架GEDNet,该框架不仅提升了灵活性,还降低了维护成本。它通过WCG模块与MoER模块之间的动态调度,实现了天气识别与图像恢复的分离。
• 设计了一种混合域的WCG模块,用于实现准确的天气分类。该模块结合了分层特征结构和频域注意力机制,能够为后续的恶劣多天气图像恢复提供有力指导。
• 对多种恶劣天气基准测试进行了全面评估,结果表明,相比现有的“一体化恢复”和“并行协同处理”方法,GEDNet框架在物体检测性能上更具优势。

单种恶劣天气图像恢复研究
在单种恶劣天气条件下的图像恢复研究,旨在从被特定大气现象破坏的图像中恢复出清晰图像。这类研究包括但不仅限于去除水印(Jiang等人,2023;Y. Liu等人,2022;Wan等人,2022;Y. Huang等人,2024;Q. Wang等人,2024)、去除雨滴(Jin等人,2024)、去雾(Fu等人,2024;Sun等人,2023;Ding等人,2024)以及除雪(Xu等人,2022;Wang等人,2021;Y. Wang等人,2025)。

整体架构
如图1(c)所示,GEDNet框架通过将复杂的感知问题分解为分类、增强和检测三个模块化阶段,从根本上区别于现有的紧密耦合架构。首先,输入图像Iin∈RH×W×3会被送入WCG模块G(?)中进行天气状况分类:c=G(Iin),其中c∈{Clear,Fog,Rain,Snow}。这一天气分类结果随后作为路由指令,用于指导后续的增强阶段。

实验设置
为实现不同分辨率下的性能评估,我们分别为输入分辨率为224 × 224和256 × 256的WCG模块训练了两组不同的权重。所有模型均使用PyTorch实现,并在NVIDIA A800 GPU上进行训练。我们采用了AdamW优化器(权重衰减值为5e-4),并结合余弦退火学习率调度策略以及5轮的线性预热阶段,总共训练100轮。此外,还采用了差分学习率策略。

计算开销与系统限制
尽管GEDNet在多种恶劣条件下都能实现更高的物体检测精度,但评估其计算开销对于实际应用而言非常重要。表12详细列出了不同执行路径下整个GEDNet流程的参数、FLOPs值以及推理延迟。实验数据表明,当天气状况为晴朗时,绕过WCG模块的路径(WCG + OD)能够以10.81毫秒的高效率运行。而一旦检测到恶劣天气,相应的恢复流程就会启动。

结论
在本文中,我们提出了GEDNet这一模块化框架,它通过将图像恢复与天气分类分开处理,有效解决了现有紧密耦合感知架构的灵活性问题。该系统由一个混合域的WCG模块驱动,该模块能够准确识别环境中的图像损伤情况,并从结构可互换的专家库MoER中动态选择合适的恢复模型。通过对多种多天气和单天气场景的广泛评估,我们证明了GEDNet框架在物体检测性能上明显优于现有的各种方法。

CRediT作者贡献声明
Jinjing Gu:写作——审阅与编辑、项目管理、数据整理、概念构思。Chenggang Yang:写作——初稿撰写、软件开发、方法设计。Yuanyuan Pu:验证、监督。Zhengpeng Zhao:验证、监督。

利益冲突声明
我们希望提请编辑注意以下可能构成利益冲突的情况,以及为本研究提供的重大资金支持。我们确认,所有署名作者都已阅读并批准了手稿内容,且没有其他符合作者资格但未列入名单的人士。同时,我们也确认手稿中作者的排序已得到所有人的认可。我们还确认已妥善处理相关利益关系。

致谢
作者们衷心感谢编辑和匿名审稿人提出的宝贵意见,这些意见极大地提升了本研究的水平。本研究部分得到了中国国家自然科学基金项目(编号52562046、52102382)、云南省基础研究计划项目(编号202501AT070234、202401CF070164)、教育部人文社会科学研究西部和边疆地区青年基金项目(编号25XJCZH003)的支持。

Jinjing Gu | Chenggang Yang | Yuanyuan Pu | Zhengpeng Zhao
云南大学信息科学与工程学院,昆明,650500,中国
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号