深度引导对抗学习驱动的混合雨水去除新范式:DEMore-Net

《Neural Networks》:Rethinking mixture of rain removal via depth-guided adversarial learning

【字体: 时间:2025年06月26日 来源:Neural Networks 6.0

编辑推荐:

  针对混合雨水(MOR)去除难题,研究人员提出深度引导的联合学习框架DEMore-Net,整合深度估计与图像去雨任务,创新性引入混合归一化块(HNB)提升性能。实验表明其在合成与真实场景中均优于21种现有方法,为复杂雨水退化问题提供新解决方案。

  

雨天拍摄的图像常因雨水颗粒、雨线及雨雾交织形成的混合雨水(Mixture of Rain, MOR)而严重退化,传统去雨方法仅能处理单一类型雨水,难以应对复杂场景。现有技术如MBA-RainGAN虽尝试解决多类型雨水,但忽视深度信息对雨水分布的指导作用。安徽高校团队在《Neural Networks》发表研究,提出DEMore-Net,首次将深度估计与去雨任务联合建模,通过深度图提供距离先验,针对性去除不同距离的雨水类型。

关键技术

  1. 联合学习框架:同步训练深度估计分支与去雨分支,实现信息互补;
  2. 混合归一化块(HNB):结合实例归一化与批归一化,提升训练稳定性;
  3. 自校准卷积:增强特征判别力,优化MOR去除效果;
  4. 合成数据集验证:基于RainCityscapes++及真实雨水图像评估性能。

研究结果

  1. 深度引导的MOR去除:实验证实深度图能有效区分近景雨滴与远景雨雾,使DEMore-Net在PSNR指标上提升2.1dB;
  2. HNB的增效作用:消融实验显示HNB模块使训练收敛速度提升30%,且显著改善视觉质量;
  3. 跨场景泛化性:在真实MOR照片中,DEMore-Net恢复的细节清晰度优于DAF-Net等现有模型。

结论与意义
DEMore-Net通过深度先验与联合学习机制,首次实现混合雨水的系统性去除,其创新性体现在:

  1. 任务协同:深度估计与去雨相互促进,形成闭环优化;
  2. 技术普适性:HNB模块可扩展至其他图像复原任务;
  3. 应用价值:为自动驾驶、监控系统等依赖户外视觉的场景提供鲁棒解决方案。研究获国家自然科学基金(T2322012)等支持,代码已开源。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号