
-
生物通官微
陪你抓住生命科技
跳动的脉搏
基于小波驱动的多频信号解锁网络:动态交互式图像去雨新范式
【字体: 大 中 小 】 时间:2025年07月28日 来源:Neuromodulation: Technology at the Neural Interface 3.2
编辑推荐:
为解决雨纹与背景耦合导致的图像退化问题,研究人员提出WD-MFSU网络,通过WDMEL模块实现多频信号解耦,结合RBADC模块增强雨纹-背景动态交互。实验表明该方法在PSNR/SSIM指标上优于现有技术,为自动驾驶等下游任务提供高质量图像支撑。
在计算机视觉领域,雨纹和薄雾造成的图像质量下降一直是棘手难题。雨纹不仅以高频条纹形式存在,还会与低频背景产生复杂耦合,传统基于滤波或稀疏编码的方法难以有效分离。更棘手的是,现有小波变换方法往往直接分解原始图像,导致雨纹特征与背景细节相互污染,最终去雨结果常伴随伪影和结构失真。
中国测绘科学研究院(Chinese Academy of Surveying and Mapping, CASM)的Jiping Liu团队在《Neuromodulation: Technology at the Neural Interface》发表研究,提出革命性的WD-MFSU网络。该研究突破性地将小波分解对象从原始图像转向纯雨纹成分,通过WDMEL模块的全局-结构-细节三分支协同处理,结合RBADC模块的动态卷积与复合注意力机制,首次实现雨纹与背景的精准解耦。
关键技术包括:1)基于patch-embedding的雨纹成分分离;2)多尺度小波分解驱动WDMEL模块;3)RBADC模块的序列复合注意力(sequential compound attention)和动态卷积;4)在Rain200H等5个数据集上采用PSNR/SSIM指标验证。
【研究结果】
架构设计:WD-MFSU采用CNN-Transformer混合框架,通过雨纹成分的独立小波分解,避免传统方法中低频背景污染问题。WDMEL模块的全局分支处理全频信号,结构分支专注低频,细节分支优化高频。
动态交互:RBADC模块引入条件卷积,根据雨纹密度动态调整通道权重。实验显示该设计使SSIM提升0.03-0.05,尤其对DID-Data数据集中的大雨场景效果显著。
性能验证:在Rain200H数据集上PSNR达32.17dB,较次优方法提高1.2dB;SPA真实数据集视觉评估显示背景纹理保留完整度提升37%。
下游任务:将去雨结果输入YOLOv5检测器,行人检测mAP提高5.6%,证实方法对实际应用的增益。
结论部分强调,该研究首次揭示雨纹成分独立分解的科学价值,WDMEL与RBADC的协同机制为多频信号处理提供新范式。相比固定参数方法,动态交互设计使模型参数量减少18%的同时提升性能,这对资源受限的边缘设备部署具有重要意义。研究获得国家自然科学基金(42301473)等支持,相关代码已在GitHub开源。
生物通微信公众号
知名企业招聘