基于像素自适应深度展开网络与状态空间模型的图像去雨方法研究

推荐：针对现有深度展开网络(DUNs)在图像去雨任务中存在的梯度步长缺乏像素级自适应性和全局结构感知不足的问题，研究人员提出融合状态空间模型(SSM)的像素自适应深度展开网络(PADUM)。通过自适应像素梯度下降(APGD)模块和阶段融合近端映射(SFPM)模块，实现了对复杂雨纹的精准去除，在多个数据集上超越现有方法(SOTA)。该研究为计算机视觉任务提供了更强大的预处理工具。

　　

在计算机视觉领域，雨天拍摄的图像常因雨纹干扰导致视觉质量下降，严重影响目标检测、自动驾驶等高层次视觉任务的准确性。尽管现有深度展开网络(DUNs)在图像去雨方面取得进展，但两个关键瓶颈制约着性能提升：传统卷积神经网络(CNN)的局部感受野限制了对全局结构的感知能力；固定标量步长的梯度下降模块难以适应图像不同区域的纹理差异。这些缺陷导致现有方法在复杂真实场景中的泛化能力不足。

针对这些挑战，来自中国的研究团队在《Neural Networks》发表创新成果，提出融合状态空间模型(SSM)的像素自适应深度展开网络(PADUM)。该研究通过两个核心模块实现突破：自适应像素梯度下降(APGD)模块利用前一阶段特征动态计算每个像素的最优步长，解决传统标量步长的僵化问题；阶段融合近端映射(SFPM)模块采用CNN与SSM双分支架构，在保持CNN局部特征提取优势的同时，通过SSM的线性复杂度实现高效长程依赖建模。研究还引入傅里叶变换特征融合机制，有效缓解展开过程中的信息衰减问题。

关键技术方法包括：1) 基于卷积字典模型的优化框架构建；2) 像素级自适应梯度步长计算；3) CNN-SSM双分支特征提取；4) 跨阶段傅里叶特征融合。实验采用合成与真实雨图数据集，通过定量指标(PSNR/SSIM)和视觉质量评估性能。

主要研究结果：

1. 自适应梯度更新：APGD模块通过特征映射生成像素级步长图，相比固定步长方法在纹理复杂区域获得更精准的雨纹去除效果。

2. 多尺度特征融合：SFPM模块中CNN分支捕获局部细节，SSM分支建模全局依赖，双分支协同工作显著提升对不规则雨纹的识别能力。

3. 信息保留机制：跨阶段傅里叶特征融合使关键高频信息在迭代过程中得以保留，避免传统展开网络的信息衰减问题。

4. 性能优势：在Rain100H、Rain800等数据集上，PADUM的PSNR指标较RCDNet提升2.17dB，推理速度比Transformer方案快1.8倍。

这项研究的创新价值体现在三个方面：方法学上首次将SSM引入深度展开框架，为图像复原任务提供新的长程建模方案；技术上提出的像素自适应机制可扩展至其他优化类视觉任务；实践意义在于为自动驾驶等实时系统提供高效可靠的去雨预处理工具。未来工作可探索SSM在其他低层视觉任务中的应用，以及动态步长机制与物理模型的更深层次结合。论文开源代码已发布在GitHub平台供学术界验证和改进。