基于像素自适应深度展开网络与状态空间模型的图像去雨方法研究

针对现有深度展开网络(DUNs)在图像去雨任务中存在的梯度步长单一性和全局感知能力不足问题，研究人员提出融合像素自适应梯度下降(APGD)模块和阶段融合近端映射(SFPM)模块的新型网络架构。该研究通过状态空间模型(SSMs)实现线性复杂度的长程依赖建模，在多个数据集上取得SOTA性能，为复杂场景下的图像恢复提供了新思路。

　　

在计算机视觉领域，雨天拍摄的图像往往因雨纹干扰而影响视觉质量，更会严重阻碍目标检测、自动驾驶等高层次视觉任务的性能。尽管深度展开网络(DUNs)通过结合优化模型的可解释性和深度网络的表征能力，在图像去雨任务中展现出潜力，但现有方法仍面临两个关键瓶颈：一是依赖固定标量步长的梯度下降模块难以适应图像不同区域的纹理差异；二是基于卷积神经网络(CNN)的设计缺乏对全局结构的感知能力，限制了模型在复杂场景下的适应性。

针对这些挑战，江苏某高校的研究团队在《Neural Networks》发表论文，提出创新性的像素自适应深度展开网络(PADUM)。该方法的核心突破在于：1）设计自适应像素梯度下降(APGD)模块，通过前一阶段特征动态调整每个像素的梯度步长；2）构建双分支的阶段融合近端映射(SFPM)模块，整合CNN与状态空间模型(SSM)优势，以线性复杂度实现长程依赖建模；3）引入傅里叶变换的级联特征融合机制，有效缓解展开过程中的信息衰减。

关键技术包括：基于卷积字典雨模型的数学建模、包含8个展开阶段的网络架构设计、在Rain100H等合成与真实数据集上的对比实验，以及消融研究验证模块有效性。研究结果显示：

APGD模块 通过特征映射生成像素级步长图，使网络能自适应处理不同纹理区域。实验表明该设计使PSNR指标提升1.2dB以上。

SFPM模块 的CNN分支采用5×5大核卷积捕获局部特征，SSM分支通过扫描机制建模全局依赖。与Transformer相比，SSM在512×512图像上节省37%显存消耗。

阶段融合机制 通过快速傅里叶变换(FFT)提取频域特征，结合空间注意力实现跨阶段特征增强，有效保留高频细节。消融实验显示该机制使SSIM提高0.015。

在Rain100H、RainDrop等数据集上的定量评估表明，该方法PSNR达到31.75dB，较RCDNet提升2.4dB，且推理速度达到45FPS（1080P分辨率）。真实场景测试中，对车窗雨滴的去除效果尤为显著，为自动驾驶视觉系统提供重要技术支持。

这项研究的创新价值体现在三方面：方法论上首次将SSM引入深度展开框架，拓展了可解释网络的架构设计思路；技术上提出的像素自适应机制为图像恢复任务提供新的优化范式；应用上通过开源实现促进工业场景落地。未来工作可探索SSM在视频去雨任务中的时序建模潜力，以及APGD机制在其他低层视觉任务的迁移应用。论文中披露的代码库已获900+星标，显示出学术界的广泛关注。