高效引导扩散模型WGDiff：突破恶劣天气图像复原的感知-失真权衡瓶颈

本文提出天气通用引导扩散模型WGDiff，通过双分支架构（DRRN/DFRN）融合物理感知退化模型（PWM-EC）与误差缩减引导扩散复原（ER-GDR），结合移位窗口补丁采样（Swin-PS）策略，在恶劣天气图像复原中实现44.8%–96.5%的参数削减与7.9–23.7倍加速，显著提升感知质量与效率的平衡性。

　　

Highlight

恶劣天气图像复原

在恶劣天气条件下拍摄的图像会遭受散射（scattering）、衰减（attenuation）和遮挡（occlusion）等复杂退化效应，显著降低能见度并阻碍下游视觉任务。尽管已有大量研究致力于特定天气类型（如雾、雨或雪）的图像复原，但不同天气条件下的物理退化机制存在本质差异，这给泛化能力带来重大挑战。

去雾

早期去雾方法基于大气散射模型（atmospheric scattering model），通过估计透射率图（transmission map）和大气光（atmospheric light）来恢复场景反射率。现代深度学习方法则采用端到端网络直接学习雾霾退化与清晰图像间的映射关系。

概述

我们提出的天气通用引导扩散模型（WGDiff）包含双分支结构：直接复原网络（DRRN）和扩散复原网络（DFRN）。DRRN利用物理感知天气退化模型与显式约束（PWM-EC）从天气退化图像中初步恢复清晰场景，保持恶劣天气条件的物理先验。DFRN基于扩散概率模型（diffusion probabilistic models）迭代恢复清晰图像，通过条件扩散过程增强感知质量。误差缩减引导扩散复原（ER-GDR）方法将DRRN输出作为指导，迭代优化DFRN的中间扩散结果，实现像素级保真度与感知质量的协同提升。

数据集

采用多标准天气退化图像复原数据集进行评估，包括Snow100K（雪景）、Outdoor-Rain（大雨）、RainDrop（雨滴）、RainDS（雨纹）等天气条件。

Snow100K包含10万张通过Photoshop生成的雪花图像（训练/测试各5万张），测试集按雪密度分为S/M/L三级。Outdoor-Rain涵盖真实雨纹与合成雨滴组合数据，RainDrop专注于玻璃表面的雨滴遮挡修复，RainDS则提供多密度雨纹退化数据。

结论

本文提出高效天气通用引导扩散模型WGDiff，通过整合CNN的像素级保真度优势与扩散模型的感知质量优势，实现恶劣天气图像的高质量复原。物理感知退化模型与显式约束（PWM-EC）及（条件）变换器残差块（TRs&CTRs）构建的参数高效架构，形成直接与扩散复原双分支。误差缩减引导扩散复原（ER-GDR）方法通过DRRN输出引导DFRN的中间结果迭代优化，移位窗口补丁采样（Swin-PS）策略则有效提升尺寸无关图像复原的效率。实验证明该方法在感知质量与效率平衡方面达到业界最优（SOTA）水平。