RenHaze：一种从粗粒度到细粒度的渲染框架，用于提升对雾气的鲁棒性

《ACM Transactions on Intelligent Systems and Technology》：RenHaze: A Coarse-to-Fine Rendering Framework for Improving Robustness to Haze

提出基于深度学习的RenHaze模型，通过密度参数ω控制雾霾生成，包含内容/深度/雾霾特征提取和图像生成/辨别五子网协同优化，显著提升雾霾图像合成质量及计算机视觉任务在真实雾霾环境下的性能。

　　

摘要

以图像为中心的大规模数据集推动了基于深度学习的计算机视觉应用的进步。虽然存在大量包含良好天气场景图像的数据集，但由于收集难度较大，包含恶劣天气条件（尤其是雾霾）图像的数据集非常稀少。为了解决这一问题，我们利用深度学习技术的优势，提出了一种新的方法来生成真实且多样的雾霾图像，该方法被称为RenHaze。具体来说，RenHaze采用了一个密度参数$\omega$来控制输出图像的雾霾程度，并由五个子网络组成：内容利用（CE）子网络、深度利用（DE）子网络、雾霾利用（HE）子网络、图像生成（IG）子网络和图像辨别（ID）子网络。CE、DE和HE子网络分别负责从原始清晰图像、深度图像和参考雾霾图像中提取特征，并将这些特征提供给IG子网络。IG子网络用于从粗略到精细的图像转换过程，而ID子网络则用于判断生成图像的真实性，并为IG子网络提供反馈以生成所需的输出结果。大量实验表明，与现有的图像生成方法相比，所提出的模型在合成雾霾图像的真实性和多样性方面具有显著优势，同时在提升现实世界雾霾环境中对象检测和语义分割等计算机视觉任务的性能方面也表现出色。