基于多次散射模型的物理真实感雾气合成技术用于图像去雾

《Optics & Laser Technology》：Physically realistic fog synthesis via multiple scattering model for image defogging

　　颜佳佳|张刚平|李朝峰|杨万口|孙汉•首次提出一种基于多次散射的雾效合成方法。•我们的合成数据显著提升了相同去雾网络的性能。•该方法能够有效模拟现实世界的雾况，并在不同场景中展现出更好的泛化能力。

引言
作为恢复视觉清晰度的关键技术，图像去雾引起了学术界的广泛关注，由此产生了许多基于深度学习的方法[1]。这些方法主要针对陆地场景，依赖大规模、高质量的双重数据集进行训练。尽管这些方法在自动驾驶和视频监控等陆地应用中取得了显著成果，但当应用于浓雾或水面场景时，其性能往往会大幅下降。

现有的大多数合成数据集都是基于ASM模型[2]、[3]构建的：Is(x)=J(x)t(x)+A(1?t(x))，其中Is(x)和J(x)分别代表雾天图像和晴朗图像。A表示全局大气光，t(x)=e?βd(x)为传输映射，β是大气散射系数，d(x)为场景深度。该模型假设光在传播过程中仅经历一次散射事件，这对大多数光雾场景来说是一个合理的近似。

然而，这种简化模型在现实世界的雾况中适用性面临巨大挑战，因为雾不仅出现在陆地上，在水面上更为常见。如图1所示，由于河流和海洋上的强烈蒸发作用，当温差较大时容易形成浓雾。此外，在海洋环境中，海雾中的凝结核通常是吸湿性盐粒，这类颗粒更容易促进雾滴的生长和聚集，从而形成浓密且持久的雾[4]、[5]。在如此密集的气溶胶介质中，光传播会伴随强烈的多次散射效应，导致图像退化模式与基于单次散射假设生成的合成雾天图像之间存在系统性偏差。基于ASM的现有数据集无法表征这些复杂的光学特性，因此当模型应用于真实的水上场景时，会出现泛化能力差、颜色失真以及伪影等问题。

为解决这些难题，本文旨在构建一个更贴近现实世界的雾效物理模型。我们提出了一种基于多次散射模型（MSM）的雾天图像合成方法。通过明确建模现实世界雾中光的多次散射和扩散现象，该方法能够准确捕捉雾的物理形成机制。该方法仅需输入一张晴朗图像即可生成对应的雾天图像，无需依赖难以获取的双重训练数据。本文的主要贡献如下：
(1)我们提出了一种基于多次散射模型（MSM）的雾效合成方法。据我们所知，这是首次尝试将多次散射效应引入雾天图像合成，突破了目前广泛采用的单一散射范式。
(2)我们提出了一种合成数据生成策略，能够生成更具物理真实性的雾天图像，使得现成的去雾网络无需进行任何架构修改即可更好地处理现实世界的雾天图像。
(3)通过对真实水上和陆地雾景基准数据的广泛测试，验证了所提方法的有效性。测试结果表明，该方法在不同场景中具有更好的泛化能力，同时也展现了基于MSM的合成方法在连接合成雾数据与真实雾数据方面的潜力。

章节摘录
图像去雾方法
现有的图像去雾方法大致可分为基于先验的方法和基于学习的方法两类。基于先验的方法依赖于单一大气散射模型的解析公式以及各种先验假设。典型的方法包括暗通道先验[6]、颜色衰减先验[7]、颜色线条先验[8]、区域梯度约束先验[9]等。在这些早期研究的基础上，IHDCP[10]和ALSP[11]分别提出了逆向……
所提方法
在传播过程中，光会因大气中悬浮颗粒的散射和吸收作用而逐渐减弱。从物体表面到相机的传播距离越长，光强度就越低，从而导致图像中的物体显得模糊且颜色褪淡。ASM模型为描述图像退化提供了理论基础，但该模型基于单次散射假设，即认为光……
实验设置
(1)训练和测试数据
水上雾景：该数据集中的所有图像均来自真实的水上场景。训练集包含2441张晴朗图像，测试集包含188张雾天图像。这些晴朗图像用于分别基于ASM模型和MSM模型生成对应的雾天图像，以便后续的模型训练，评估则在测试集上进行。图4第三行显示的图像取自WaterHaze训练集。
RTTS：此……
局限性
所提出的MSM方法引入了APSF模型来模拟雾天环境中的光扩散、衰减和多次散射现象，从而提升了合成雾的物理真实性。这一设计增强了整体散射效应，使得合成图像中的雾密度相对较高，因此在处理浓雾场景时效果良好。但这也带来了一定的局限性，即该模型难以准确表现低密度雾景，从而导致过度增强现象……
结论
本文解决了传统单一散射大气模型的局限性，这类模型无法准确模拟真实雾况下的复杂光传输过程，进而限制了去雾模型在现实场景中的泛化能力。为解决这一问题，我们提出了一种基于MSM的雾效合成方法。通过引入APSF模型来模拟光的多次散射和扩散，该方法能够生成……
CRediT作者贡献说明
颜佳佳：写作——审阅与编辑，写作——初稿撰写，可视化，验证，方法论，数据整理。张刚平：写作——审阅与编辑，可视化，形式分析，数据整理。李朝峰：写作——审阅与编辑，指导，资源提供，方法论，资金获取。杨万口：指导，调研。孙汉：项目管理，调研。
利益冲突声明
作者声明不存在任何可能影响本文研究的已知财务利益或个人关系。