基于大气散射模型框架的分解与重建方法实现自监督极化图像去雾

《Image and Vision Computing》：Self-supervised polarization image dehazing via decomposition and reconstruction framework inspired by the atmospheric scattering model

　　王欣|高天|傅伟 中国安徽省合肥市230009，合肥工业大学计算机与信息学院 摘要 在雾天拍摄的图像可见度与对比度都会降低，给精确的场景重建带来很大挑战。现有的去雾方法大多依赖光强度信息，往往忽视了大气颗粒带来的散射特性。光的偏振特性提供了独立于强度的额外信息维度。利用这一独特属性，可以通过偏振有效抑制由雾粒引起的散射光，从而促进去雾过程。本研究提出了SPIDNet，这是一种自监督的偏振图像去雾方法，旨在解决传统技术的固有局限性。所提出的SPIDNet框架通过利用偏振特征获取比传统基于强度的方法更详细的场景信息，同时采用自监督方法来克服获取成对的雾天-清晰图像数据集的难题，而这在现实应用中往往是重大障碍。为训练SPIDNet，我们构建了一个源自自然雾天环境的偏振图像数据集，为模型训练提供了可靠的资源。实验结果表明，SPIDNet在该数据集上始终能取得最先进的性能，有效提升了雾天条件下的图像可见度并恢复了图像细节。引言 在自然环境中，灰尘、雾气中的悬浮颗粒会大量吸收和散射光线，导致远距离拍摄的图像对比度降低且细节丢失严重。这种退化现象会严重影响各种视觉任务的性能，比如物体检测。因此，图像去雾作为一种关键的视觉增强技术，受到了大量研究关注，并取得了显著进展，提升了下游视觉应用的性能[1]。现有的去雾方法大致可分为两类：基于先验的方法和基于学习的方法。前者主要依赖于Narasimhan等人最初提出的大气散射模型[2]。在这种模型中，光线的衰减可以用以下公式表示：I(z)=L(z)t(z)+A∞(1?t(z))，其中z表示像素的位置，I(z)代表观测到的雾天图像，L(z)对应于无雾的底层图像。A∞表示全局大气光，描述远处光源的亮度，而t(z)则定义了内在亮度透过大气的传输情况。传输项t(z)还可以进一步表示为：t(z)=e?βd(z)，其中β是散射系数，d(z)表示z位置的场景深度。该模型中存在多个未知变量，使得从单张雾天图像中分解出这些成分成为一个极为复杂的问题。为了解决这个问题，基于先验的方法通常使用从自然图像统计中得到的手工设计的先验值。虽然这些先验在特定条件下表现有效，但它们在处理不同光照场景时存在明显局限性，常常会导致对比度过度增强，并产生光环、颜色块等不良伪影。近年来，基于卷积神经网络（CNN）的学习型去雾技术得到了广泛应用，相比传统方法具有更高的稳定性。这类方法大致可分为两类：端到端方法，直接从雾天输入图像恢复清晰图像；以及模型驱动技术，利用CNN来估计底层雾形成模型的参数。为了解决泛化问题以及单张图像去雾固有的复杂性，人们提出了多图像去雾策略。这些方法利用在不同天气条件、视角和偏振角度下拍摄的图像。其中，基于偏振的方法通过从同一视角以不同偏振角度拍摄多张偏振图像，为解决这一复杂问题提供了有效方案。由于后向散射光具有部分偏振性，利用偏振信息可以抑制后向散射光，从而有助于提取所需的目标信号。然而，现有的学习型方法往往需要大规模的雾天和清晰图像对来进行训练，而在现实环境中获取这样的数据对存在很大实际困难。因此，大多数基于深度学习的去雾方法都严重依赖合成数据集进行模型训练。合成图像与真实世界图像之间存在显著的领域差异，当这些模型在实际大气环境中使用时，去雾效果往往不尽如人意。此外，目前的偏振辅助去雾方法通常无法有效结合大气散射的物理先验与自适应的偏振特征增强机制，这限制了在复杂现实环境退化情况下对细微层次细节的精准捕捉。为了解决这些局限性，本文提出了一种专为偏振图像设计的新型自监督去雾框架，该框架创新性地融合了自监督学习策略、物理偏振先验以及多尺度偏振特征增强机制。与依赖成对训练数据的主流监督方法不同，所构建的自监督框架无需雾天和清晰图像对即可进行模型训练，从而减少了合成领域与真实领域之间的差异，大幅提升了在实际应用中的泛化能力。该框架还专门设计了偏振多尺度注意力模块，用于实现多尺度雾特征与偏振空间及通道信息的自适应融合，从而更精确地估算大气光和传输图。同时，通过充分利用偏振特性，该框架能够准确提取细微的雾特征，为现实场景中的偏振图像去雾提供了一种极具实用性和创新性的解决方案。本工作的主要贡献如下：1. 我们提出了一种专为偏振去雾设计的自监督神经网络，能够有效恢复现实世界的雾天图像。2. 我们设计了一种新的非成对偏振去雾数据集，用于支持偏振图像去雾的自监督学习。3. 实验评估表明，我们的方法在现实世界的雾天图像上取得了最先进的性能，体现了其实用性和有效性。相关内容概述 基于先验的图像去雾方法 早期的去雾方法主要依赖于从无雾图像的统计特性（如对比度、纹理和色差）中得到的手工设计的先验值。这些先验值可用于估算大气光和传输图，再结合大气散射模型，为原本约束不足的去雾问题提供可行的解决方案。例如，何等人提出了著名的暗通道先验，基于…… 提出的模型 在本节中，我们将详细介绍所提出的自监督偏振去雾网络——SPIDNet。如图1所示，SPIDNet的架构由三个相互连接的子网络组成。这些子网络协同工作，分别预测去雾后的输出图像、传输图和天空光，从而形成一种全面且有效的基于偏振的去雾方法。数据集 收集成对的真实世界偏振雾天图像和无雾图像数据集既费力又耗时，这也是大多数现有方法不得不依赖合成数据集进行训练的原因。然而，合成图像与真实世界雾景图像之间存在本质差异，当将这些合成图像应用于真实雾景时，去雾效果往往会下降。为了解决这一问题，我们构建了一个包含非成对偏振雾天图像的数据集。在数据集收集过程中，我们使用了…… 结果 图5展示了多种去雾方法的视觉质量比较，给出了五个代表性示例。标记为“haze”和“our”的图像分别对应使用偏振图像组及所提方法生成的输出结果。如图5所示，YOLY [36]模型生成的去雾结果整体色调较深，尤其是在包含颜色较深的物体的场景中。Double-DIP [33]模型的去雾效果则不够完善…… 讨论 消融实验结果表明，当排除MDCM时，去雾后的图像仍存在残余雾气，这可能是由于缺乏多尺度信息，导致雾气去除不彻底。同样，去掉HAM也会导致去雾效果不均匀，这凸显了注意力机制在确定需要去除雾气的区域方面的重要性。此外，不使用对抗学习时的去雾结果在视觉上…… 结论 在本研究中，我们提出了一种新颖的自监督偏振去雾框架。我们的方法核心在于构建了一个非成对偏振去雾数据集，以及一个专为处理偏振图像设计的端到端网络。该网络的架构基于大气散射模型，利用三个关键参数来指导去雾过程。为此，网络采用了三个专门的子网络：L-Net、T-Net和…… CRediT作者贡献说明 王欣：写作——审阅与编辑、写作——初稿撰写、监督、资源协调、项目管理、方法设计、资金获取、概念构思。高天：写作——初稿撰写、可视化处理、验证、软件开发、方法设计、研究实施、数据整理。傅伟：写作——审阅与编辑、可视化处理、验证、研究实施、数据整理。利益冲突声明 作者声明存在以下可能被视为潜在利益冲突的财务利益/个人关系：王欣表示获得了中国国家自然科学基金的支持，还获得了中央高校基本科研业务费的支持，以及嵌入式系统与服务计算重点实验室基金的支持。如果还有其他作者…… 致谢 本项工作得到了中国国家自然科学基金（62171178）、中央高校基本科研业务费（JZ2024HGTG0313）以及嵌入式系统与服务计算重点实验室基金（ESSCKF2025-01）的支持。