基于物理原理的双分支深度展开算法，结合稀疏近端映射技术，用于偏振图像去雾处理

《Optics and Lasers in Engineering》：Physics-guided dual-branch deep unfolding with sparse proximal mapping for polarimetric image dehazing

　　•基于物理散射的模型指导联合偏振图像去雾过程。•双分支展开算法交替更新场景信息和偏振变量。•学习到的稀疏逼近映射有助于保持边缘和局部纹理。•四角度输入在合成结果上比仅使用强度输入有轻微提升。•代表性的真实短波红外图像显示出更清晰的结构。

引言
在室外环境中获取的图像通常会因雾霾、雾和悬浮颗粒引起的大气散射而质量下降。在图像形成过程中，场景辐射沿传播路径衰减，同时大气颗粒散射的天空光被添加到相机观测中。因此，捕获的图像会遭受能见度降低、对比度减弱、辐射度失真以及结构细节丢失等问题，这些问题可能进一步影响远程监视、目标识别、交通监控和遥感等应用。从这种退化的观测数据中估计场景辐射是非常具有挑战性的，因为在图像形成过程中，场景辐射、穿透率、深度和天空光是强耦合的[1]、[2]、[3]。
大多数现有的去雾研究集中在可见光谱RGB图像上。相比之下，短波红外（SWIR）成像在较长的波长下工作，通常在大气穿透窗口内表现出较少的大气散射和更好的雾霾穿透能力[4]、[5]。然而，在密集的自然雾霾下，公里级的SWIR观测仍然可能受到附加路径辐射、对比度减弱和细微结构丢失的影响。本文考虑的真实单色SWIR偏振数据是通过单通道SWIR成像系统直接获取的，而不是可见光谱RGB图像的灰度版本。相比之下，用于监督训练的合成数据来源于RGB偏振数据集，并被确定性地转换为单通道强度；因此在整篇文章中，我们将它们称为从RGB转换为灰度的合成偏振数据。这种区别在数据集描述、实验结果、图表标题和结论中都得到了体现。

基于物理模型的方法通过引入大气散射模型和图像先验来降低去雾问题的不适定性[3]、[6]、[7]、[8]。尽管这些方法提供了可解释的恢复机制，但它们的性能往往对参数估计的不准确性和在密集雾霾、复杂照明或空间非均匀散射情况下假设的先验的违反非常敏感。因此，仅从单一强度观测中估计所有与雾霾相关的变量在本质上是模糊的。
偏振成像通过测量散射光的偏振特性提供了额外的物理信息。由于大气中的天空光通常是部分偏振的，偏振分辨观测之间的差异有助于分离由散射引起的天空光和直接传输的场景成分[9]、[10]。现有的偏振去雾方法已经证明了偏振信息在天空光估计和密集雾霾去除中的有用性[11]、[12]、[13]、[14]。然而，许多传统方法依赖于偏振相关量的直接代数反演。当偏振度较弱或获取的观测数据包含噪声时，基于除法的恢复方法可能会导致数值放大和恢复不稳定。

基于学习的去雾方法提供了强大的非线性表示能力，并在传统图像恢复和偏振图像恢复方面取得了显著进展[15]、[16]、[17]、[18]、[19]、[20]。然而，大多数现有网络要么针对RGB图像，要么仅针对强度图像，或者主要将偏振测量视为额外的特征通道。包括场景辐射、偏振度和偏振天空光在内的物理意义变量的中间更新通常是隐式的。因此，这些量可能在无约束的特征映射中变得纠缠，限制了恢复过程的物理可解释性。

深度展开提供了一种将基于模型的优化与可训练的表示学习相结合的原则性方法。通过将数据保真度更新和逼近操作映射到一个有限序列的可学习阶段中，展开网络保持了明确的推理规则，同时允许从数据中学习到困难的正则化先验[21]、[22]、[23]。这种范式特别适用于偏振去雾，因为大气正向模型在物理上是有意义的，但场景辐射和偏振相关变量是非线性耦合的。然而，明确在场景辐射恢复和偏振变量估计之间交替的深度展开架构尚未得到充分探索。

受到这些观察的启发，我们提出了一种基于物理的双分支深度展开网络，该网络采用稀疏逼近映射。该框架以0°、45°、90°和135°获取的四个注册单通道观测作为输入，并通过Stokes表示法得出总强度和偏振差信息。去雾问题被构建为一个物理上受限的联合优化问题，涉及场景辐射J、大气天空光的偏振度p和偏振天空光的幅度Ap。最终的优化过程被分解为可解释的阶段，每个阶段包括一个场景梯度下降分支（SGDB）和一个偏振梯度下降分支（PGDB）。SGDB在当前的偏振变量下更新单通道场景辐射估计，而PGDB使用新估计的场景辐射更新p和Ap。两个分支都结合了可学习的稀疏软阈值逼近映射，以在学到的特征域中近似进行正则化校正。

本文的主要贡献总结如下：
•我们将偏振图像去雾问题构建为一个物理上受限的联合优化问题，涉及潜在的场景辐射J、偏振度p和偏振天空光的幅度Ap。从四个单通道偏振角度观测开始，所提出的公式明确地将SWIR偏振测量与大气散射模型联系起来，并为网络推断提供了统一的物理基础。
•我们提出了一种基于偏振的双分支深度展开架构。SGDB和PGDB分别交替更新场景辐射和偏振相关变量，从而减少了通过单一黑盒映射直接估计所有潜在变量所导致的模糊性。
•我们在展开过程中引入了可学习的稀疏软阈值逼近映射。所提出的逼近模块使用非线性分析-合成变换和自适应收缩阈值来抑制与雾霾相关的微弱波动，同时保持显著的边缘和局部纹理。

物理模型-based的去雾方法通常依赖于大气散射模型来估计透射率和大气光线，然后再重建无雾霾的图像。Fattal基于表面着色和传输的统计假设提出了单图像去雾方法[24]。Tarel和Hautière提出了一种用于彩色和灰度图像的快速可见度恢复方法[25]。暗通道先验（DCP）根据至少有一个...的观测来估计透射率...

偏振大气散射模型
设Ω?R2表示图像域，x∈Ω表示一个像素位置。本文考虑的SWIR偏振成像系统通过指向0°、45°、90°和135°的线性分析器产生四个单通道强度观测值，分别用I0、I45、I90和I135表示，并将它们连接起来形成偏振输入张量Ip=I0⊕I45⊕I90⊕I135，其中⊕表示通道间的连接。每个Iα是一个单通道强度测量值...

偏振引导的双分支交替架构
所提出的方法将物理上受限的偏振去雾问题的迭代解决方案转化为一个可训练的双分支深度展开框架。如图2所示，左侧部分代表从偏振输入到恢复输出的原始迭代优化过程，右侧部分展示了其可学习的网络实现。上层分支对应于场景梯度下降分支（SGDB），它逐步优化...

数据集
为了评估所提出方法的有效性和泛化能力，我们在从RGB转换为灰度的合成偏振数据和真实单色SWIR偏振数据上进行了实验。
对于模型训练和合成评估，我们使用了在[19]中介绍的偏振去雾数据集。由于本文考虑的真实成像系统产生的是单通道SWIR测量值，原始的RGB偏振角度图像及其对应的无雾霾图像...

结论
在本文中，我们提出了一种基于物理的双分支深度展开网络，采用稀疏逼近映射进行偏振图像去雾，特别注重提高真实单色SWIR偏振数据的可见度。与大多数为可见光谱RGB图像设计的现有去雾方法不同，所提出的框架使用在0°、45°、90°和135°获取的四个注册单通道偏振观测值。尽管SWIR波段提供了相对较强的...

资助
本研究得到了中国国家自然科学基金（项目编号62305161和62471224）和中央高校基本科研业务费（项目编号NT2025005）的资助。

作者贡献声明
Yi Zong：写作 – 评审与编辑、监督、资源管理、项目协调、资金获取、概念化。
Hantong Li：写作 – 初始草稿、可视化、验证、软件开发、方法论设计、调查、形式分析。
Fanqiang Kong：监督、资源管理、资金获取。
Lanfeng Cui：软件开发、调查、数据管理。
Jincheng Xu：调查、数据管理。

利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

Yi Zong | Hantong Li | Fanqiang Kong | Lanfeng Cui | Jincheng Xu