ScoreDiff：一种用于物理引导水下图像恢复的分解得分方法

《Expert Systems with Applications》：ScoreDiff: Decoupled Score Decomposition for Physics-Guided Underwater Image Restoration

水下图像恢复挑战及解决方案：提出ScoreDiff框架，通过解耦语义生成与物理修正的双分支架构（含stop-gradient优化），结合不确定性感知仲裁模块动态抑制物理模型错误指导，并引入内容一致解码器补偿潜在空间细节损失，显著提升复杂水下环境的恢复精度与鲁棒性。

　　

李飞|李建安|郑江斌|薛月|王涵|李青山

西安电子科技大学计算机科学与技术学院，中国陕西省西安市710071

摘要

由于严重的物理退化和信息丢失，水下图像恢复是一个具有挑战性的、病态的问题。尽管扩散模型提供了强大的生成先验，但现有的基于物理的算法存在表示纠缠的问题，即共享网络必须同时学习内容生成和退化建模，而无法明确区分这两个任务。为了解决这个问题，我们提出了ScoreDiff，这是一个基于解耦得分分解的统一框架，它通过专门的优化路径将语义先验学习与基于物理的校正分开。具体来说，一个具有停止梯度优化的非对称双分支架构在结构上将生成先验与物理一致性约束分离，将物理分支视为残差细化机制。为了处理复杂场景中不可靠的物理估计（例如动态焦散），我们引入了一个不确定性感知仲裁模块（Uncertainty-Aware Arbitration Module），该模块将分支间的不一致性视为局部指导可靠性的代理，当光学模型失败时动态抑制错误的校正。此外，为了弥合潜在扩散中的分辨率差距，我们提出了一个内容一致解码器（Content-Consistent Decoder），通过注入像素空间的结构特征来减轻潜在空间的细节损失。在成对和不成对的基准测试上的广泛实验展示了该框架的先进性能，尤其是在具有非均匀照明和散射的具有挑战性的水下环境中。

引言

水下图像恢复是一项基本的低级视觉任务，在海洋机器人技术（McMahon & Plaku (2021)）、环境监测以及下游感知应用（如对象检测和语义分割（Hong, Wang, Zhang, & Zhao (2023); Liu, Jiang, Yang, & Fan (2022)）中发挥着重要作用。然而，水下成像受到波长依赖的吸收和散射（Lin, Wang, Li, Fan, & Fu (2024)）的严重破坏，导致对比度低、颜色失真、遮蔽效应和细节丢失。这些退化不仅降低了视觉质量，还引入了重大的领域偏移，可能会显著影响下游视觉模型的可靠性。因此，开发能够在多种水条件下恢复视觉上合理内容的水下图像增强（UIE）方法仍然是一个具有挑战性和实际意义的问题。

现有的UIE方法大致可以分为基于物理的方法和数据驱动的方法。基于物理的方法（Drews, Nascimento, Moraes, Botelho, & Campos (2013); Li, Guo, Cong, Pang, & Wang (2016); Peng & Cosman (2017)）将恢复问题视为水下图像形成模型下的逆问题，通常通过手工制作的先验来估计传输光和背景光。这些方法在物理上是可解释的，但它们往往依赖于在空间变化衰减、动态焦散或非均匀照明等真实场景中可能不成立的简化假设。相比之下，数据驱动的方法（Fabbri, Islam, & Sattar (2018); Jiang, Kang, Wang, Ren, & Li (2023); Liu, Jiang, Wang, Luo, & Zhou (2024a); Liu et al. (2024b); Peng, Zhu, & Bian (2023); Qing, Liu, Wang, & Wang (2024)）从数据中学习从退化输入到恢复输出的直接映射。尽管它们在基准数据集上通常能够获得良好的视觉性能，但它们可能表现为黑箱回归器，并且缺乏强制物理一致性的明确机制，这可能会在分布外条件下限制其鲁棒性。

最近，扩散模型在低级视觉任务中表现出色，因为它们为恢复真实纹理和细微细节提供了强大的生成先验（Nichol & Dhariwal (2021); Saharia et al. (2022)）。一些最近的研究开始将物理指导引入基于扩散的恢复中（Li et al. (2022); Yi, Xu, Zhang, Tang, & Ma (2023)）。然而，现有的引导扩散策略在水下成像应用中仍然面临实际限制。

首先，语义先验学习和退化反演通常在一个共享的条件网络中耦合。这种耦合使得模型难以区分自然图像生成和特定于退化的校正，可能导致学习到的先验偏向于水下损坏模式，而不是保持对干净图像流形的锚定。其次，物理指导本身在复杂的水下场景中可能不可靠。简化的成像方程无法完全描述动态焦散、异质散射或场景依赖的照明变化，但许多方法使用估计的物理参数作为确定性条件，而没有明确考虑其可靠性。因此，物理估计中的错误可能会直接传播到恢复过程中。第三，潜在流形中的信息瓶颈限制了恢复的保真度。许多扩散模型在压缩的潜在空间中运行以提高计算效率（Esser, Rombach, & Ommer (2021)）。虽然这种设计降低了推理成本，但潜在瓶颈也可能抑制高频结构细节，而这些细节在水下图像中已经严重衰减。此外，尽管最近的单步潜在扩散方法（Wu et al. (2025) 提高了推理效率，但它们本质上缺乏在恢复过程中明确仲裁冲突目标的能力，也无法提供用于解释性和可靠性量化的中间物理估计。这些观察表明，有效的水下恢复不仅需要强大的生成先验，还需要一种机制来区分语义生成和基于物理的校正，并在光学模型不可靠时调节物理指导。

受此启发，我们提出了ScoreDiff，这是一个基于解耦得分分解的、用于物理引导的水下图像恢复的统一框架。ScoreDiff不是通过一个纠缠的网络来学习完整的条件得分，而是将恢复过程分为两个协作组件：一个用于语义生成的数据驱动先验和一个用于感知退化的物理引导校正项。

我们通过非对称双分支架构实现了这一想法，其中先验分支和物理分支接收不同的输入，并使用不同的监督路径进行优化。特别是，引入了停止梯度策略，以便物理一致性目标在不直接扭曲语义先验的情况下细化感知退化的分支。为了在简化光学模型不准确的区域提高鲁棒性，我们进一步引入了不确定性感知仲裁模块（UAM）。其主要思想是将先验分支和物理分支之间的不一致性视为物理指导局部可靠性的线索。UAM不是在两个完整的得分预测器之间进行选择，而是适应性地调整物理引导校正项的幅度。这允许模型在光学估计更可信的区域抑制不可靠的物理校正，在其他区域保留它们。此外，为了补偿潜在压缩导致的结构细节损失，我们提出了一个内容一致解码器（CCD），它将来自退化图像的多尺度结构线索注入潜在解码过程。这些结构特征由双效用物理参数生成器（PPG）提取，该生成器同时估计物理分支所需的物理参数，并为细节保留的重建提供像素空间特征。

总之，本工作的主要贡献如下：

•

我们提出了具有非对称双分支架构和停止梯度训练的ScoreDiff，将语义先验学习与物理引导校正分离，以防止先验偏向于退化模式。

•

我们引入了一个不确定性感知仲裁模块（UAM），它将分支间的不一致性视为可靠性线索，适应性地调整残差物理引导，以抑制复杂水下场景中的错误指导。

•

我们开发了一个双效用PPG和CCD，它们共同支持物理条件和结构细节的恢复，并通过成对基准测试和具有挑战性的真实世界数据集的广泛实验进行了验证。

部分摘录

水下图像恢复

水下图像恢复（UIR）方法大致可以分为基于物理的、数据驱动的和混合的范式。基于物理的方法通过使用手工制作的先验来估计传输光和背景光来反转水下图像形成模型，例如UDCP（Drews et al. (2013)）、红/暗通道变体（Peng & Cosman (2017）和基于Retinex的分解（Zhang et al. (2022); Zhou, Wang, Lin, Jiang, & Sohel (2024b); Zhuang, Wu, Porikli, & Li (2022）；

方法论

水下图像恢复的主要挑战在于两个目标之间的优化冲突：去除物理退化需要严格遵循光学模型，而合成真实纹理则依赖于生成先验。在标准的条件扩散模型中，这些目标通常在一个共享的参数空间中学习，可能导致语义生成和退化建模之间的干扰。

实验设置

实现和训练细节。我们的框架是在PyTorch中实现的，并在四个NVIDIA RTX 3090 GPU的集群上进行了训练。所有输入图像都被调整大小为256×256，并由VQGAN编码器编码到64×64的潜在空间。为了结合强大的生成先验和水下特定的物理约束，我们采用了差异初始化策略以及物理监督的分阶段激活。

具体来说，先验分支是从恢复

结论

我们提出了ScoreDiff，这是一个基于解耦得分分解的物理引导扩散框架。通过使用非对称双分支架构和停止梯度优化将语义先验学习与物理引导校正分离，并引入不确定性感知仲裁来抑制不可靠的物理指导，该框架实现了稳健的恢复性能，并在各种水下环境中展示了良好的泛化能力。

局限性。首先，

CRediT作者贡献声明

李飞：概念化、方法论、软件、写作——原始草案。李建安：数据管理、验证。郑江斌：数据管理、验证。薛月：监督、写作——审阅与编辑。王涵：监督、写作——审阅与编辑。李青山：调查、资源。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。