基于双先验引导的任务定制半监督水下图像增强

《Neurocomputing》：Task-tailored semi-supervised underwater image enhancement with dual-prior guidance

　　

摘要

数据驱动的水下图像增强（UIE）高度依赖于监督数据的来源与质量。水下数据集与实际部署环境具有更高的域对齐性，但通常只能提供不完美的伪参考；而合成配对数据虽然能提供更干净的增强目标，但对真实图像的泛化能力有限。为了解决上述局限，我们提出了Semi-DPGNet，一种结合合成数据有监督训练与水下数据半监督学习的师生框架。其双先验引导网络利用互补的深度先验和去雾先验，以捕获可迁移的退化-恢复线索。基于该网络，我们构建了面向恢复的课程视图，以实现从易到难的稳定一致性学习，其中伪参考仅用于弱视图，而基于物理模型的重退化则引导强视图。此外，我们设计了一种注意力增强的对比正则化方法，以强调恢复关键区域。在由UIEB和LSUI分别派生的配对测试集U90和L400，以及非配对数据集U45、UCCS和UIEB-C60上的实验表明，Semi-DPGNet在感知质量和增强均衡性方面均优于近期UIE方法。

引言

配备视觉传感器的水下平台广泛应用于海洋探索、资源勘探和生态监测，产生了大量水下图像 [47]。然而，由于悬浮颗粒引起的波长和距离相关的吸收与散射 [70]，水下图像往往存在色彩失真、低对比度和细节模糊等问题。这些退化严重降低了视觉保真度和图像可解读性，使水下图像增强（UIE）成为水下视觉领域的一个基本问题。

近年来，UIE领域的进展主要得益于数据驱动模型 [26], [69] 的推动。然而，其性能仍然与监督数据的来源密切相关。现有的UIE数据集主要分为两类：水下数据集（如UIEB [23] 和LSUI [41]）和合成配对数据集（如LNRUD [58] 和PGSM [51]）。水下数据集能够更好地反映真实场景分布，但规模通常有限，且往往依赖于有偏差或不完整的伪参考来提供恢复目标 [64]。相比之下，合成数据集能够提供可扩展的配对监督、多样的退化模式和更干净的恢复目标，有利于细节恢复和泛化 [60]。然而，由于合成退化无法完全复现真实水下成像过程，仅使用合成数据训练的模型在真实水下场景中的可迁移性往往有限，并可能产生视觉上不自然的结果。如图1所示，两种监督来源导致了明显不同的恢复行为。因此，有效的UIE框架应当利用两者的互补性，同时减轻各自的局限性。

半监督学习，特别是诸如Mean Teacher等师生框架，为联合利用合成数据和水下数据提供了自然的范式 [17], [48]。然而，有效利用水下数据仍是一个主要挑战。直接将伪参考作为像素级恢复目标的方法可以改善水下适应性，但其性能仍受限于伪参考的偏差和不完整性。相比之下，避免此类直接恢复监督的方法往往难以将合成数据中学到的恢复能力迁移到真实水下场景，这是由于域差距的存在。因此，关键挑战在于保留合成监督的泛化优势，同时有效适应水下场景。在本工作中，伪参考不作为直接的像素级恢复监督使用，仅用于构建教师端一致性学习的课程弱视图。

这一挑战还暴露了师生框架中常用学习策略的局限性。大多数半监督方法依赖于数据增强和对比正则化 [62], [63]，但这些技术大多继承自表征学习，其目标是促进高层语义不变性 [27], [55]。对于UIE而言，常用的增强方法 [46]（如颜色抖动和模糊）往往与水下图像形成过程对齐不佳，可能削弱像素级的颜色和纹理学习。同样，虽然对比正则化 [36] 可以缓解一致性约束引起的过拟合，但传统对比学习主要强调全局语义判别，而非局部恢复难度。由于UIE是一个像素级恢复任务，且退化在空间上分布不均，局部特征建模尤为重要。

为了解决这些问题，我们提出了Semi-DPGNet，一种面向像素级恢复的基于师生框架的半监督UIE框架。在利用有监督合成数据和无直接像素级恢复监督（来自水下伪参考）的水下数据进行训练的设置下，Semi-DPGNet从三个方面改进了半监督UIE。首先，我们设计了一种双先验引导网络，结合深度先验和去雾先验，以学习跨域共享的退化-恢复关系。去雾先验提供粗粒度的恢复导向引导，而深度先验则提供几何感知的衰减线索，用于后续的颜色和结构细化。其次，我们引入了一种课程数据增强策略，为同一场景构建模型引导的强视图和伪参考引导的弱视图，并在训练过程中逐步扩大两者的恢复差距，从而稳定一致性学习，匹配恢复任务由易到难的本质。第三，我们开发了一种注意力增强的对比正则化方法，利用正负特征差异作为恢复难度的代理指标，在多尺度特征空间中自适应地强调恢复关键区域。

本文的主要贡献总结如下：

• •
  我们将Semi-DPGNet构建为一个面向任务的半监督UIE框架，从合成配对监督和水下数据中学习。水下伪参考不作为直接的像素级恢复目标，仅用于课程弱视图构建。
• •
  我们设计了一种双先验引导的恢复网络，融合深度先验和去雾先验，以学习合成与真实水下域之间可迁移的退化-恢复线索。
• •
  我们引入了一种面向恢复的半监督学习策略，将课程弱视图和强视图构建与注意力增强的对比正则化相结合，实现稳定的一致性学习和区域感知的恢复。

章节片段

传统UIE方法

传统UIE方法通常可分为无模型方法和有模型方法。无模型方法根据启发式先验直接调整像素强度，以抑制偏色并增强对比度。代表性技术包括直方图均衡化 [73]、白平衡 [35]、基于Retinex的方法 [68], [75] 以及融合方法 [5]。例如，Ancuti等人 [6] 提出了一种多尺度融合策略，结合了颜色补偿和白平衡，

所提方法

本节从三个方面介绍Semi-DPGNet：双先验引导网络（DPGNet）、基于师生框架的半监督训练策略以及用于优化的损失函数。

数据集

所提出的Semi-DPGNet采用半监督设置，其中合成数据集用于有监督训练，水下数据集则不使用直接的像素级恢复监督。水下训练数据来自UIEB [23] 和LSUI [41]。具体而言，从LSUI中随机选取3879对样本，从UIEB中选取800对样本，组成水下训练集。其对应的伪参考仅用于课程中的弱视图构建。

结论

本文提出了Semi-DPGNet，一种融合了双先验引导网络、课程数据增强和注意力增强对比正则化的半监督水下图像增强框架。在有监督合成数据和无伪参考直接像素级恢复监督的水下数据的训练设置下，所提方法有效利用了两种数据源的互补优势。伪参考在

作者贡献声明

陈克宇：撰写——初稿，可视化，验证，软件，方法学，形式化分析。于建成：撰写——审阅与编辑，监督，资助获取，概念构思。黄炎：资源，项目管理，形式化分析。乔建安：监督，形式化分析，数据管理。冯昊：验证，软件。贾大宇：资源，调查研究，资助获取。

利益冲突声明

作者声明不存在可能影响本文所报告工作的已知竞争性财务利益或个人关系。

致谢

本工作得到了国家自然科学基金（编号：52501425）、中国博士后科学基金（编号：2025M780273）、机器人学国家重点实验室（编号：2025-Z25）以及中国科学院沈阳自动化研究所机器人学国家重点实验室（编号：2023-Z07）的资助。

陈克宇于2022年获得中国哈尔滨工程大学学士学位。目前在中国科学院大学攻读博士学位，专业为机械电子工程。其研究方向聚焦于将深度学习方法应用于水下自主作业中的视觉感知问题。

陈克宇|于建成|黄炎|乔建安|冯昊|贾大宇

中国科学院沈阳自动化研究所 机器人学国家重点实验室，沈阳，110016，中国