基于可靠性校准的像素级伪标签学习用于半监督水下图像修复

《Neurocomputing》：Reliability-calibrated pixel-level pseudo-label learning for semi-supervised underwater image restoration

　　摘要
现有的半监督水下图像恢复方法主要依赖图像级的伪标签过滤，这种方法忽略了水下图像退化的空间异质性，且常常引入局部不可靠的监督信号。为解决这一问题，我们提出了一种基于可靠性校准的像素级伪标签学习框架，用于半监督水下图像恢复。首先，引入可靠性校准伪标签选择机制，通过蒙特卡洛丢弃法估算像素级不确定性，并利用已标记数据中的不确定性统计量来校准伪标签的选择。其次，设计了一种像素级伪标签评估与聚合策略，根据不确定性对伪标签进行分层处理，包括直接监督、加权聚合以及不可靠像素过滤。此外，还开发了一种像素级红色信息增强机制，通过颜色感知采样和特征级一致性学习来改善以红色为主区域的图像恢复效果。在多个基准数据集上的大量实验表明，所提方法在结构恢复、色彩保真度以及红色区域恢复方面均优于现有方法。这些结果说明，基于可靠性校准的像素级伪标签选择、评估与增强为半监督水下图像恢复提供了更有效的解决方案。

引言
水下图像恢复旨在恢复因水环境中的波长依赖性吸收和散射而受损的视觉信息。由于水中光线的选择性衰减，长波长成分会被迅速吸收，从而导致严重的色彩失真和红色信息丢失，而散射效应则会进一步降低对比度并模糊结构细节。关于水下环境的物理成像模型及波长依赖性衰减的研究在先前的工作中已有较多探讨[3][7][22]。近期研究还指出，单张图像内部往往存在强烈的空间非均匀性[3][4][19][22]。因此，水下图像恢复可自然地被构建为一个具有空间异质性退化模式的密集回归问题。

近年来，基于深度学习的方法显著提升了水下图像恢复的性能[2][19][29][47][55][56]。然而，大多数高性能方法依赖于成对的退化图像与清晰图像数据集来进行监督训练。在受控条件下收集此类成对水下数据成本高昂且技术难度大，这限制了完全监督方法的适用范围。因此，半监督学习作为一种利用少量已标记数据与大量未标记样本的技术，成为了水下图像恢复的一种有吸引力的替代方案[5][14][24][42]。

在各种半监督学习范式中，诸如Mean Teacher[42]这样的教师-学生框架已被广泛用于密集预测任务。在这些框架中，教师网络为未标记图像生成伪标签，而学生网络则通过一致性正则化进行训练。但对于水下图像恢复这类密集回归问题而言，伪标签的可靠性成为影响训练稳定性和恢复质量的关键因素。与分类任务不同，分类任务的预测置信度可通过概率分布得出，而密集回归缺乏内在的概率置信度度量，这使得伪标签可靠性的估算更为困难。

目前大多数基于半监督学习的水下图像恢复方法都是在图像层面评估伪标签的可靠性，例如使用图像质量评估指标或全局置信度分数[14][41]。虽然这类方法能够剔除严重退化的样本，但它们将图像内的所有像素一视同仁，未能考虑水下图像退化的空间异质性。实际上，同一图像中往往同时存在可靠与不可靠的预测结果。图1展示了这一现象：通过随机前向传播估算的预测不确定性在不同空间位置上差异显著。预测稳定的区域不确定性较低，而受到强烈散射或色彩退化影响的区域则不确定性较高。这一观察结果表明，伪标签的可靠性本质上是取决于像素而非整个图像。

因此，基于图像层面的过滤仅能提供粗略的伪标签可靠性评估。这类方法可能会丢弃包含部分可靠预测的图像，或保留存在局部不稳定区域的图像。此外，许多现有的过滤方法都是根据未标记样本的分布来确定选择阈值，如基于百分位数的选择[37][54]，或是针对回归任务基于不确定性的过滤[17][28]。这些方法主要控制的是被接受的伪标签比例，而非其实际可靠性。随着训练过程中预测质量的变化，基于比例的阈值可能会与当前预测的可靠性不再匹配。

为克服这些局限性，我们提出了一种用于半监督水下图像恢复的可靠性校准伪标签选择机制（RCPS）。首先，利用蒙特卡洛丢弃法通过多次随机前向传播来估算像素级的预测不确定性[9]。我们并未仅依据未标记数据的分布来确定伪标签阈值，而是利用已标记样本计算出的不确定性统计量来校准接受阈值，从而使伪标签选择与监督学习场景下的可靠性水平保持一致。

基于这一校准原则，我们进一步设计了像素级伪标签评估与聚合策略（PPEA）。PPEA根据不确定性水平采用分层处理机制：低不确定性像素可直接作为伪标签使用，中等不确定性像素则通过异常值去除和加权聚合来稳定，而高不确定性像素则被排除在监督之外。此外，还引入了基于梯度的约束机制，以提升物体边界附近的结构一致性。

考虑到长波长衰减往往会导致水下图像出现严重的色彩退化[34]，我们还引入了一种像素级红色信息增强机制（PRIE）。在可靠性校准的约束下，PRIE利用与红色衰减相关的退化特征，突出可信的红色主导像素，并强化特征级一致性，从而在避免放大不可靠预测的同时改善红色区域的恢复效果。

本文的主要贡献如下：
1. 我们提出了一种可靠性校准伪标签选择机制（RCPS），该机制根据已标记样本的不确定性统计量来确定伪标签的接受阈值，与现有从未标记数据分布中确定阈值的方法不同。这为伪标签可靠性提供了基于已标记数据的校准参考，使得阈值在训练过程中保持稳定。
2. 我们设计了一种像素级伪标签评估与聚合策略（PPEA），该策略根据像素级的不确定性对预测结果进行分层处理，与将图像内所有像素一视同仁的图像级过滤方法不同。PPEA通过直接使用、异常值去除、聚合以及基于校准后的不确定性阈值的过滤，保留有效的像素级伪标签。
3. 我们引入了一种像素级红色信息增强模块（PRIE），该模块针对红色主导区域设计了考虑红色衰减的特征一致性机制，与那些对所有颜色通道一视同仁的通用伪标签方法不同。PRIE在可靠性约束下提升了红色主导区域的色彩保真度。
4. 在UIEB、UWCNN、EUVP和Seathru等多个数据集上的大量实验证明了所提框架的有效性。进一步的不确定性动态分析、敏感性分析、红色区域评估以及重复运行稳定性分析也验证了该框架的可靠性与鲁棒性。

本文的其余结构如下：第2节简要回顾了现有的水下图像恢复方法及相关技术；第3节详细介绍所提出的方法；第4节阐述实验与消融研究结果；第5节给出结论。

相关片段
水下图像恢复
水下图像恢复旨在恢复因水环境中的光吸收和散射而受损的视觉信息。由于波长依赖性衰减，长波长光（尤其是红色通道）在传播过程中会被迅速吸收，而散射效应则会进一步降低对比度并模糊场景结构。因此，水下图像通常会出现严重的色彩失真和较低的可见度[7][34]。早期的水下图像恢复方法依赖于物理成像模型。

问题建模与框架概述
半监督水下图像恢复的目标是利用已标记数据和未标记数据，学习从退化后的水下图像到清晰可视图像的映射关系。设为已标记数据集，其中为退化后的水下图像，为对应的参考图像。未标记数据集则定义为。其目标是为学习一个恢复函数，该函数能够从退化后的水下观测图像中重建出清晰可见的图像。

大多数现有的半监督恢复方法都依赖于……

实现细节
该框架使用PyTorch实现，并在配备GTX 4090 GPU的Linux工作机上进行训练。我们采用了[14]中的网络架构，以AIM-net作为核心网络，并使用AdamP[12]作为优化器。训练时每批样本包含4张图像，即2对配对图像和2张非配对图像。初始学习率设置为2e-4，训练周期为200轮，且在第100轮时将学习率降低0.1倍。训练图像的尺寸被调整为256×256像素。

结论
本文提出了一种基于可靠性校准的像素级伪标签学习框架，用于半监督水下图像恢复。与现有的图像级过滤方法不同，该框架通过三种基于可靠性的组件来解决未标记数据的监督问题：RCPS利用已标记数据的不确定性统计量来校准伪标签的接受阈值，PPEA根据像素级不确定性对预测结果进行分层聚合，而PRIE则在……条件下增强红色主导区域的功能。

CRediT作者贡献声明
赵忠达：写作——审阅与编辑、写作——初稿撰写、验证、软件实现、项目管理、研究调查、形式分析、概念构思。王海燕：写作——审阅与编辑、写作——初稿撰写、监督、资源协调、方法设计、资金获取、数据整理。王轩：写作——审阅与编辑、写作——初稿撰写、可视化呈现、验证、形式分析、概念构思。

关于写作过程中生成式AI与AI辅助技术的声明
在准备本手稿期间，作者们使用了ChatGPT（OpenAI）来协助优化语言表达并提升文本的清晰度。该生成式AI工具仅用于语言编辑目的，并未用于生成任何科学内容或研究结果，这一做法符合相关指南要求。在使用该工具后，作者们对内容进行了必要的审阅与修改，并对手稿的内容承担全部责任。

利益冲突声明
作者们声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。赵忠达于2020年在中国兰州大学获得学士学位，目前正在中国西安西北工业大学海洋科学与技术学院攻读信息与通信工程专业的博士学位。他的研究兴趣为水下图像恢复与语义分割。

赵忠达|王海燕|王轩
中国陕西省西安市西北工业大学海洋声学与感知重点实验室，邮编710072