PTFormer：基于渐进式传输先验引导和频域稀疏注意力的水下图像增强

《Expert Systems with Applications》：PTFormer: Underwater Image Enhancement via Progressive Transmission Prior Guidance and Frequency-Sparse Attention

　　

摘要
水下图像通常因波长相关的吸收和散射而遭受颜色失真、可见度降低和细节退化。从这种退化的观测中恢复清晰图像是一个高度病态的问题，因此需要有效的先验指导。然而，现有的基于深度学习的水下图像增强（UIE）方法通常只在网络的少数几个位置注入先验，或依赖于固定的融合结构，导致跨尺度指导不足以及与多级特征对齐较弱。为了解决这个问题，我们提出了 PTFormer，一个渐进式先验引导的 U-Net Transformer 框架，它在编码器 - 解码器层级中注入与退化相关的先验。PTFormer 从两个互补的角度提高增强性能：物理引导的先验建模和频率特征学习。首先，开发了一个透射率先验生成器（TPG），通过结合水下成像先验与动态核注意力来估计退化感知的透射率先验图，从而为恢复提供深度相关和空间自适应的线索。其次，引入了一种稀疏先验 Transformer 块（SPTB），以联合执行高效的频率差异化表示学习和自适应先验引导细化。在该块内，全局注意力应用于低频分量以捕获全局结构依赖，而高频分量则通过轻量级局部操作建模以保留边缘和纹理细节。进一步引入了一种阶段感知的先验融合策略，以实现先验信息与不同网络深度处特征之间的自适应对齐和有效融合。大量实验表明，PTFormer 在定量和定性比较中始终优于最新的先进方法。此外，PTFormer 在性能和效率之间取得了有利的权衡，表现出强大的跨数据集泛化能力，并产生了更接近真值图像的特征分布和 RGB 统计量。代码可见于 https://github.com/sunyinbang/PTFormer。

引言
随着海洋观测和水下检查需求的增长，自主水下航行器（AUV）和遥控水下装置（ROV）正被广泛应用于海洋监测、资源勘探和基础设施检查。由于视觉感知是水下智能系统感知环境的主要方式，下游视觉任务的性能高度依赖于图像质量。然而，与陆上成像相比，水下成像因水的光学传播特性复杂而本质上更具挑战性。由于水下光传播过程中的波长相关吸收和散射，捕获的图像通常表现出亮度衰减、颜色失真、对比度退化以及边缘模糊（Akkaynak, Treibitz, Shlesinger et al., 2017）。这些退化不仅降低了视觉质量，还损害了下游高级视觉任务，例如下水物体检测（Xu, Zhang, Song et al., 2023）、图像分类（Mittal, Srivastava, & Jayanth, 2022）和语义分割（Islam et al., 2020a）。因此，水下图像增强（UIE）在提高视觉质量和增强下游水下视觉任务的可靠性方面发挥着至关重要的作用（Zhou, Liu, Jiang et al., 2023）。

传统方法通过利用成像模型、先验知识或手工制作的图像处理策略来增强水下图像（?elebi, Ertürk, 2012, Fu, Zhuang, Huang, et al., 2014, Peng, Cosman, 2017），因此具有强大的可解释性。然而，光照、水型以及悬浮颗粒的复杂变化往往违反其假设，使其依赖于手动调整的超参数，并限制了其适应真实水下场景的能力。相比之下，基于深度学习的方法由于其强大的非线性表示能力而取得了优异的 UIE 性能。尽管如此，有效的 UIE 应由水下特定的退化特征引导，而不是通用的图像恢复架构。水下退化源于波长相关的吸收、散射和不均匀光照，通常以空间变化的透射率为特征。这些因素产生了全局失真和局部退化，包括颜色偏移、光照不平衡、对比度衰减、边缘模糊和可见度降低。因此，UIE 需要全局上下文建模以实现一致的颜色和结构恢复，以及局部细节恢复以保留边缘和纹理。此外，由于水下退化是频率相关的，其中低频分量主要反映全局颜色偏移和光照分布，而高频分量对应于边缘、纹理和局部结构（Zhao, Dong, Cai, & Wang, 2026），统一处理所有频率分量对于同时实现准确的全局校正和有效的局部细节恢复是不够的。

除了特征表示外，从单个退化的水下观测中恢复清晰图像是一个病态逆问题。纳入与水下成像机制一致的物理有意义的先验可以改善可解释性和恢复稳定性。最近的 UIE 方法使用了物理先验，例如透射率图（Li, Mi, Wang, et al., 2024, Mei, Li, Liu, et al., 2025, Zhao, Dong, Cai, Wang, 2026）或深度图（Huang, Wang, Xu et al., 2025），来引导网络学习。然而，大多数先验引导的方法仅在有限的位置注入先验，例如在主干网络之前（Zhao et al., 2026）、在瓶颈处（Huang et al., 2025）或在主干网络之后（Zhao, Cai, Dong et al., 2024），如图 1(a) 所示。这种单尺度注入使得退化线索与多尺度特征难以对齐。虽然一些方法将先验嵌入到内部块中，并通过同步上采样或下采样保持尺度一致性（Li et al., 2024），如图 1(b) 所示，但它们主要实现分辨率级别的匹配，缺乏针对不同语义特性的特征的自适应融合。在 UIE 中，浅层特征更多地与局部颜色响应、边缘和纹理相关，而深层特征编码了更抽象的结构和退化信息。因此，物理先验与多尺度特征之间的自适应对齐和阶段感知融合仍然是一个挑战。受此启发，我们的渐进式先验注入策略采用了特定的阶段融合结构，并通过专用的先验分支不断更新先验表示，如图 1(c) 所示。

为了解决这些挑战，我们提出了 PTFormer，一种用于 UIE 的渐进式物理引导 U-Net Transformer 框架。PTFormer 从两个互补的角度改进恢复：频率差异化建模和渐进式多尺度先验引导。其主干网络包含五个阶段的堆叠稀疏先验 Transformer 块（SPTB），每个块由一个频率稀疏自注意力（FSSA）模块和一个渐进式先验前馈网络（PPFN）组成。具体来说，FSSA 使用拉普拉斯金字塔将特征分解为低频结构分量和多尺度高频残差分，并对它们应用差异化建模。通道级自注意力（Zamir, Arora, Khan et al., 2022）用于低频分量以捕获全局依赖并增强颜色和结构一致性，而基于拉普拉斯金字塔的局部增强（Zhao et al., 2024）应用于高频分量以恢复边缘和纹理。因此，FSSA 在降低计算成本的同时平衡了全局建模和局部细节恢复。

对于先验生成，我们开发了一个物理引导的透射率先验生成器（TPG），通过整合水下成像模型（Jaffe, 1990, McGlamery, 1980）、暗通道先验、红通道补偿、导向滤波和动态核注意力来估计退化感知的透射率图。对于先验引导，PPFN 结合自适应特征门控和阶段感知先验融合策略，以匹配不同网络深度处的不同感受野、语义水平和结构表示。具体来说，在前两个阶段使用直接先验 - 特征连接以保留浅层细节，在第三个阶段采用可变形注意力（Xia, Pan, Song et al., 2022）进行自适应先验 - 特征对齐，并在第四和第五阶段引入基于小波的边缘融合以增强高级结构重建。总体而言，PTFormer 取得了有利的性能 - 效率权衡，表现出强大的跨数据集泛化能力，并产生了更接近真值图像的统计分布，如图 1(d)-(f) 所示。

本文的主要贡献总结如下：
•我们提出了 PTFormer，一种用于水下图像增强的渐进式物理引导 U-Net Transformer 框架，该框架集成了频率差异化建模和自适应多尺度先验引导。
•我们开发了一个透射率先验生成器（TPG），它结合了暗通道先验、红通道补偿、导向滤波和动态核注意力，以产生用于鲁棒水下恢复的退化感知透射率先验。
•我们设计了一个具有频率稀疏自注意力（FSSA）的稀疏先验 Transformer 块（SPTB），它执行频率分解并对低频和高频分量应用差异化建模，以实现全局校正和局部细节恢复的联合。
•我们引入了一个具有阶段感知先验融合的渐进式先验前馈网络（PPFN），实现了退化先验与跨网络阶段的多尺度特征之间的自适应对齐和有效融合。

章节片段
传统方法
传统水下图像增强（UIE）方法可以大致分为非物理方法和基于物理模型的方法。非物理方法通过经典图像处理或融合策略（如直方图均衡化（Abdullah-Al-Wadud, Kabir, Dewan, et al., 2007, Kurinjimalar, Pradeep, Harikrishnan, 2024, Stark, 2000）和图像融合（Ancuti, Ancuti, Haber, et al., 2012, Ancuti，

整体架构
如图 2 所示，PTFormer 由一个物理引导的先验生成分支和一个五阶段 U-Net 主干网络组成。给定一个退化的水下图像 I，先验分支首先使用具有红通道补偿的暗通道先验估计一个单通道透射率图，随后通过动态核注意力对其进行细化以获得初始透射率先验 T0。在向前传播过程中，T0 提供初始的退化感知指导，而 T1-T4 表示逐渐

数据集
我们在 UIEB（Li, Guo, Ren et al., 2019a）和 LSUI（Peng et al., 2023）上训练和评估 PTFormer，并在 C60（Li et al., 2019a）、U45（Li, Li, & Wang, 2019b）、RUIE（Liu, Fan, Zhu, Hou, & Luo, 2020）、EUVP（Islam, Xia, & Sattar, 2020c）和 UFO（Islam, Luo, & Sattar, 2020b）上测试其泛化能力。对于包含 890 对图像和 60 张具有挑战性的无配对图像的 UIEB，我们遵循广泛使用的 PUGAN 划分（Cong et al., 2023），使用 800 张配对图像进行训练，90 张进行测试。对于

结论
在本工作中，我们提出了 PTFormer，一种用于水下图像增强的渐进式先验引导 Transformer 框架。PTFormer 结合了三个关键组件：用于物理引导先验估计的透射率先验生成器、用于高效频率差异化特征建模的稀疏先验 Transformer 块，以及用于退化先验与多尺度主干特征之间自适应对齐的阶段感知先验融合策略。在多个基准数据集上的大量实验

CRediT 作者贡献声明
Yinbang Sun：构思，软件，初稿撰写。Fuming Sun：方法论，审校与编辑，监督。Haojie Li：调查，可视化，审校与编辑。

利益冲突声明
作者声明他们没有已知的竞争性经济利益或个人关系可能影响了本论文中报告的工作。

Yinbang Sun|Fuming Sun|Haojie Li