PhySR-net：基于物理引导的双分支架构的水下图像子空间修复网络

《Neurocomputing》：PhySR-net: Physics-guided subspace restoration network for underwater image enhancement via dual-branch architecture

　　**摘要要点：**- 频率解耦的物理反演可防止严重噪声放大。- 方差抑制注意力显式地滤除局部水下后向散射。- 双流网络通过自适应调制处理空间不均匀退化。- 该混合框架实现了有效可靠的水下图像增强。---**引言**水下成像在广泛的科学和工业应用中发挥着不可替代的作用，涵盖海洋探测、自主水下航行器（AUV）以及生物监测等领域。然而，在水下环境中获取的图像往往遭受严重的质量退化，这主要归因于水的固有光学特性[1]。水下光的传播受两个基本物理机制支配：波长依赖性吸收和散射[2]。如我们的统计分析所示（图1），红波长（600–700 nm）在数米内迅速衰减，导致特征性的青绿色偏[3]。与此同时，悬浮的矿物和有机颗粒引发前向和后向散射，这会压缩图像的动态范围，降低对比度，并产生显著的雾状眩光[4]。近年来，水下图像增强（UIE）领域的进展大致可分为两种范式：基于物理模型的恢复和数据驱动学习。基于物理的方法通常通过估计透射率和后向散射来反演水下图像形成模型（UIFM），从而恢复潜在的清晰图像。尽管这些方法具有物理可解释性，但它们严重依赖于手工设计的先验，例如下水暗通道先验（UDCP）[5]，这在非均匀光照或不同水质条件下往往不可靠。相比之下，深度学习方法，特别是基于卷积神经网络（CNN）和生成对抗网络（GAN）的方法[6]，在从退化水下图像到视觉增强图像的直接映射学习方面展现了强大的能力。然而，纯数据驱动的模型通常缺乏显式的物理约束，导致可解释性有限并偶尔产生伪影。此外，标准注意力机制[7]、[8]可能会错误地将高频颗粒干扰视为显著结构内容，从而在增强过程中放大"雪花状"噪声。为应对这些基本挑战，我们提出了PhySR-Net（物理引导子空间恢复网络），这是一个专为弥合光学建模与分层神经网络学习之间差距而设计的两阶段框架。我们的工作受到以下观察的启发：水下退化具有空间异质性和高噪声强度，因此需要在显式物理约束和抗干扰特征学习之间进行协同。在第一阶段，我们设计了一个物理信息粗估计器（PICE），将退化过程分解为可解释的结构、透射和后向散射成分。在这一阶段中，我们引入了多尺度子空间恢复块（MSRB），采用可学习的低秩矩阵分解来抑制特征流形中的噪声。与传统注意力机制不同，我们提出的方差抑制注意力（VSA）机制利用负反馈，基于统计离散度对噪声主导的通道施加惩罚，从而避免散射伪影的放大。在第二阶段，一个集成了空间自适应特征调制（SAFM）的双条件细化模块（DCRM），根据局部退化的严重程度动态调整恢复强度。本文的主要贡献有四点：1. **分层子空间恢复（HSR）**：我们开发了一种HSR方案，将MSRB整合到六个编码器尺度上。通过利用低秩分解，该架构显式地将结构信号与复杂噪声解耦，确保恢复过程严格受结构完整性引导。2. **方差抑制注意力（VSA）**：引入了一种新颖的VSA机制，以有效消除浑浊环境中的随机伪影。具体而言，VSA采用显式的减法惩罚来修剪具有高统计方差的特征通道，从而去除局部后向散射并提取具有锐利边缘完整性的无噪声表示。3. **物理-神经混合架构**：我们提出PICE以优雅地弥合数据驱动学习与经典光学模型之间的鸿沟。通过执行带有双阈值约束的频率解耦物理反演，PICE从根本上防止了严重噪声放大，随后利用YCbCr域融合来校正全局色偏。4. **最先进的鲁棒性**：我们进行了全面的实验和真实世界测试来验证PhySR-Net。结果表明，我们的网络显著优于现有方法，在多样且具挑战性的水下场景中提供视觉忠实和物理合理的恢复，展现出卓越的鲁棒性。本文其余部分组织如下：第2节回顾了水下图像增强领域的相关工作。第3节介绍了所提出的PhySR-Net架构和训练策略。第4节描述了实验设置和比较结果。第5节总结了本文并讨论了未来方向。---**章节摘要****相关工作**本节阐述了基于物理恢复的基础，探讨了深度学习骨干网络从CNN向Transformer的转变，并讨论了混合物理引导框架中的协同作用以及注意力机制在确保噪声鲁棒性方面的作用。---**概述**PhySR-Net的整体架构如图2所示。该框架由两个阶段组成：PICE用于初始物理约束恢复，DCRM用于细粒度细节恢复。通过将物理建模与分层神经网络表示学习相结合，PhySR-Net在物理合理性与细节保留之间取得了更好的平衡，同时抑制了传统注意力机制通常引入的噪声放大问题。一个定制的……---**实验**本节对PhySR-Net进行了严格的评估，包括定性可视化和与最先进（SOTA）水下增强技术的定量基准测试。我们首先概述实验框架，然后详细分析结果——主要和次要最优分数分别用红色和蓝色标注。为了确定物理引导组件MSRB、VSA以及我们特定融合/估计策略的各自影响，我们……---**结论**在本工作中，我们提出了PhySR-Net，一个将显式光学建模与分层特征学习相结合的水下图像增强物理引导子空间恢复框架。PICE估计空间变化的逐通道透射率和背景光图以提供物理引导恢复，而MSRB执行低秩子空间建模和多尺度特征提取以促进有效的图像恢复。在MSRB中，VSA抑制噪声敏感的通道……---**CRediT作者贡献声明****李伟（Wei Li）**：写作—审稿与编辑，写作—初稿撰写。**谢海燕（Haiyan Xie）**：指导。**刘天天（TianTian Liu）**：指导。**周慧雨（Huiyu Zhou）**：指导。---**利益冲突声明**作者声明他们没有已知的可能影响本文所报告工作的财务利益冲突或个人关系。---**致谢**本工作部分得到辽宁省教育厅基础科学研究项目（项目编号984250013）的资助，以及部分得到辽宁省科技计划联合项目（重点研发计划项目，项目编号2025JH2/101800002）的资助。---**作者简介****李伟（Wei Li）** 目前在大连海事大学攻读硕士学位。他目前的研究兴趣是计算机视觉和计算机智能。---李伟 | 谢海燕 | 刘天天 | 周慧雨