物理先验引导的Mamba-Transformer网络用于水下单目深度估计

《Neurocomputing》：Physics prior-guided mamba–transformer network for underwater monocular depth estimation

　　**摘要**

水下单目深度估计仍然具有挑战性，因为介质依赖的图像退化（包括波长依赖的衰减、散射、低对比度和模糊边界）削弱了与深度相关的视觉线索，并降低了跨域鲁棒性。为了减轻退化引起的线索损坏和有限的跨域鲁棒性，我们提出了一种基于物理先验的Mamba-Transformer框架用于水下单目深度估计。该框架引入了水下物理先验指导（UPPG）模块，该模块从水下成像特性中提取与传输相关的退化线索，并将其注入到跨层次特征融合中。这些线索为退化区域和结构边界提供了基于物理的指导。为了进一步在物理先验指导下增强特征表示，我们引入了全局-状态特征交互（GSFI）模块。GSFI将基于Transformer的 cross-协方差注意力（XCA）与基于VMamba的长距离空间依赖性建模相结合。XCA分支建模全局跨通道相关性，而VMamba分支通过线性复杂度的状态空间建模捕捉长距离空间依赖性。两者结合，使得低对比度、弱纹理和模糊边界区域的特征表示更加鲁棒。在解码器中进一步采用了基于bin的回归策略，以稳定连续深度预测。与评估方法相比，所提出的方法在USOD10 K数据集上取得了最佳的RMSE和评分，分别为0.1149和0.5281。在Atlantis数据集上的跨域评估进一步证明了所提出框架在域变换下的有效性和鲁棒性。

**引言**

水下单目深度估计（UMDE）是自主水下导航、水下目标感知、海洋环境监测和三维场景重建的基本技术[26] [30] [56] [58]。与依赖立体视觉或主动传感器的深度获取方法不同，单目深度估计仅从单个RGB图像中推断场景几何结构，使其适用于复杂水下环境中的低成本和灵活部署[9] [15] [42]。然而，水下图像经常受到光吸收、前后散射、颜色偏移和悬浮颗粒的影响而退化[2] [8] [22] [32]。这些因素导致低对比度、边界模糊和空间非均匀退化[25] [31]，使得可靠的深度恢复特别具有挑战性。图1展示了UMDE任务，并展示了退化水下场景中的代表性深度预测。

近年来，基于卷积神经网络（CNN）的单目深度估计算法取得了显著进展[18] [24]。这些方法大多采用编码器-解码器架构，并使用多尺度特征融合和跳跃连接来加强局部结构表示[38]。然而，卷积操作的有限感受野限制了它们捕捉长距离空间依赖性的能力，这可能导致远距离区域的深度误差累积并削弱场景结构的连续性[36]。在水下场景中，这种限制更加明显，因为低对比度和非均匀退化经常掩盖了局部视觉线索。为了增强全局上下文建模，Transformer架构被广泛应用于单目深度估计[6] [35]。通过使用自注意力，Transformer能够捕捉长距离空间关系并改善全局语义表示。然而，基于Transformer的方法在处理高分辨率图像时通常会导致较高的计算成本，而且在保持局部纹理和边缘细节方面可能效果不佳[29] [46]。为了更好地平衡全局建模和计算效率，基于状态空间模型（SSM）的视觉架构最近受到了越来越多的关注[13]。其中，VMamba模型以线性计算复杂度建模长距离依赖性，同时保持全局感知[28]。这为有效的视觉特征建模提供了一个有前途的方向。

尽管单目深度估计取得了进展，但水下场景尚未得到充分探索。大多数现有的水下单目深度估计方法基于卷积网络或Transformer架构[27] [44]。相比之下，基于视觉状态空间的模型，特别是基于Mamba的架构，在UMDE中的应用受到限制。Mamba在图像分类、对象检测和语义分割等视觉任务中显示出强大的长距离依赖性建模和计算效率[16]。然而，其在处理复杂水下退化方面的潜力尚未得到充分研究。特别是，联合建模局部细节、全局上下文和长距离空间依赖性仍然具有挑战性。最近的学习型UMDE方法还将受物理启发的先验（如衰减感知表示、传输图和光学退化线索）纳入深度估计网络[44] [45] [49]。这些先验通常作为输入表示或在编码和解码期间作为指导引入。它们通过轻量级的通道级注意力来细化编码器-解码器跳跃特征的使用尚未得到充分探索。因此，一个重要的挑战是将Transformer和Mamba的互补优势结合起来，同时结合水下物理先验，在复杂退化场景中进行深度恢复。

为了解决这些问题，本文提出了一种基于物理先验的Mamba-Transformer框架用于水下单目深度估计。整个框架包括三个阶段：编码、特征融合和解码。在编码阶段，全局-状态特征交互（GSFI）机制将基于Transformer的cross-协方差注意力（XCA）与基于VMamba的长距离空间依赖性建模相结合。XCA分支建模全局跨通道相关性，而VMamba分支以线性复杂性捕捉长距离空间依赖性。结合基于卷积的局部特征提取，GSFI表示局部纹理、全局相关性和长距离依赖性。在跨层次特征融合过程中，水下物理先验指导（UPPG）模块对水下图像中的光衰减和散射进行建模，并为特征交互提供基于物理的指导。在解码阶段，采用基于bin的深度回归策略[4]来提高深度预测的比例一致性和稳定性。

我们通过在USOD10 K数据集上进行监督训练和测试来评估所提出的方法，并在Atlantis数据集上进行了进一步的跨域泛化实验[54]。实验结果表明，我们的方法在多个评估指标上表现出竞争力。在USOD10 K数据集上，它取得了最佳的RMSE和严格阈值准确率，同时在其余指标上也保持了竞争力。在Atlantis数据集上，我们的方法在所有评估指标上均优于比较方法，证明了所提出框架在未见过的水下环境中的泛化能力和鲁棒性。复杂性分析进一步表明，我们的方法在准确性和效率之间取得了良好的平衡，同时计算复杂度适中。

**主要内容**

本文的主要贡献如下：
- 我们引入了水下物理先验指导（UPPG）模块，该模块从传输相关线索中提取先验，以指导跨层次特征融合，增强水下深度估计的退化感知结构表示。
- 我们提出了全局-状态特征交互（GSFI）模块，该模块结合了cross-协方差注意力（XCA）和VMamba，共同建模全局通道相关性和长距离空间依赖性，从而增强退化水下场景中的特征表示。
- 我们开发了一种基于物理先验的Mamba-Transformer框架用于水下单目深度估计，并在USOD10 K和Atlantis数据集上进行了评估，证明了其在领域内的竞争力和跨域泛化能力。

**章节摘要**

**单目深度估计**

单目深度估计（MDE）旨在从单个RGB图像中恢复密集的像素级深度信息。它是3D计算机视觉中的基本任务，在自动驾驶、机器人导航和增强现实等领域发挥着重要作用[7]。与立体视觉或主动感测方法相比，单目深度估计仅使用单个图像来重建场景几何结构，具有低成本、灵活部署和数据收集方便等优点[9] [15] [42]。

**整体框架**

我们提出了一种基于物理先验的Mamba-Transformer编码器-解码器框架用于水下单目深度估计，如图2所示。该框架仅使用Lite-Mono[57]的编码器和解码器架构，而不使用其原始的自监督训练方案，并结合了VMamba[28]和Transformer[43]以进行互补的特征建模。卷积主干和分层混合编码器提取多尺度特征。GSFI模块结合了cross-协方差注意力（XCA）。

**实验设置**

所提出的模型在USOD10 K数据集[20]上进行监督训练。它在领域内和跨领域基准测试中进行了评估。为了提高训练稳定性和收敛效率，编码器主干使用公开可用的Lite-Mono预训练权重[57]进行初始化。批量大小设置为12，模型训练50个周期。我们使用AdamW优化器，初始学习率为。使用余弦退火计划来调整。

**结论**

在本文中，我们提出了一种基于物理先验的Mamba-Transformer框架用于水下单目深度估计。所提出的方法将水下物理先验与互补的特征建模相结合，其中UPPG从传输相关线索中引入了退化感知指导，而GSFI结合了基于XCA的全局跨通道相关性建模和基于VMamba的长距离空间依赖性建模。这种设计使网络能够增强深度感知特征。

**作者贡献声明**

高秀静：撰写-审阅与编辑、监督、方法论、资金获取、概念化。
孙瑞萍：撰写-原始草案、方法论、调查、形式分析。
张碧文：验证、调查、数据策划。
谢永锋：验证、调查。
曾苏：验证、调查。
史慧凡：调查、数据策划。
黄洪武：监督、资金获取。
林帆超：撰写-审阅与编辑、监督、项目管理。

**利益冲突声明**

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

**致谢**

本研究部分得到了福建省科技厅重大专项项目（2023HZ025003）、水下图像增强和目标识别技术发展（GY-Z23271）、福建省自然科学基金（2024J08217）以及国家自然科学基金（62501156）的支持。高秀静于2014年获得东京海洋科技大学博士学位，此前曾在东京海洋科技大学、日本先进智能移动有限公司和中国厦门工业大学工作。他目前是福建工业大学智能海洋与工程学院的教授，研究兴趣包括水下机器人技术、水下图像处理、无人船只系统等。

**作者列表**

高秀静 | 孙瑞萍 | 张碧文 | 谢永锋 | 曾苏 | 史慧凡 | 黄洪武 | 林帆超
福建工业大学智能海洋与工程学院，中国福州，350118