海港环境中车载摄像头的鲁棒自监督单目深度估计

《Neurocomputing》：Robust self-supervised monocular depth estimation for onboard cameras in maritime port environments

　　

## 摘要

时间自监督单目深度估计对于无人水面艇（USV）的自主导航至关重要，因为它能够在无需昂贵真实深度测量的情况下实现深度感知。然而，由于复杂的环境变化和动态水面，该方法在港口环境中的应用仍然极具挑战性。在本文中，我们提出了一种面向结构化海事港口环境的鲁棒深度估计框架。其方法论贡献是一种感知假设的三路监督拓扑结构：仅在晴好天气下使用稳定的近岸支撑进行时间重投影、使用同一索引下的晴好/恶劣特征与深度一致性约束，以及利用单帧当前掩码对恶劣天气深度进行边界约束。该拓扑结构通过物理引导的重光照与天气注入（PGRWI）、域分离模块（DSM）和近岸实例引导的动态特征消除（OIG-DFE）来实现。时间自监督利用相邻的晴好帧，而同一索引下的恶劣观测则通过跨条件特征/深度正则化和单帧边界约束发挥作用。通过在训练过程中利用港口环境的结构特性，所提方法在保持轻量级推理模型的同时提升了稳定性，且无需额外计算开销。在具有复合恶劣因素的真实雾天/雨雾港口序列上的实验表明，在规定的有效点深度和目标船舶距离评估协议下，方法的鲁棒性得到了显著提升，而推理架构与基线方法保持一致。

## 引言

深度估计在自动驾驶和机器人导航中发挥着基础性作用，能够实现对场景的可靠理解和障碍物规避。与陆地应用相比，港口环境中车载相机的深度估计仍然是一个尚未充分探索的领域。特别是，无人水面艇（USV）的深度感知在文献中受到的关注有限。在此类场景中，车载深度估计对安全导航至关重要，但由于海洋环境动态且视觉复杂，面临着独特的挑战。

传统港口环境中的深度估计方法主要依赖立体匹配方法 [1], [2] 和有监督单目方法 [3]。立体系统通常部署在岸基平台上以估计船舶位置，假设固定视角和足够的基线距离。然而，此类配置在无人水面艇（USV）上难以实现，因为相机运动和有限的基线严重限制了其适用性。另一方面，有监督单目方法依赖于密集的真实深度数据用于训练，但由于海面反射弱和传感信号稀疏，在海洋环境中获取这些数据极具挑战性。因此，这些方法并不适用于USV的车载运行。这些局限性促使我们采用自监督方法，后者不需要真实深度数据，在实际部署中提供了更大的灵活性。

时间自监督单目深度估计（SS-MDE）方法因其能够在无需真实深度标注的情况下利用相邻帧之间的自身运动和光度一致性，近年来受到了广泛关注 [4], [5], [6]。得益于这些优势，研究人员开始探索其在海事场景中的应用 [7], [8]。Sun等人 [7] 提出了一种基于SC-SfMLearner [9] 结合多项式拟合的单目深度估计方法，在岸基水面距离估计任务中实现了高精度和稳定性。Muhoviv等人 [8] 构建了一个河面车载数据集，包含图像、深度相机的深度图以及激光雷达测量数据，并在微调后评估了多个预训练深度估计模型，为它们在真实海事环境中的性能提供了有价值的见解。

尽管取得了这些进展，现有时间SS-MDE方法所使用的训练数据通常仅限于晴好天气条件，其中图像视觉质量高，静态近岸区域占比较大，而动态水域占场景的相对较小部分。相比之下，港口环境为车载时间SS-MDE带来了更具挑战性的条件（如图1所示）：（1）图像质量下降：恶劣天气和复杂光照降低了图像清晰度并扭曲了颜色分布，严重削弱了特征提取 [10], [11], [12], [13], [14]。值得注意的是，这些因素在真实海事环境中往往同时发生，导致复合退化效应。（2）动态水面干扰：与陆地场景不同，港口环境以动态水面为主，其外观不断变化，违反了时间SS-MDE的基础——静态世界假设 [15]。大规模非刚性水体运动引入了不可靠的光度信号，从而误导学习过程。这两大因素显著增加了在港口环境中进行鲁棒深度估计的难度。

现有研究试图从不同角度分别应对图像质量下降和动态水面干扰这两个挑战。针对图像质量下降，先前工作 [16], [17], [18], [19], [20], [21], [22], [23], [24], [25], [26], [27], [28], [29], [30], [31] 通过恢复、鲁棒特征学习、跨条件迁移或大规模预训练来处理退化观测。这些研究提供了相关机制，但其报告的设置并未直接刻画本文结构化港口领域所考虑的复合雾/霾、雨和光照条件。在动态场景建模方面，方法如 [5], [15], [32], [33], [34], [35], [36] 使用掩码、运动建模或自适应监督。大多数方法主要面向陆地场景开发，其中运动区域相对局部化且通常为近刚性运动。而港口场景则包含空间上广泛分布的非刚性水体运动和镜面外观变化。在这些条件下，为局部刚性物体开发的运动模型可能无法直接迁移，而广泛掩码可能会减少本就有限的静态监督支撑。

为应对上述局限性，我们提出了一种面向结构化海事港口环境的鲁棒单目深度估计框架，其中静态近岸参考与大规模非刚性水面在多变天气和光照条件下共存。该框架以感知假设的三路监督拓扑结构为核心，根据各条件有效性组织每个训练信号：（1）仅晴好天气的时间路径使用真实相邻晴好帧和稳定的近岸支撑进行姿态估计和目标网格重投影；（2）非时间跨条件路径使用独立生成的同一索引晴好/恶劣对进行特征统计和深度一致性正则化；（3）单帧边界路径将当前近岸掩码与恶劣分支深度解码器输出耦合。为实现这些路径，我们设计了物理引导的重光照与天气注入（PGRWI）模块和域分离模块（DSM）以实现外观鲁棒性，并提出近岸实例引导的动态特征消除（OIG-DFE）模块以抑制非刚性水域带来的不可靠时间监督。三个模块均限于训练阶段；在推理时，仅保留共享的单图像深度编码器和解码器，无需额外模块或输入。

本文的主要贡献总结如下：

- 我们提出了一种感知假设的三路监督拓扑结构，用于结构化海事港口环境中的鲁棒单目深度估计。通过将仅晴好天气时间重投影、同一索引跨条件一致性以及单帧边界正则化按其有效性假设进行分离，该拓扑结构防止将独立合成的恶劣帧和非刚性水域视为有效的时间光度证据，同时在推理时不添加任何辅助模块或输入。
- 为了实现外观鲁棒性，我们在非时间跨条件路径中设计了两个协同模块。PGRWI使用深度和法线控制以及重光照和大气散射先验，为每张晴好训练图像生成一个同一索引的复合恶劣对应帧，而DSM使用正交性、跨条件特征统计对齐和深度一致性来促使所学到的深度表示对天气和光照引起的外观变化不那么敏感，且不假设合成帧间的帧间一致性。
- 为减少大规模非刚性水体运动的干扰，我们提出了OIG-DFE模块。该模块对晴好帧的PoseNet输入进行门控，并将目标网格重投影残差的累加限制在稳定的近岸支撑上；它还通过独立的单帧边界三元约束将当前近岸掩码与恶劣分支深度解码器输出耦合。该设计抑制了水域区域不可靠的时间梯度，同时保持全帧深度输入，在推理时不需要掩码或辅助模块（图2）。

## 感知对图像质量下降的鲁棒性

恶劣天气和光照变化引起的图像质量下降是将计算机视觉系统部署到真实世界环境中的基本障碍。雾、雨和异常光照等环境因素会在视觉观测中引入显著畸变，从而降低下游任务的性能 [10], [11]。这些效应源于复杂的物理过程，包括散射、吸收和反射，改变了图像外观并降低了

## 问题定义

在海事港口环境中，观测到的图像同时受到环境变化和动态水面的影响，而底层场景几何在不同条件下保持一致。这一性质意味着对同一场景的多次观测对应于共享的几何结构，尽管外观发生了变化。

我们将图像形成过程建模为：

其中 表示场景几何， 代表天气和光照等环境因素，而 数据集

### 1）训练集

为训练所提出的模型，我们使用实验用USV在港口环境中采集了一个真实世界海事数据集。数据在泊位区域和沿海区域采集，其中静态近岸结构和动态水域并存。

为构建晴好图像数据集，所有训练序列均在有利天气和光照条件下采集，确保底层几何受环境因素影响最小。此设置提供了

## 结论

在本文中，我们研究了海事港口环境中的鲁棒单目深度估计，其中环境变化和动态水面为自监督方法带来了显著挑战。

为应对这些挑战，我们将训练信号组织为感知假设的三路监督拓扑结构：仅晴好天气的近岸支撑时间重投影、同一索引晴好/恶劣特征与深度一致性，以及单帧当前掩码对恶劣深度边界约束。

**CRediT作者贡献声明**

朱晓宇：撰写–初稿，验证，软件，方法学，概念化。

张晓刚：撰写–审阅与编辑，监督，经费获取。

陈华：监督，项目管理。

胡圣杰：验证，软件。

**声明：生成式人工智能及AI辅助技术在撰写过程中的使用**

在准备本工作期间，作者使用基于GPT的大语言模型来辅助语言润色、语法检查以及提高稿件的可读性。使用此工具后，作者根据需要审阅和编辑了内容，并对已发表文章的内容承担全部责任。

**利益冲突声明**

作者声明不存在可能影响本文所述工作的已知竞争性经济利益或个人关系。

**致谢**

本工作部分由国家自然科学基金（批准号U23A20385）资助。

朱晓宇于2016年获得中国湖南大学车辆工程学士学位，于2018年获得美国斯蒂文斯理工学院机械工程硕士学位，专业方向为机器人学与控制。他目前在湖南大学人工智能与机器人学院攻读博士学位。他的研究兴趣包括开放结构化环境中的三维感知。

**朱晓宇 | 张晓刚 | 陈华 | 胡圣杰**

湖南大学人工智能与机器人学院，湖南长沙麓山路2号，邮编410082