《Engineering Applications of Artificial Intelligence》：Depth-aware and continuous edge curves for large-view underwater image reconstruction
编辑推荐：
水下视觉重建方法与数据集构建；基于深度估计的图像恢复；特征提取与结构一致性优化；多尺度图像拼接；DRFS框架
周景春|刘倩|张德?|林子凡|Deepak Kumar Jain|Dragan Pamucar|Vladimir Simic
中国辽宁省大连市大连海事大学信息科学与技术学院
摘要
在透视重建中，几何特征的一致性是一个主要挑战，尤其是在复杂的水下环境中，现有方法难以利用线性边缘特征。为了解决这个问题，我们提出了一种新的深度恢复特征拼接（DRFS）方法，该方法整合了四个核心流程：深度估计（D流程）、图像恢复（R流程）、特征提取（F流程）和图像拼接（S流程），以重建出自然外观的大视角水下图像。我们的方法利用了无监督深度学习技术，包括单目深度估计v2（Monodepth2），并结合领域先验，在不同的光照条件下估计出准确的深度。图像恢复流程通过复杂的水下成像模型增强图像对比度并纠正颜色失真。特征提取流程基于深度引导的边缘曲线构建大规模几何结构，解决了水下场景中直线不一致或缺失的问题。拼接流程通过网格对齐、全局相似性和基于金字塔的图像融合来保持结构一致性。实验结果表明，我们的方法能够生成视觉上吸引人且几何保真度较高的重建结果。这些能力使其非常适合应用于水下机器人、智能海洋感知、自主探索、环境监测和大规模海洋测绘等人工智能领域。
引言
水下成像技术对于探索、理解和保护海洋的奥秘至关重要（Jian等人，2019年；Zhou等人，2025年）。尽管无人潜水器和水下车辆等工具能够直接观察海底景观、海洋生物和海底资源，但它们经常面临独特的挑战。由于海洋环境的复杂性，大多数水下成像设备只能进行近距离拍摄，限制了捕捉大型水下目标全景的能力（Wang等人，2023a；Zhou等人，2024b）。此外，水下图像经常受到质量下降的影响，如雾效应和颜色失真，这是由于光线在水中的散射和吸收造成的（Li等人，2022a）。
为了克服这些挑战，我们提出了一种基于深度信息的深度恢复特征拼接（DRFS）方法来增强水下视觉重建。该方法显著提高了大视角水下图像中大型目标及其周围环境的清晰度和完整性，促进了机器图像分割和大型物体检测的发展。通过对多个数据集的广泛实验，我们证明了DRFS方法在色彩鲜艳度、细节丰富度和自然结构方面优于现有方法。本文的主要贡献如下。
我们提出了一种水下视觉重建方法和一个与大气重建不同的水下视觉重建数据集。具体来说，该方法包括四个步骤：深度估计（D流程）、图像恢复（R流程）、特征提取（F流程）和图像拼接（S流程）。通过这种方式，我们可以将多个单独的水下场景组合起来，重建出一个清晰、宽角度的水下场景。
在D流程中，结合了先验知识和无监督方法来估计图像深度信息，以解决由高亮区域或纯色物体引起的单通道先验误差。由于全局背景光与像素强度的百分比随距离衰减，因此实现了相对深度到绝对深度的转换。
在R流程中，基于自适应暗像素先验和补偿因子进行图像恢复，以解决水下图像的雾效应和颜色偏差问题。该方法通过考虑水下成像与大气成像之间的差异，引入了一个复杂的成像模型，从而获得更具视觉吸引力的图像。
在F流程中，深度信息被用于预处理，以调整随机样本一致性算法的输入，提高算法的效率。通过观察水下图像与大气图像之间的差异，利用图像中物体的连续边缘作为几何特征，避免在复杂场景中几何结构的失真。
在S流程中，通过保持三角形结构生成结构保护项，并通过网格对齐和全局相似性构建能量函数，引导网格变形，以获得尽可能对齐和自然的最优解。此外，通过金字塔在不同空间分辨率下进行多尺度融合，以获得过渡自然的无缝图像。
本文的其余部分组织如下：第2节简要回顾了水下图像增强和图像拼接的相关工作。第3节详细描述了所提出的方法。第4节展示了大量实验，证明了我们方法的优势。第5节讨论了所提出方法的优点和不足以及未来的研究方向。
相关研究
相关工作
涉水图像增强技术已成为近期研究的热点，旨在处理涉水图像中普遍存在的颜色偏移和模糊问题。现有的增强技术大致可以分为两类：基于物理模型的技术和基于非物理模型的技术。
基于物理模型的技术将图像恢复视为一个问题，通过人工构建先验知识来解决物理成像模型中的多个未知量。
提出的方法
本研究提出了一种基于深度信息的水下视觉重建方法。该方法能够重建出具有自然可见度的大视角水下图像。该方法包括四个部分：深度估计（D流程）、图像恢复（R流程）、特征提取（F流程）和图像拼接（S流程）。具体来说，D流程为后续过程提供了必要的深度信息。R流程解决了雾效应和低对比度等问题。
实验与分析
在本节中，我们使用提出的水下视觉重建数据集和其他水下数据集进行了多项实验，以证明我们方法的有效性。首先，我们从主观和客观两个方面比较了我们方法的各个部分与其他类似方法，证明了我们方法的优越性。随后，通过消融研究讨论了其关键部分对性能的影响。最后，进行了一系列应用测试。
结论
在本文中，我们提出了一种基于深度信息的水下视觉重建方法（DRFS），通过整合成像模型和几何结构保持机制，将多张图像组合起来，重建出大视角的水下图像。我们的方法包括四个流程：D流程、R流程、F流程和S流程，这些流程紧密耦合并依次执行。主观实验结果表明，DRFS方法在各种水下环境中表现稳健。
CRediT作者贡献声明
周景春：撰写——审稿与编辑、撰写——初稿、可视化、验证、监督、软件、资源、项目管理、方法论、调查、资金获取、正式分析、数据管理、概念化。刘倩：撰写——审稿与编辑、撰写——初稿、可视化、验证、软件、资源、项目管理、方法论、数据管理、概念化。张德?：撰写——审稿与编辑、撰写——初稿
利益冲突声明
作者声明以下可能的财务利益/个人关系可能被视为潜在的利益冲突：周景春报告称获得了中国国家自然科学基金的支持。如果还有其他作者，他们声明没有已知的可能影响本文工作的财务利益或个人关系。
致谢
本工作部分得到了中国国家自然科学基金（编号：62301105）、中央高校基本科研业务费（编号：3132025268）、辽宁省教育厅基本科研业务费（编号：LJ212510151021）以及大连海事大学高性能计算中心的支持。
