《Ocean Engineering》：Water-VGGT: Leveraging visual geometry and water-optics for robust 3D reconstruction in underwater environments
编辑推荐：
•Water-VGGT：一种基于物理原理的深度学习框架，用于实现可靠的水下3D重建。•WCV：用于实现条件感知调制的物理相关代理参数。•辅助预测模块：包括相机参数预测、密集几何体预测以及跟踪预测，以提高3D重建的可靠性。•Underwater3D-36K：大规模且符合物理规律的水
- •
Water-VGGT：一种基于物理原理的深度学习框架，用于实现可靠的水下3D重建。
- •
WCV：用于实现条件感知调制的物理相关代理参数。
- •
辅助预测模块：包括相机参数预测、密集几何体预测以及跟踪预测，以提高3D重建的可靠性。
- •
Underwater3D-36K：大规模且符合物理规律的水下数据集。
引言
水下3D重建在众多科学（Xu等人，2025）、工业（Liu等人，2025b）以及环境应用领域（Fu等人，2023）中发挥着重要作用，涵盖海洋生物学、考古学、水下勘探以及机器人技术（Petillot等人，2019；Nie等人，2025；Rout等人，2024；Zhao等人，2024）等方面。然而，由于水介质带来的复杂光学畸变，准确进行水下重建依然面临巨大挑战（Jian等人，2021；Lin等人，2025；Ding等人，2023）。相机外壳处的折射、悬浮颗粒的散射以及与波长相关的衰减现象都会严重降低图像质量，同时也违背了传统3D重建方法所依赖的理想针孔模型和清晰可视性的假设。诸如NeuroPump（Guo等人，2025）这类最新研究表明，基于物理原理对折射、吸收和散射现象进行建模，能够提升水下图像的校正效果以及新视角的生成能力。尽管NeuroPump利用神经辐射场技术来生成与视角一致的输出结果，但其主要功能还是图像修复而非直接的3D重建，这促使人们试图将基于物理原理的建模方法扩展到完整的3D重建领域。
传统的3D重建方法，比如运动结构恢复法（SfM）（Schonberger和Frahm，2016；Elflein等人，2025；Nguyen和Kim，2026）、多视图立体视觉法（MVS）（Seitz等人，2006；Huang等人，2025；Cebrián-Robles和Ortega-Casanova，2016）、神经辐射场法（NeRF）（Mildenhall等人，2021；Ming等人，2025；Zhang和Johnson-Roberson，2023）以及3D高斯溅射法（3DGS）（Kerbl等人，2023；Bao等人，2025；Ye等人，2024），都是通过同时估计相机姿态和密集几何结构，从多个2D视图出发来重建3D模型的（Christodoulides等人，2025；Liu等人，2019；Guo等人，2022）。虽然这些方法在空气环境中的表现相当出色，但由于折射、散射和衰减现象的影响，其在水下环境中的性能会大幅下降，而且它们还依赖于一些在能见度较低的水下环境中很难满足的几何假设（Zou等人，2024）。
近期，以Transformer为基础的框架，如VGGT（视觉几何基础Transformer）（Wang等人，2025c；Liu等人，2025a；Wang等人，2025a），在航空和陆地图像的多视图3D重建领域取得了显著进展。VGGT能够通过基于图像标记的密集注意力机制，无需依赖任何显式的几何先验，即可同时预测相机姿态、深度图以及点云数据。不过，由于VGGT主要是基于空气环境下的数据集训练的，当应用于水下场景时，由于折射、衰减和散射等因素导致的领域差异较大，其性能会显著下降。
为了解决这些难题，我们提出了Water-VGGT，这是一种专为水下3D重建而设计的深度学习框架，如图1所示。该方法将水下成像过程中的各种退化现象编码为可学习的条件表示形式，并将其融入到重建流程之中。具体而言，我们构建了一个水况向量（WCV），用于编码与折射效应、能见度下降、散射强度以及与波长相关的衰减现象相关的、具有物理关联的条件变量和潜在条件代理参数。这种条件表示形式被嵌入到高维空间中，然后通过特征级线性调制机制（FiLM）（Perez等人，2018）以及条件注意力偏差，被引入到Transformer框架中，从而使得网络能够在不同的水下环境中实现条件感知的特征交互和几何推理。
此外，Water-VGGT还包含了一组辅助的条件感知预测模块，用于在严重的光学退化情况下，实现相机参数估计、密集几何体预测以及跨视图跟踪功能。相机参数预测模块会依据与界面相关的几何和光学特征信息来进行预测，密集几何体预测模块则会针对能见度较低的区域进行不确定性估计，而跟踪模块则引入了一种运动感知的掩码机制，以此减少由悬浮颗粒以及微小的动态干扰所导致的不可靠对应关系所带来的影响。
我们还构建了一个大规模的合成数据集——Underwater3D-36K，该数据集包含1000个场景，每个场景都有36张多视图水下图像、对应的深度图、参考RGB图像以及3D网格模型。所有图像都是通过一个符合物理规律的水下渲染流程生成的，该流程能够模拟折射、散射和衰减现象，因此可以为模型的训练和评估提供可靠的基准。
本研究的核心目标是通过基于物理关联的水况条件感知表示学习方法，将大规模几何基础模型扩展到水下多视图3D重建领域。我们的核心贡献在于提出了WCV这一表示形式，它能够统一表示水下光学退化现象，从而使得网络能够在不同的水下环境中实现条件感知的几何推理。基于这种表示形式，Water-VGGT将水下环境相关的条件信息整合到了特征聚合、几何预测以及不确定性估计等各个环节中，形成了一个统一的重建框架。因此，我们所提出的方法主要侧重于针对水下环境的优化，以及为大规模几何基础模型实现基于物理原理的重建。
- •
我们提出了Water-VGGT，这是一种基于物理原理的深度学习框架，用于实现可靠的水下3D重建。
- •
我们提出了水况向量，用于编码与水下图像形成过程相关的、具有物理关联的条件变量和潜在条件代理参数，从而使Transformer框架能够实现条件感知的特征调制。
- •
我们在复杂的水下环境下，加入了辅助的条件感知预测模块，用于实现相机参数、密集几何体以及跟踪结果的预测。
- •
我们构建了大规模且符合物理规律的Underwater3D-36K数据集，用于水下3D重建的训练和性能评估。
- •
通过在合成数据集以及真实水下数据集上进行的大量实验，我们证明了所提出的方法相比现有方法，在几何精度和稳定性方面都具有更优异的表现。
章节节选
视觉几何基础Transformer
深度学习的最新发展极大地提升了3D场景重建的性能，有效解决了传统几何方法的诸多局限性（Ma和Liu，2018）。其中一项重要的成果就是VGGT（视觉几何基础Transformer）（Wang等人，2025c），这是一种前馈型网络，能够从单视图或多视图图像中同时估计相机参数、深度图以及密集点云数据。与那些为特定任务设计的模型不同，VGGT将多种3D感知任务整合到了同一个框架之中，从而实现了
Water-VGGT
Water-VGGT是在原有VGGT架构的基础上进行针对性改进而形成的，它通过引入特定的扩展机制，来应对水下环境中的复杂光学退化问题。其核心思想是将基于物理关联的水况条件表示学习方法与条件调制机制相结合，从而使网络能够在不同的水下场景中具备更强的鲁棒性和泛化能力。总体而言，Water-VGGT由三个部分组成：水况向量构建层、
定量分析
我们在SeaThru-NeRF和Underwater3D-36K这两个数据集上，对Water-VGGT与各类基线方法进行了系统的定量比较，相关结果汇总在表1中。
由于Water-VGGT的设计目标是为符合物理规律的水下3D重建服务，因此它的目标是即使在受到水环境因素影响而出现光学退化的情况下，也能恢复出在几何结构和光谱特性上都合理的场景结构，而不仅仅是简单地重现经过退化处理后的水下图像外观。这与传统的水下图像处理方法类似
结论
在本研究中，我们提出了Water-VGGT，这是一种基于Transformer框架的深度学习模型，专门用于实现水下环境中的可靠3D重建。通过将基于物理关联的水况条件表示学习方法融入到VGGT架构中，并结合特征级线性调制机制以及条件注意力偏差所构成的多标记条件调节机制，该网络能够动态适应各种不同的水下环境条件。再加上专门的相机参数预测、密集几何体重建以及运动感知跟踪模块，Water-VGGT进一步提升了其在复杂水下环境中的重建稳定性
CRediT作者贡献说明
刘一帆：负责原文撰写——包括初稿编写、结果可视化、验证工作、软件开发、方法设计以及概念构思。彭斌：负责原文撰写——包括审阅与编辑工作、正式分析以及概念构思。邢明科：负责原文撰写——包括审阅与编辑工作以及概念构思。华彤：负责项目监督、项目管理以及资金筹措工作。陈金才：负责项目监督、方法设计以及相关研究工作。
利益冲突声明
作者们声明，他们不存在任何已知的、可能会影响本文研究结果的财务利益冲突或个人关系。
刘一帆|彭斌|邢明科|华彤|陈金才
