水下环境基于视觉的平面外结构监测中的单目深度估计

《Advanced Engineering Informatics》:Monocular depth estimation for vision-based out-of-plane structural monitoring in underwater environments

【字体: 大 中 小 】 时间:2026年08月07日 来源:Advanced Engineering Informatics 11.5

编辑推荐:

  摘要:对于水工结构(如大坝和斜闸门)的水下结构健康监测而言,传统的接触式传感器和基于激光的方法存在测量范围有限、易受腐蚀以及水下光线严重散射等缺陷。基于单目视觉的方法为替代方案提供了希望,能够在陆地环境中实现毫米级精度监测,但由于配对训练数据不足以及浑浊度和非线性模糊等特殊的光学

  摘要:对于水工结构(如大坝和斜闸门)的水下结构健康监测而言,传统的接触式传感器和基于激光的方法存在测量范围有限、易受腐蚀以及水下光线严重散射等缺陷。基于单目视觉的方法为替代方案提供了希望,能够在陆地环境中实现毫米级精度监测,但由于配对训练数据不足以及浑浊度和非线性模糊等特殊的光学退化问题,其在水下应用中面临诸多挑战。本文提出了一种水下单目深度估计方法,该方法结合了用于生成合成数据的物理基础图形模型与改进的稀疏引导变换器网络。首先,利用物理基础图形模型生成高保真的配对数据集,以真实还原多种水下场景,从而解决数据匮乏问题。随后,该双流网络在稀疏几何引导辅助下进行训练,并通过仅使用RGB图像的信息即可输出高精度的密集深度图。所提方法首先通过真实的FLSea数据集进行验证,随后在Greenup斜闸门的实际应用中进行了测试。实验结果表明,物理基础图形模型生成的 数据能够有效补充真实数据集,提升深度估计精度。在水工工程应用中,该方法在2米距离处可实现约6–8毫米的振动精度,在4–6米距离处则可达11–20毫米的精度。这些结果证明了在所研究的条件下,单目视觉技术具备实现水下毫米级平面外动态监测的潜力。

引言:大坝、桥梁和航道锁系统等水工结构是内河航运网络的核心组成部分,它们作为连接不同基础设施的关键节点,保障了货物和人员的顺畅运输[1]。然而,民用基础设施的老化与劣化,尤其是水下结构部件(如用于航道锁系统的斜闸门结构)的损坏,正日益威胁着结构的可靠性与公共安全[2]。气候变化进一步加剧了这些风险,更频繁且更强烈的洪水导致水下结构加速恶化,增加了结构意外失效的可能性[3]。典型的事故包括1987年纽约的Schoharie Creek桥因基础冲刷而倒塌,2001年葡萄牙的Hintze Ribeiro桥因洪水引发的桥墩冲刷及长期河床侵蚀而损毁,2009年都柏林的Malahide铁路高架桥因潮汐冲刷而部分坍塌,以及2017年加利福尼亚州的Oroville大坝溢洪道发生严重破坏与侵蚀事故。因此,开发经济高效的 underwater结构检测方法对于保障内河航运基础设施的安全与正常使用至关重要[4]。

在无损结构健康监测领域,通过构建连续传感器网络和多阶段评估体系,已经取得了显著进展。例如,利用微电机械系统传感器进行基于振动的损伤定位[5],以及通过长距光纤传感器进行动态曲率分析[6],这两种方法在复杂基础设施的运行状态监测中表现出良好效果。为弥补全局损伤检测与局部量化之间的差距,人们还成功开发了将分布式物理传感器与基于视觉的数字图像相关技术相结合的集成方法[7]。此外,这些先进的监测技术也越来越服务于提升基础设施抗灾能力的总体目标。通过采用基于成本函数的概率框架,相关方能够更好地权衡初始监测投资与长期结构可靠性提升之间的关系[8]。尽管这些集成传感器方案能为陆地结构提供可靠的评估结果,但将其部署在水下环境时,会受到物流复杂性及硬件脆弱性的限制,这就需要采用本文提出的非接触式单目视觉解决方案。

目前的水下检测方法主要依靠静态表面检测来识别裂缝、剥落和腐蚀等可见缺陷。常见的检测方式包括人工潜水、声纳扫描以及计算机视觉技术。潜水员虽然可以进行详细的视觉和触觉检测,但存在安全风险,需要经过专业培训,且成本高昂[9]、[10]。声纳系统能够在能见度较低的情况下检测冲刷现象并绘制表面特征图,但同样需要熟练的操作人员以及昂贵的设备[11]。近年来,结合无人水下航行器与机器人的计算机视觉技术,能够以低成本实现自动化、更安全的检测,并具备高分辨率成像能力[12]、[13]、[14]。然而,所有基于表面的检测方法都有一个根本缺陷:它们无法检测内部结构的劣化情况[15]。水下结构的实际健康状况和承载能力主要取决于其内部特性,如刚度,而这通常体现为系统动态特性的变化,例如模态特性。由于传统静态表面检测无法观察到这些内部因素,因此有必要开发方法来检测水下结构的动态响应,从而识别内部损伤并准确评估结构完整性[16]、[17]。

然而,目前关于水下结构动态振动监测的研究极为有限[18]、[19]。因此,不得不借鉴陆地应用中的相关技术。在陆地上,结构动态振动监测通常采用加速度计和应变片等接触式传感器[20],或采用激光扫描、激光雷达以及激光多普勒振动仪等非接触式方法来测量位移和速度[21]。不过,这些方法在水下环境中面临着诸多挑战。接触式传感器难以在水下安装,且长时间浸泡在水中容易发生腐蚀。此外,它们只能检测特定测量点的局部振动,无法获取结构响应的完整信息[22]。而基于激光的系统,包括激光扫描、激光雷达和激光多普勒振动仪,会在水中遇到严重的光吸收、散射和折射现象,这会大幅降低信号质量与穿透深度[23]。即便是一些比其他波长更能穿透水的绿光激光,也仅适用于浅水区域,无法达到桥梁基础的正常深度。虽然声纳系统主要用于静态检测,但也可用于振动检测,不过其精度通常仅为检测距离的1%,这意味着在超过2000毫米的距离上,精度误差会超过20毫米,远远无法满足可靠检测水下结构振动的要求[25]。鉴于这些限制,计算机视觉方法为水下振动监测提供了可行的途径。无人水下航行器和水下机器人能够实现灵活的定位,并配备2K以上分辨率的摄像头进行高分辨率成像。与表面缺陷检测不同,振动分析要求毫米级精度,这既需要高精度的亚像素级测量能力[26]、[27],也需要在陆地应用中已得到验证的强大全场运动估计技术[28]、[29]。不过,如果环境条件没有严重恶化,水下图像增强技术就能够有效缓解这些问题,从而在图像平面实现二维毫米级测量精度[1]。

然而,结构振动实际上发生在三维空间中,包含同时存在的平面内和平面外位移分量[31]。对于水下结构而言,平面外振动尤为重要,因为在水流作用和水动力载荷的影响下,水下桥墩和大坝闸门的动态响应往往以平面外振动为主。即便使用陆地上的检测方法,估计平面外振动也颇具难度,而且这类方法的精度通常低于仅检测平面内运动的方案[32]。目前,陆地环境下估计平面外结构振动的方法主要包括多视图三角测量、三维重建以及单目深度估计技术。多视图三角测量方法通过两个或多个摄像头捕获的图像提取特征点,再利用立体几何原理确定测量点的空间坐标[31]、[33]。但这种方法需要精确的重叠视图和信号同步,硬件成本较高,且几何估计过程中还会引入额外的计算误差。在噪声和模糊现象更为严重的复杂水下环境中,这些难题会变得更加突出。三维重建方法则在多视图三角测量的基础上,先进行空间几何估计,再构建密集的点云[34]、[35]。这类方法通过对比不同时间步长的点云来估计全场的三维振动情况。虽然这种方式能够在更多测量点上识别振动,但额外的密集重建步骤会进一步增加计算误差,而在极端水下条件下,这些误差会被大幅放大。此外,每次三维重建都需要大量的计算时间和资源。上述两种方法均依赖于多个摄像头,这使得在水下这种访问和操作条件本就十分受限的环境中,设备的部署、校准和同步工作更加困难。单目深度估计方法则提供了一种替代方案,它利用深度学习模型作为先验知识,直接从单张图像中估计深度信息,从而实现平面外振动的检测。尽管近年来的陆地应用方法已能将结构振动识别的精度控制在10毫米以内[36]、[37],但将其应用于水下环境时仍面临以下两大挑战:

1)单目深度估计模型是在包含RGB图像与来自激光扫描或结构光的深度值的常规数据集上训练的,而这些数据仍可能存在测量误差。此外,这些训练数据集中缺乏水下场景及其对应的深度数据。水下环境极其复杂,悬浮颗粒会导致浑浊,光线会发生严重吸收和散射,颜色也会发生扭曲,从而导致图像严重模糊、能见度极低。在如此恶劣的条件下,获取这样的配对水下数据集极为困难。虽然大多数最先进的预训练模型,如Depth Anything V3 [38],在陆地场景中表现优异,但由于水下训练数据稀缺,它们在复杂水下环境中的效果大打折扣。

2)即便能够获得包含大量复杂水下图像及其对应深度值的规模化数据集,要为复杂水下场景训练单目深度模型依然极具挑战。水下图像具有独特的光学特性,包括非线性的光衰减、悬浮颗粒的背向散射、不均匀的照明条件以及导致严重浑浊和模糊的折射效应。这些复杂的退化模式与陆地场景有本质区别,使得现有模型难以在不同条件下学习出稳定的特征。即便使用像可微调的Swin Transformer这样的最先进架构[39],模型也可能无法达到在水下环境中实现精确平面外结构振动检测所需的精度。

为应对这些挑战,本文开发了一种水下结构监测框架,该框架将新开发的物理基础图形模型与先前在[40]中报道的稀疏深度融合变换器架构相结合。需要注意的是,本研究并未提出新的变换器网络,而是通过基于物理基础图形模型的水下训练数据、基于度量深度的监督机制,以及与所提出的振动提取流程的整合,对该变换器架构进行了优化改造,使其适用于水下平面外振动监测。为便于表述,本文后续将这种改造后的架构称为“水下变换器”。本文的主要贡献可归纳如下:

1)本研究探讨了利用单目图像在水下环境中进行非接触式、平面外结构动态监测的可行性。与主要依靠视觉和触觉检测的潜水检查,以及通常用于声学测距和表面绘图的声纳技术不同,所提出的方法旨在通过图像序列实现随时间变化的全场深度估计。因此,该方法更适合作为现有检测技术的补充手段,而非替代方案。

2)为解决水下结构健康监测中配对深度数据稀缺这一核心问题,本文提出了物理基础图形模型框架。基于该模型的数据生成方法能够模拟多种水下场景,包括正常水下环境、高浑浊度环境、严重深度依赖型模糊环境,以及浑浊与模糊同时存在的复合环境。通过这种方式,可以生成带有对应真实深度数据的配对图像,从而模拟出真实的水下环境,进而模拟无人水下航行器从不同位置和角度拍摄的图像。

3)本文并未从零开始设计新的网络,而是巧妙地采用了现有的最先进的稀疏深度融合架构[40],并对其进行了针对性优化,以便用于水下平面外结构健康监测。通过在该架构上使用真实世界数据以及所开发的物理基础图形模型数据集进行训练,所提出的方法能够有效弥合仿真环境与真实环境之间的差距。这种整合方式能够有效解决尺度不确定性问题,同时也证明了先进的视觉架构即使在极端水下退化条件下,也能实现稳健的、毫米级精度的水下结构平面外振动估计。

从操作可行性角度来看,使用单个光学摄像头可以减少传感器负载,同时避免多摄像头系统所需的同步问题。这种配置有助于在空间狭小或难以进入的水下环境中进行部署。不过,相较于潜水员辅助、声纳检测或其他主动感应技术,其实际优势仍然取决于环境能见度、检测目标、设备配置以及未来的现场验证结果。

本文的其余部分安排如下:第2节回顾研究背景,第3节详细介绍方法论,第4节则通过真实世界场景和斜闸门应用的案例研究来验证所提方法的有效性。第5节总结了本文的内容。

**背景**
本节回顾了相关研究背景,重点探讨两个关键领域:(1)水下环境对基于计算机视觉的深度估计的影响;(2)多视图与单目深度估计方法。

**提出的方法**
图4给出了所提方法的概述。本节首先介绍基于PBGM的水下数据生成方法,接着详细阐述水下Transformer方法,并描述平面外水下结构振动估计框架。该方法的主要贡献包括:(1)开发出用于生成真实水下数据的PBGM,能够创建大量高度逼真的水下RGB图像以及与之对应的密集地面数据。

**案例研究**
为全面验证所提方法并展示其实际应用价值,采用了真实世界数据集和PBGM生成的数据进行了两组实验。由于水下环境恶劣且缺乏可靠的参考传感器,获取水下结构运行时的毫米级平面外振动真实数据十分困难,因此具有已知真实值的高保真模拟显得尤为重要。

**结论**
本文提出了一种基于PBGM的方法,用于在极端水下环境中实现高效的水下平面外结构振动估计。首先,开发了基于PBGM的数据生成方法,可针对四种典型的极端水下场景生成配对的图像-深度数据集。随后,采用了带有双流融合架构的稀疏引导Transformer网络,结合稀疏深度融合框架以实现精确的几何深度估计。

**CRediT作者贡献说明**
蔡恩健:撰写——初稿、可视化、验证、软件、方法论、研究、形式分析、数据整理、概念设计。吴子涵:撰写——审阅与编辑、软件、研究、形式分析、数据整理。迈克尔·D·托德:撰写——审阅与编辑、监督、资源协调、项目管理、资金获取、形式分析。胡震:撰写——审阅与编辑、监督、项目管理、方法论、研究、资金获取。

**利益冲突声明**
作者声明不存在任何可能影响本文所述工作的已知财务利益或个人关系。

**致谢**
本研究得到了美国陆军工程兵团通过美国陆军工程师研究与发展中心的研究合作协议W9132T-22-20014的支持,特此表示衷心感谢。

蔡恩健|吴子涵|迈克尔·D·托德|胡震
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号