一种使用立体相机生成用于无人水面艇自主泊靠的三维环境地图的方法

《International Journal of Naval Architecture and Ocean Engineering》:A method for generating a 3D environmental map using a stereo camera for autonomous berthing of an unmanned surface vehicle

【字体: 大 中 小 】 时间:2026年07月30日 来源:International Journal of Naval Architecture and Ocean Engineering 4.4

编辑推荐:

  随着海事技术的最新进展和无人水面艇(USV)使用量的增加,精确、安全的自主泊靠技术对于实现完全自主导航的重要性日益凸显。目前,常用于USV的激光雷达(LiDAR,Light Detection And Ranging)成本高昂,而电子海图在反映实时动态环境方面

  
随着海事技术的最新进展和无人水面艇(USV)使用量的增加,精确、安全的自主泊靠技术对于实现完全自主导航的重要性日益凸显。目前,常用于USV的激光雷达(LiDAR,Light Detection And Ranging)成本高昂,而电子海图在反映实时动态环境方面存在局限性。为克服这些限制,本研究提出了一种使用低成本立体相机生成用于USV自主泊靠的三维(3D)环境地图的方法,该相机能在海事环境中稳健运行。本研究的核心创新在于设计了一个“海事专用统一滤波管道”(maritime-specific unified filtering pipeline),而非现有深度学习模型的简单组合。首先,研究人员使用视觉基础模型生成2.5D深度图及相应掩码,以在无纹理的海事环境中提取稳健特征。随后,应用所提出的多阶段后处理管道,该管道集成了基于相机参数的几何约束、统计离群点移除(SOR,Statistical Outlier Removal)和体素网格下采样。该管道通过有效消除物理上不可能的数据和鬼影障碍物,将深度学习模型的不稳定原始输出从根本上转化为确定性传感器数据,表示为高可靠性的3D点云。为验证所提出方法的有效性,研究人员构建了精确模拟真实世界的虚拟环境。对比结果表明,与CREStereo(Cascaded REcurrent Stereo)和Depth Anything V2等模型不同,FoundationStereo在精确恢复细部结构(如船舶桅杆)和复杂远处天际线时表现出更优性能,且无畸变。具体而言,所提出方法在三个场景中分别实现了0.12米、0.11米和0.08米的3D点位置平均绝对误差(MAE,Mean Absolute Error),相比对比方法减少了高达94.62%。此外,生成的3D环境地图被转换为二维鸟瞰图(BEV,Bird's-Eye-View),确认USV可直观感知障碍物的水平位置关系,并用于路径规划。
**论文解读文章**

**研究背景与问题**
随着海事技术的快速进步,无人水面艇(USV)在海洋资源勘探、环境监测、搜救和港口安全等领域的应用日益广泛。实现USV完全自主导航的核心技术之一是精确、安全的自主泊靠,这要求在有限空间内进行高精度控制。目前,USV导航和泊靠主要依赖电子海图(如S-57),但电子海图仅提供静态地理信息,无法反映实时变化的动态环境(如其他船舶、意外障碍物、流和风等)。另一方面,激光雷达(LiDAR)虽能提供精确的3D点云,但成本高昂且探测范围短,低垂直分辨率(如16通道)还可能漏检细长物体(如系泊桩)。为克服这些局限,本研究提出一种基于低成本立体相机的稳健方法,用于生成USV自主泊靠所需的3D环境地图。该方法并非简单组合现有模型,而是设计了一种系统化管道,将深度学习原始输出与海事导航安全需求衔接起来。

**研究内容与结论**
研究人员提出了一种三阶段方法:首先使用FoundationStereo(一种基于迭代精化的基础模型)生成高质量深度图;然后利用SA2VA(Segment Anything model 2 with large language-and-Vision Assistant)进行指代分割,通过文本提示“sky”和“sea”生成掩码,剔除天空和海洋区域;最后通过反投影和提出的“海事专用统一滤波管道”生成最终的无噪声3D环境地图。该管道包括基于分割的滤波、基于深度与视差信息的滤波、统计离群点移除(SOR)和体素网格下采样。为验证有效性,研究人员构建了精确模拟纽约、旧金山和悉尼真实世界的高保真虚拟海事环境。对比结果表明,FoundationStereo在恢复细部结构(如桅杆、浮标)和复杂远处天际线方面优于CREStereo和Depth Anything V2;SA2VA能准确分割天空和海洋,甚至保留小浮标作为独立物体。所提出方法在三个场景中分别实现了0.12米、0.11米和0.08米的3D点位置平均绝对误差(MAE),相比未使用后处理的方法降低了92.86%–94.62%。生成的3D环境地图可转换为二维鸟瞰图(BEV),用于直观感知障碍物水平位置关系并辅助路径规划。该论文发表在《International Journal of Naval Architecture and Ocean Engineering》。

**主要关键技术方法**
本研究采用的关键技术方法包括:(1)FoundationStereo:一种基于迭代精化的端到端立体匹配基础模型,通过层级特征提取、基于门控循环单元(GRU)的迭代视差估计和凸上采样模块,在无纹理海事环境中生成高分辨率深度图;(2)SA2VA:一种结合多模态大语言模型(MLLM)和SAM2的指代分割模型,通过预设文本提示“sky”和“sea”生成像素级掩码,用于剔除背景噪声;(3)多阶段后处理管道:集成基于相机参数的几何约束(设置最小视差阈值dmin=5像素,对应最大信任距离Zmax=150米)、统计离群点移除(SOR)和体素网格下采样,将不稳定深度学习输出转化为确定性传感器数据。验证环境为高保真虚拟海事环境(纽约、旧金山、悉尼),无实际样本队列。

**研究结果**

**5.1 深度图生成结果**
在场景A中,对比CREStereo、Depth Anything V2和FoundationStereo的深度图生成结果。CREStereo在近处产生严重噪声,船舶形状严重畸变;Depth Anything V2丢失了桅杆等细部结构,且远处物体边界模糊;FoundationStereo精确分离了船舶和建筑物边界,清晰保留了桅杆和浮标的细部结构。在场景B中,FoundationStereo精确恢复了中距离船舶的细部结构和远处复杂城市天际线,而CREStereo无法生成远处信息,Depth Anything V2模糊了所有物体边界。在场景C(大型邮轮近距离场景)中,CREStereo未能识别邮轮大面积均匀表面,导致大部分船体缺失;Depth Anything V2检测到大致形状但边界模糊;FoundationStereo准确重建了邮轮的巨大尺度和清晰轮廓,并清晰区分了周围船舶。

**5.2 掩码图像生成结果**
在场景A中,SA2VA通过“sky”和“sea”文本提示,准确分割了天空区域(排除左侧船舶、前方游艇和右侧建筑物)和海洋区域(排除其他船舶船体),并精确保留了前方小浮标作为独立物体。在场景B中,模型准确分离了比场景A更复杂的建筑天际线,并有效排除了其他船舶和建筑物。在场景C中,掩码准确识别了小型船舶和右侧邮轮。

**5.3 三维环境地图生成结果**
在场景A中,比较了无分割方法、未使用后处理方法和所提出方法。无分割方法因天空像素深度异常导致无法生成有效地图;未使用后处理方法在物体周围存在异常点簇,MAE为2.23米;所提出方法有效去除了噪声,MAE为0.12米(降低94.62%)。在场景B中,未使用后处理方法MAE为1.87米,所提出方法MAE为0.11米(降低94.12%)。在场景C中,未使用后处理方法MAE为1.12米,所提出方法MAE为0.08米(降低92.86%)。进一步的分段误差分析显示,在有效泊靠范围(0–50米)内,场景A、B、C的MAE分别为0.07米、0.08米和0.05米,精度显著高于远距离区间(50–150米)。计算性能方面,在AMD Ryzen 9 5900X CPU和NVIDIA GeForce RTX 3060 GPU上,整条管道平均处理时间为每帧约1.98秒(0.5 Hz),考虑到自主泊靠低速(1–2节),该更新率足够用于路径规划和避碰。生成的3D环境地图转换为2D BEV地图后,清晰描绘了障碍物轮廓,为USV提供计算安全泊靠轨迹所需的关键几何边界。

**总结与讨论**
本研究提出了一种使用低成本立体相机生成3D环境地图的方法,用于USV安全自主泊靠。该方法包括三个阶段:高质量深度图生成、基于文本提示的掩码图像生成,以及通过反投影和多阶段后处理管道生成最终无噪声3D环境地图。在三个虚拟场景中验证了有效性,FoundationStereo精确恢复了细部结构,SA2VA成功分离了天空和海洋,所提出方法在三个场景中分别实现了0.12米、0.11米和0.08米的MAE,相比未使用后处理方法降低了超过92%。生成的3D环境地图可转换为BEV地图,用于路径规划。尽管在高保真虚拟环境中得到验证,但存在与真实世界的差距(sim-to-real gap),包括盐雾、眩光、水面反射、浓雾、大雨和夜间等极端条件。现有海事数据集(如MODD2、MaSTr1325)缺乏同步的高密度LiDAR点云,无法用于定量深度验证。因此,未来工作将聚焦于:使用配备立体相机和LiDAR的实际USV进行实地实验,收集专有数据集,验证所提出方法在真实海事条件下的鲁棒性;基于3D环境地图和BEV地图开发更高级的自主泊靠算法,包括障碍物感知、实时安全泊靠路径规划和避碰,最终将稳健感知模块集成到闭环控制系统中,实现完整的自主泊靠框架。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号