《Engineering Applications of Artificial Intelligence》：A port navigation perception method via shipborne camera-guided light detection and ranging fusion
编辑推荐：
自主水面船舶（Maritime Autonomous Surface Ships, MASS）的自主导航高度依赖于感知性能。本研究利用船载激光雷达（Light Detection and Ranging, LiDAR）、摄像头、惯性测量单元（Inertial
自主水面船舶（Maritime Autonomous Surface Ships, MASS）的自主导航高度依赖于感知性能。本研究利用船载激光雷达（Light Detection and Ranging, LiDAR）、摄像头、惯性测量单元（Inertial Measurement Unit, IMU）和实时动态定位（Real-Time Kinematic, RTK）等传感器，提出了一种基于多模态数据融合的船舶感知系统，命名为船载激光雷达-摄像头融合系统（Shipborne LiDAR-Camera Fusion, SLC-Fusion）。在前端，基于iKalibr框架改进了多传感器协同标定方法，并结合IMU数据实现了自适应点云运动补偿。在后端，提出了基于强度特征的船载激光雷达去噪方法以提高原始数据质量。随后，将降维后的点云特征与光学图像融合，并采用基于YOLO 11s-seg的人工智能（Artificial Intelligence, AI）检测模块获取目标语义信息和有效像素索引。同时，提出了一种基于局部空间特征的轻量化港口目标聚类方法以获取三维（Three-dimensional, 3D）状态。最后，通过融合RTK数据计算目标的经纬度信息。在此基础上，本研究建立了港口导航感知数据集。真实世界实验表明，SLC-Fusion具有优异的船舶感知性能：最小测距误差为0.07 m，平均交并比（mean Intersection over Union, mIoU）为67.0%，平均平均绝对误差（Mean Absolute Error, MAE）为0.34 m，均方根误差（Root Mean Square Error, RMSE）为0.47 m。单帧图像和点云的平均处理时间分别为5.9 ms和4.6 ms。
本研究针对自主水面船舶（Maritime Autonomous Surface Ships, MASS）在复杂港口环境中的自主导航感知需求，提出了一种名为船载激光雷达-摄像头融合系统（Shipborne LiDAR-Camera Fusion, SLC-Fusion）的多模态传感器数据融合感知方案，相关成果发表于《Engineering Applications of Artificial Intelligence》。
研究背景方面，三维（Three-dimensional, 3D）感知是MASS自主导航系统的核心组成部分。传统船舶感知方案大多受限于单模态传感器，存在无法准确测量目标几何体积、缺乏经纬度信息、实时性差等缺陷。当前船载传感器主要包括提供目标回波哀悼的海洋雷达、采集环境点云的船载激光雷达（Light Detection and Ranging, LiDAR）、捕获光学图像的船载摄像头、确定经纬度信息的船载全球导航卫星系统（Global Navigation Satellite System, GNSS）以及获取他船状态的自动识别系统（Automatic Identification System, AIS），各类传感器功能及数据结构差异显著。此外，船舶航行场景涵盖海洋、极地、锚地、沿海、内河及港口，导致船舶感知系统设计面临比陆地交通更为严峻的环境结构退化问题。港口作为开放区域，船舶和泊位设施众多，是交通复杂度最高的航行场景之一。船舶进港过程中需经历交通分离、减速避让、等待拖轮、泊位排队等多个阶段，航速受限导致操纵性大幅降低，对感知系统的测量精度和速度更为敏感。自主靠泊是MASS面临的最具挑战性任务之一，准确感知泊位相对方位是导航决策系统的关键步骤。
研究人员开展了以下研究：在前端，针对船载传感器的独特安装环境，优化了基于iKalibr框架的因子图结构，并增加了对船载实时动态定位（Real-Time Kinematic, RTK）的支持，实现多传感器协同标定；同时提出基于惯性测量单元（Inertial Measurement Unit, IMU）数据的自适应点云运动补偿策略，通过IMU预积分校正由船舶六自由度（6-Degree-of-Freedom, 6-DoF）运动引起的点云畸变，包括结合球面线性插值计算旋转补偿矩阵，以及融合预积分加速度增量与双线性插值算法推导位移补偿矩阵，并建立船速与点云位移干扰模型以确定动态补偿阈值。在后端，首先提出基于强度特征的船载激光雷达去噪方法，将去噪空间分为近场和中远场区域：近场区域强度低于阈值直接标记为噪声；中远场区域采用强度与空间特征双重约束，仅当强度低于阈值且存在局部突变时标记为噪声，计算复杂度低且有效抑制海杂波干扰。随后，通过球面投影算法将运动补偿后的3D点云数据映射至二维特征空间，生成深度矩阵、角度矩阵和强度矩阵，并与光学图像实时关联。接着采用YOLO11s-seg作为光学视频的主检测框架，训练神经网络获取目标语义信息Sem和有效点云索引；同时提出基于局部空间特征的轻量化港口目标3D聚类方法，利用视觉掩模提取的目标点云，通过计算表面深度变化实现快速可靠的3D聚类，其中角度β表征空间连续性，局部曲率Cloc防止过聚类，解决密集排列船舶场景下的欠分割问题。最后，融合RTK数据计算目标在世界坐标系中的绝对经度lon和纬度lat，输出目标语义信息、相对距离角度及绝对位置。
研究结论表明，SLC-Fusion系统在复杂港口环境下具备优异的船舶感知性能。单帧光学图像和点云的平均处理时间分别为5.9 ms和4.6 ms；3D目标分割的平均交并比（mean Intersection over Union, mIoU）达67.0%，较未启用去噪时提升9.8个百分点；测距最大偏差为1.88 m，最小为0.07 m，平均平均绝对误差（Mean Absolute Error, MAE）为0.34 m，均方根误差（Root Mean Square Error, RMSE）为0.47 m，标准差（Standard Deviation, STD）为0.42 m，平均误差仅0.77%。该研究为MASS在港口环境的自主导航提供了可靠的环境感知能力，保障了智能导航决策的安全性与实时性。
