《Journal of Marine Science and Engineering》:6-DoF Pose Estimation of Marine Objects Using Geometrically Constrained 3D Bounding Boxes
编辑推荐:
海洋目标六自由度(6-DoF)位姿估计是船舶与水下作业的关键。针对复杂单目海洋场景导致的不稳定性,研究人员提出了GeoBox-Pose,一种基于几何约束三维包围盒(3D Bounding Boxes)的6-DoF位姿估计方法。该方法利用目标物理尺寸构建三维包围
海洋目标六自由度(6-DoF)位姿估计是船舶与水下作业的关键。针对复杂单目海洋场景导致的不稳定性,研究人员提出了GeoBox-Pose,一种基于几何约束三维包围盒(3D Bounding Boxes)的6-DoF位姿估计方法。该方法利用目标物理尺寸构建三维包围盒表示,降低了对精确三维模型(3D Models)的依赖。研究人员设计了一种共享视觉编码器(Shared Visual Encoder)与多分支回归网络(Multi-Branch Regression Network),联合预测二维投影角点(2D Projected Corners)、三维朝向(3D Orientation)与空间平移(Spatial Translation)。进一步引入基于相机成像模型(Camera Imaging Model)的投影一致性约束(Projection-Consistency Constraint),将位姿驱动的三维包围盒重投影至图像平面,增强了图像特征与三维几何之间的一致性。实验结果表明,GeoBox-Pose在BONK-pose与ROV6D数据集上分别取得了14.96°与12.36°的平均旋转误差(Mean Rotation Errors),以及100.84 px与75.63 px的平均投影误差(Mean Projection Errors)。其RotAcc@20°分别达到85.74%与91.76%,ProjAcc@100px分别达到81.95%与84.05%。模型包含11.67M参数(Parameters),推理速度接近300 FPS(Frames Per Second)。实验进一步证实,投影一致性约束有助于提升位姿估计性能。总体而言,GeoBox-Pose使基于统一三维包围盒几何表示的不同类型海洋目标单目6-DoF位姿估计成为可能。在保持良好位姿估计性能的同时,该方法显著降低了模型规模与计算成本,实现了较高的网络推理效率(Network Inference Efficiency),从而在位姿估计精度与网络推理效率之间取得了良好平衡。该方法为船舶姿态监测(Ship Attitude Monitoring)、水下机器人定位(Underwater Robot Localization)等海洋工程任务提供了一种轻量级的几何约束位姿估计解决方案。
随着智能海洋装备与海上/水下作业的快速发展,准确获取海洋目标位姿对海上航天发射、主动升沉补偿与水下机器人操作等任务至关重要。六自由度(6-DoF)位姿估计要求同时确定目标相对于相机坐标系的平移与旋转,为空间状态感知与闭环控制提供更全面的几何信息。传统位姿获取主要依赖惯性测量与卫星导航,但惯性测量单元(IMUs)长期定位中误差逐渐累积,且卫星导航信号在水下通常不可用。视觉位姿估计方法虽具有非接触、部署灵活的优势,但通常依赖显著纹理特征、精确目标模型与可靠特征对应,在遮挡、尺度变化与成像退化条件下易受影响。相比一般陆地场景,海洋目标位姿估计面临更严苛条件:水面场景涉及远距离观测、目标尺度剧变、背景干扰与光照变化,水下环境则受光吸收、散射、低对比度与能见度变化影响,导致目标纹理减弱、轮廓模糊。现有研究多聚焦室内物体与机器人操作,依赖预定义关键点或详细三维模型,难以直接适用于多样化海洋目标。因此,如何有效利用目标整体几何结构、降低对详细三维模型的依赖并提升单目6-DoF位姿估计稳定性,成为海洋视觉感知领域亟待解决的重要问题。
针对上述问题,研究人员提出GeoBox-Pose,一种基于几何约束三维包围盒的海洋目标6-DoF位姿估计方法。该方法专为船舶、水下机器人等尺寸已知但难以获取详细三维模型的刚性海洋目标设计,利用目标物理尺寸构建简化三维包围盒作为统一几何表示。给定单目RGB目标区域图像,研究人员利用共享视觉特征编码器提取目标特征,通过多分支回归网络联合预测二维投影角点、三维旋转与空间平移;同时引入基于相机成像模型的投影一致性约束,将位姿驱动的三维包围盒重投影至图像平面,显式建立二维图像几何与三维位姿参数的关联。实验在BONK-pose与ROV6D数据集上展开,结果表明该方法能在两类场景中实现稳定的单目6-DoF位姿估计,同时保持模型轻量(11.67M参数)与较高推理效率(近300 FPS),在估计精度与计算效率之间取得良好平衡,为船舶姿态监测与水下机器人定位等任务提供了轻量级解决方案。
研究人员采用的关键技术主要包括几何约束三维包围盒表示、基于ResNet-18的共享视觉编码器与多分支回归网络、投影一致性约束及多任务联合优化。具体而言,利用目标长、宽、高在局部坐标系构建八个角点,通过刚体变换与透视投影建立二维-三维几何关系;以去除分类层的ResNet-18作为共享视觉编码器,经特征映射模块后输入三个分支:2D角点分支预测包围盒角点的归一化二维坐标,旋转分支采用6D旋转表示并通过正交化获得旋转矩阵,平移分支预测归一化平移向量;训练阶段基于预测位姿、相机内参与目标尺寸将三维包围盒重投影至感兴趣区域(ROI)图像平面,计算重投影角点与标注二维角点间的Smooth L1损失作为投影一致性约束;最终将2D角点回归损失、旋转损失(测地距离)、平移损失(Smooth L1)与投影一致性损失按固定权重加权组合进行端到端训练。实验使用BONK-pose与ROV6D公开数据集。
总体性能结果方面,研究人员采用三个随机种子(42、123、2026)进行独立训练与测试。在BONK-pose数据集上,GeoBox-Pose的平均旋转误差、平移误差与投影误差分别为14.96°、22.13 m与100.84 px,RotAcc@20°与ProjAcc@100px分别达到85.74%与81.95%;在ROV6D数据集上,上述三项误差分别为12.36°、95.18 mm与75.63 px,RotAcc@20°与ProjAcc@100px分别达到91.76%与84.05%。模型参数量为11.67M,计算量为3.74 G FLOPs(浮点运算量),推理速度近300 FPS。
对比实验方面,在BONK-pose数据集上,6D-Diff在多数精度指标上表现最优,GeoBox-Pose的平移误差(22.13 m)为所有对比方法中最低,整体性能优于OA-Pose与Mask6D,与UWCL-6D接近;在ROV6D数据集上,GeoBox-Pose的旋转与平移误差略低于UWCL-6D,投影误差与之相近。在计算效率方面,相比6D-Diff(38.6M参数、15.72 G FLOPs、约24 FPS),GeoBox-Pose在参数量与计算量显著降低的同时,推理速度提升至近300 FPS,展现出明显的轻量化优势。
消融实验方面,移除所有几何监督后,BONK-pose上的旋转、平移与投影误差分别增至19.34°、29.42 m与127.88 px,ROV6D上分别增至16.48°、131.72 mm与94.67 px;仅移除2D投影角点分支或仅移除投影一致性约束均导致性能下降,完整模型在两项数据集上均取得最优结果,表明2D投影角点分支与投影一致性约束分别从图像平面几何感知与3D-2D投影一致性角度对位姿学习产生积极贡献。
敏感性与局限性分析方面,3D尺寸扰动实验显示,随着目标尺寸扰动幅度从±5%增至±20%,各项误差逐步增大,说明该方法虽无需详细CAD(计算机辅助设计)模型,但仍依赖合理的整体尺寸先验;2D检测框的扩大 cropping 策略可在一定程度上缓解轻微检测误差的影响,但较大的中心偏移或尺度误差仍会影响ROI内参数变换与特征提取。失败案例分析表明,ROV6D中的失败主要归因于水下低对比度、图像模糊与弱纹理;BONK-pose中的失败则多与小目标尺度、困难视角及3D朝向区分度不足有关。
讨论部分,研究人员指出GeoBox-Pose仍存在若干局限:方法依赖预定义的目标整体尺寸先验,当尺寸估计误差较大时,三维包围盒角点及其重投影位置将偏离实际目标几何;三维包围盒的简化表示对于强对称目标或各轴尺寸相近的目标,难以区分不同位姿;此外,方法采用图像级数据划分,连续采集数据间可能存在相似样本跨子集分布的情况,未来研究可采用更严格的序列级独立划分。未来工作将探索在线目标尺寸估计、尺寸不确定性建模、2D检测误差增强与检测-位姿联合优化,并引入时序信息、局部语义特征与关键结构点以提升复杂条件下的位姿稳定性。
研究结论表明:(1)物理尺寸约束的三维包围盒表示为船舶与水下机器人等不同类型刚性海洋目标提供了统一的几何表示,降低了对详细三维模型的依赖,实验证实在水面与水下场景中均可实现稳定的单目6-DoF位姿估计;(2)2D投影角点分支与投影一致性约束分别从图像平面几何感知与3D-2D投影一致性角度增强了位姿学习,消融实验证实了两者的有效性;(3)GeoBox-Pose在保持有利位姿估计性能的同时,模型规模小、计算成本低且推理效率高,实现了估计精度与计算效率的良好权衡。需注意,当前实验主要聚焦于给定目标区域的位姿估计,完整的物体检测与位姿估计联合流程及更极端海洋环境尚未系统评估。