面向潜水员救援ROV的水下立体视觉系统：相对位置与上半身姿态的实时估计

《Journal of Marine Science and Engineering》：Underwater Stereo Vision System for Diver Rescue ROVs: Real-Time Estimation of Relative Position and Upper-Body Orientation

　　

遇险潜水员往往超出同伴的即时可达范围，因此能够在潜水员身边伴行并在状况恶化时实施干预的遥控水下机器人（ROV）日益受到关注。此类潜水员支持载具在以潜水员为原点的坐标系中进行控制，其控制器须持续接收由载具自身传感器给出的潜水员相对位置、身体姿态以及潜水员是否处于困境的指示信息。上述信息通常由潜水员佩戴的发射器经水声方式获取，但需要救助的潜水员未必携带该发射器，故不能假定其可用。本研究为ROV配备立体相机，由板载感知流程仅凭立体图像恢复潜水员的距离与横向位置、上半身姿态及状态（正常、恐慌或无意识），在NVIDIA Jetson AGX Xavier上以约5帧/秒运行，端到端延迟为0.20 s。基于潜水气瓶分割的近距回退策略使距离估计在立体视差变得不稳定的范围以下仍可使用。在测试水池以1.5、2、3 m参考距离评估时，242帧上的平均绝对距离误差为0.087 m，约为被测距离的4%；相对于潜水员佩戴的姿态传感器，1968帧上的测地线姿态误差为12.65°；潜水员状态分类器在由正常游动向无意识姿态转换时的准确率达99.1%，检测延迟为1.4–2.4 s。在浦项外海5–9 m深度的开阔水域试验中，使用该感知输出的板载相对空间控制器在15次试验中的15次完成了引导、跟随与救援场景，且感知输出在每个场景中均足以支撑控制与救援，未出现与感知相关的失效。

研究背景方面，潜水活动通常依赖潜伴制度，即假定遇险潜水员身边有同伴可达，但死亡记录表明该假定常不成立。Lippmann对1972至2021年间430起澳大利亚水肺潜水死亡事故的分析显示，在2000–2021年期间的194例死亡中，仅27%的受害者在事故开始时仍与潜伴在一起，40%在此前已与潜伴分离，另有15%在事故发展过程中分离，早期阶段比例更差。能够全程伴行的载具并不取代潜伴，但可消除分离：它可对潜水员保持站位、使其保持在视野内，并在状况变化时缩短距离。现有ROV已用于海洋探索、水下检测与干预，但伴行潜水员对其提出了不同要求，须在贴近人员的同时保持足够间距以避免碰撞并干扰潜水员运动与装备。可靠的潜水员相对位置与身体姿态知识是潜水员跟随、照明与相机指向、装备递送、救援接近与协同操作等任务的基础。本文的感知需求取自特定载具及其控制框架：潜水员安全支持机器人NADIA经事故分析、文献综述与职业潜水员咨询确定，场景研究识别出机器人须处理的两类紧急情况，即潜水员与潜伴分离以及恐慌或失去意识等异常状态，并规定机器人搭载由两台相机与一台声呐组成的识别模块，用于估计潜水员的位置、姿态与状态，在1–2 m的潜伴距离内运行，并在识别到紧急情况时接近、引导或拖曳潜水员。伴随控制框架直接在以潜水员为原点的坐标系中规划载具运动，使保持设定距离或移动到潜水员身后等轨迹可相对于潜水员身体表达。该表述假定潜水员坐标系的位姿（位置与姿态）由板载实时估计。上述两方面界定了感知系统须提供的输出：距离与横向位置用于保持站位与跟随，上半身姿态用于定义潜水员坐标系并决定救援时的接近方向，潜水员状态用于触发救援行为；三者均须以载具在潜水员速度下可响应的速率与延迟提供，其中姿态尤为关键，因为缺少它便无法定义潜水员坐标系。水下光学获取这些估计存在困难：光吸收与散射随距离降低图像对比度与可见度，悬浮颗粒可引入后向散射与不稳定的图像特征；水–壳体界面折射改变成像几何，若未在实际工况下正确标定，会降低立体重建精度；潜水员在姿态、游动姿势与距载具距离上变化很大，气瓶等装备可能部分遮挡身体关键点。这些效应直接影响视觉定位与姿态估计的可靠性，须在传感系统设计中加以考虑而非视为偶然噪声。水下定位还受缺乏外部定位基础设施的制约：GPS信号不能穿透水面，水下载具依赖惯性测量单元、多普勒速度计等板载导航传感器及水声定位。水声也是定位潜水员的常规手段，即从水面或载具跟踪潜水员携带的发射器。对潜水员支持而言该方案有两点不足：其一，它报告发射器的位置而不提供身体朝向信息，且其更新率与空间分辨率由载具导航需求而非近距离人员交互需求决定；其二，它预设潜水员已装备且现场已布设水声网络，而救援中这两者均无法保证，需要帮助的潜水员不能确保携带水声发射器或姿态传感器，接收基础设施通常也不会预先部署于现场。即便在以水声为中心构建的系统中，第一点不足也可见：Zlotnikov与Ben-Shahar从自主水面艇对水下目标实现单接收器水声定位的米级精度，并将该估计用于提示板载视觉传感而非取代之。因此，对这类作业而言，运行于载具已有传感器之上的感知能力更为可取。立体相机适合该任务，因为其可给出度量相对位置，并在同一测量中保留可读取姿态与朝向的视觉细节。水下人机交互研究已表明潜水员可由载具持续观测，欧盟FP7 CADDY项目是最完整的示范：载具上的立体相机与潜水员携带的水声信标配合。仍待解决的是仅凭载具搭载的立体相机恢复距离、上半身姿态与潜水员状态，且估计须足够准确、足够频繁以供ROV据以行动，并须满足嵌入式平台控制的实时性要求，还须在潜水员支持中实际遇到的1–3 m距离与任意身体姿态下工作。针对上述问题，本研究提出一种面向潜水员救援ROV实时部署的基于立体视觉的潜水员感知系统，以板载相对空间控制器可直接使用的形式报告潜水员距离与横向位置、上半身姿态与状态，并在NVIDIA Jetson AGX Xavier上以约5帧/秒、约0.20 s端到端延迟运行。除系统集成外，主要技术贡献如下：第一，通过测量确定在工作范围内哪种深度来源可靠——姿态估计器产生的关节级视差仅在近距离准确，在经校正图像对上计算的立体视差随距离逐渐退化，并在约0.7 m以下单独变得不稳定，故将近距回退的切换置于0.8 m并带迟滞；因此部署配置从姿态估计器获取身体几何、从立体视差获取距离、并在近距离从气瓶分割掩膜上的针孔模型估计获取距离，每一阶段仅用于其可靠恢复的量。第二，对立体姿态估计器重新训练，使其视差分支直接以合成真值监督，从而消除原始权重所表现的重建身体坐标系向相机塌缩的现象，使姿态估计可用于后向接近决策。第三，对流程进行端到端验证，在测试水池中对照地面标记与潜水员佩戴的姿态传感器，并在开阔水域中以输出驱动载具控制器完成引导、跟随与救援场景。论文围绕四个研究问题组织：RQ1，能否仅凭载具搭载的立体相机恢复对未装备潜水员的距离，以及在工作范围内哪种视差来源可靠；RQ2，由立体关键点重建潜水员上半身姿态的精度如何，该精度是否足以支撑救援机动中的后向接近决策；RQ3，包含潜水员状态分类的组合流程能否在载具嵌入式计算机上实时运行，以及为何板载处理优于水面处理；RQ4，感知输出在开阔水域的引导、跟随与救援场景中是否满足相对空间潜水员引导控制器的输入假定。

研究人员开展的研究方面，所提系统旨在为水下ROV实时提供邻近潜水员的距离与横向位置、上半身姿态与状态。系统架构由八个模块组成：来自载具左右相机的同步立体图像经去马赛克并使用标定立体参数校正后，准备供检测器与立体匹配器两个消费者使用（模块1）；潜水员在各视图中被检测并跨帧跟踪（模块2），同时在校正图像对上计算稠密视差图（模块3）；被跟踪的潜水员区域送入立体姿态网络，返回3D上半身关键点，据此构建身体固连坐标系及上半身的横滚、俯仰与偏航（模块4）；由关键点定义的躯干中心是视差图采样潜水员距离的位置，在视差稳定的范围以下，距离改由气瓶分割掩膜获得，并带卡尔曼滤波的模式切换组合两个来源（模块5）；3D关键点序列被分类为潜水员状态（模块6）；相机坐标系估计被变换到载具坐标系，并随状态一起通过机器人操作系统（ROS）以六自由度（6-DoF）位姿与潜水员状态发布（模块7）；板载控制器使用该向量执行载具的引导、跟随与救援行为（模块8）。控制器本身见文献[5]，不在本文范围内。为实时板载执行，各阶段均以计算高效的组件实现：立体视差采用NVIDIA视觉编程接口（VPI），潜水员检测采用DAMO-YOLO-Tiny，跟踪采用BoostTrack，立体3D关键点估计采用Poseiden，近距气瓶掩膜采用RF-DETR-Seg-Nano[20]；集成系统在嵌入式计算平台上以约5 FPS运行。处理置于载具上的设计理由是：在NADIA的潜水员支持任务中，载具拟以无缆自主模式运行，因为有缆可能缠绕其所伴行的潜水员，该模式下没有可将立体视频传至水面站的链路，故感知须在板载运行；带缆的遥控模式用于下潜现场初步勘察等任务；板载处理还使感知及依赖其的行为在链路退化或丢失时继续运行，代价是嵌入式平台的计算预算，这也是将速度设为后续组件关键准则、并否决更准确但更慢的单目深度估计器的原因。立体图像预处理方面，立体视觉系统由安装在ROV上、基线约0.20 m的两台同步彩色相机构成，准确的立体重建要求左右视图几何一致，水下ROV作业中图像畸变与相机失准会直接影响对应匹配并增大深度估计误差，故立体相机预先在水下并在各现场标定，采集的图像对使用所估计的内参与外参校正，随后对左右图像进行校正使对应点沿同一极线对齐，本文中去马赛克与图像校正使用ROS提供的image_proc包；校正是对图像施加的唯一图像级处理，不进行颜色校正、对比度增强、去雾或去噪，原因有二：此类操作会增加延迟，而流程预算由可接受的最慢控制更新设定；且会改变图像外观使其偏离检测器与姿态估计器训练时所见的图像，两个网络均在水下原始采集图像上训练，故运行时面对与其学习时相同的对比度与颜色统计。校正后的图像对为其两个消费者做不同准备：检测器接收缩放至特定像素并归一化的彩色图像，立体匹配器接收转换为8位灰度并下采样两倍的图像对。实时立体处理方面，为降低立体处理的计算开销，采用NVIDIA VPI在Jetson AGX Xavier上进行立体视差估计，VPI的半全局匹配实现在CUDA后端上对半分辨率灰度图像对以5像素匹配窗运行，匹配置信度低于固定阈值的像素从视差图中掩除，使距离阶段仅采样匹配器自身认为可靠的视差。立体视差模块的计算性能在两种条件下评估：作为独立处理模块单独基准测试时，平均处理速率约20 FPS；而作为完整板载感知流程的一部分执行时，立体视差阶段的平均延迟约0.06 s每立体图像对。二者差异源于评估范围不同，独立基准反映视差模块自身的处理速率，而阶段延迟在集成流程运行中测量；本文全程分别报告独立FPS与流程阶段延迟。潜水员检测模块方面，系统采用DAMO-YOLO-Tiny作为板载潜水员检测器，因其在嵌入式平台上检测精度与推理延迟之间具有良好平衡；本应用中检测器使用多种水下条件下采集的图像训练为水下潜水员单类模型，使系统在观察距离、身体姿态、光照与背景外观变化下仍能定位潜水员。校正后的左右立体图像以特定输入分辨率分别由检测器处理，推理时置信度低于0.25的检测被丢弃，并以0.65的IoU阈值应用非极大值抑制以去除冗余边界框，检测区域随后用作潜水员跟踪、立体对应与3D关键点估计的兴趣区域。检测器并非作为独立识别任务，而是作为ROV感知系统的前端：将后续处理限制在检测到的潜水员区域可减少不必要的计算，并为下游潜水员相对3D位置与上半身姿态估计提供空间一致的观测，该配置使连续潜水员感知在Jetson AGX Xavier的计算约束内得以实现。潜水员跟踪方面，为在连续帧间保持连续潜水员观测，检测到的边界框使用BoostTrack关联，这是一种适合实时嵌入式运行的轻量级基于检测的跟踪方法；跟踪器结合运动预测与检测–轨迹关联，在暂时漏检、部分遮挡及潜水员与ROV快速相对运动时保持潜水员身份；未立即匹配的轨迹保留10帧，在流程速率下约2 s，使视觉检测的短暂中断得以桥接而无需重新初始化轨迹。跟踪在左右立体图像流上独立进行，但水下场景中可见度降低、遮挡或视点差异可导致潜水员仅在一个视图中被检测到，这种不对称检测会中断立体处理并降低下游3D定位的可靠性；为保持立体一致性，当潜水员仅在一幅图像中被检测到时，使用标定的立体相机几何将对应边界框投影到对侧视图，所得成对兴趣区域随后用于后续3D关键点估计与基于立体的定位，该跨视图补偿提高了潜水员观测的连续性并有助于在ROV运行中保持稳定的相对位置与姿态估计。当潜水员在两个视图中均丢失时，流程区分两种情况：短于跟踪器10帧保留窗口的丢失由轨迹预测桥接，检测重现时潜水员以不变身份被重新捕获；更长的丢失，例如潜水员完全离开视野，则导致已发布的潜水员估计被重置，所发布向量的所有字段置零，使控制器不会接收到过时位姿，此后重新进入视野的潜水员被视为新检测而非重新捕获的轨迹；由于系统面向一载具伴行一潜水员的潜伴配置，新检测已足够，仅在存在多名潜水员时才需要跨长间隔的持续身份，这将在第5节讨论。潜水员姿态估计方面，为估计潜水员上半身的三维构型，系统采用Poseiden，这是为水下机器人应用开发的基于立体的人体姿态估计框架；Poseiden针对水下无3D真值的情形设计，将关键点与视差输出耦合为单一重投影目标，使二者均可仅由2D标注监督，这使方法具有广泛适用性，但视差分支仅获得间接监督。在本工作中该约束不适用，因为合成立体图像对渲染时带有精确的逐关节视差；训练过程被修改为两个分支分别监督：使用标注水下图像对关键点解码器施加基于热图的损失，视差解码器则直接针对合成真值视差训练；直接监督视差而非通过耦合重投影项，提高了重建3D身体几何的一致性。在所提系统中，对应被跟踪潜水员的图像区域从校正立体图像对中提取并用于估计3D身体关键点，所得关键点特别是肩与髋关节定义了潜水员身体参考轴，并用于估计上半身姿态。潜水员姿态估计方面，潜水员上半身姿态由重建的3D肩与髋关键点估计，这些关节用于定义表示潜水员纵向、横向与正面方向的身体固连坐标系，所得姿态为ROV提供近距离交互中潜水员身体对准的信息。设左右肩与左右髋的中点为式(1)，其中分别表示左肩、右肩、左髋与右髋的3D坐标；主要身体方向由式(2)获得；归一化后按式(3)构建正交身体坐标系；相应身体旋转矩阵按式(4)定义；两个叉积按此顺序取以使坐标系保持稳定，脊柱方向作为坐标系的固定轴，因为肩与髋中点是估计器返回的最稳定地标，肩线仅用于确定身体所在平面而本身并非坐标系轴；以脊柱为某轴、再以肩线为另一轴，得到右手正交坐标系，其第三轴为肩线垂直于脊柱的分量，故因视角而倾斜或透视缩短的肩线不会使坐标系倾斜；胸部朝向的符号也是救援行为据以判断载具是否位于潜水员身后的量，因此稳定的符号对系统比任何单个欧拉角的精度更重要。由于身体坐标系与相机坐标系采用不同轴约定，按式(5)施加固定校正矩阵，该矩阵仅重排并重定符号轴，使身体坐标系遵循ROV轴约定，它是常数变换，不从未自数据估计也不对参考传感器归零；经此变换后的姿态因此与第4.3节评估所用参考测量处于相同轴约定。潜水员姿态最终用ZYX欧拉角表示（式(6)），所得姿态与相对位置估计结合，以描述潜水员相对于ROV的位姿，二者在同一坐标系中表达并一起发布给板载控制器。潜水员距离与ROV相对位置方面，潜水员相对3D位置使用由校正左右相机图像获得的立体视差独立于姿态估计进行估计；对校正立体相机系统，深度Z及相机坐标系中相应3D坐标按式(7)计算，其中f为焦距，B为立体相机基线，d为所测视差，表示相机主点。较大视差对应距相机较近，视差随潜水员远离而减小，故深度不确定性在较远距离愈发显著，准确的水下立体标定、图像校正与稳定视差估计因此直接关系到ROV相对定位的可靠性。两个阶段对该计算贡献不同的量：重建的上半身关键点确定测量位置，代表性潜水员位置的图像坐标为躯干中心，即肩中点与髋中点的均值；该点深度Z随后从校正立体图像对上计算的视差图读取，而非取自姿态估计器的关节级视差输出；视差以躯干中心为中心的特定像素窗口内有效、置信掩膜值的均值采样，采样于视差图半分辨率；使用窗口而非单像素，是因为躯干并非平面且其上单视差噪声较大，窗口尺寸受限以使其在最短工作距离下仍位于躯干内。基于视差的距离仅在有限范围内可靠：远端视差随距离下降，估计对匹配误差愈发敏感，在分析记录中约3.5 m起观察到距离抖动，流程将距离门限设为3.5 m，并以3 m作为定量使用与控制器设定点的工作极限；近端潜水员占据大部分视野，躯干窗口跨越深度明显不同的表面，定位窗口的关键点在帧间移动许多像素，故采样距离在约0.7 m以下变得不稳定；救援要求载具接近至潜水员可达范围内，故近端不能简单排除，由下述回退覆盖。基于潜水气瓶的近距回退方面，在立体视差稳定的范围以下，距离由左图像中潜水员气瓶的表观宽度估计；气瓶是直径D已知的刚性物体，始终存在于水肺潜水员身上，且在救援接近时从后方可见，这正是载具距潜水员最近的情形；轻量级分割网络（RF-DETR-Seg-Nano）返回气瓶掩膜，测量掩膜宽度w的像素数，针孔相机模型按式(8)给出距离，实验中使用的气瓶取特定直径；选择该分割网络因其速度，估计受若干规则保护：仅当身体坐标系估计表明载具位于潜水员身后、处于后向±60°以内时才启用回退，因为否则气瓶不能可靠可见；两个距离来源的切换使用迟滞，当估计距离降至0.8 m时分割距离接管，仅当距离升至0.9 m以上时才恢复立体视差，从而防止两来源在阈值附近交替；掩膜缺失或不合理的帧由近期估计的中值滤波桥接，低于尺寸阈值的掩膜碎片被丢弃，形状与圆柱不一致的掩膜被拒绝；低于0.45 m时视觉估计不再被信任，距离被钳制到0.3 m，即救援行为使用的最小距离，直至明显观察到潜水员远离；最后，对所选距离施加卡尔曼滤波以抑制任一来源的单帧跳变，潜水员丢失时重置滤波器。所得相机坐标系位置按式(9)表达；为提供ROV可直接使用的坐标系中的位置，使用标定的相机到载具外参按式(10)将估计位置从相机坐标系变换到ROV坐标系，其中分别表示从相机坐标系到ROV坐标系的旋转矩阵与平移向量。所得ROV相对位置为潜水员跟随与相对位置保持提供度量距离与方向信息，与上一节估计的上半身姿态一起定义了从载具观测到的潜水员位姿；横向坐标X与Y由躯干中心的图像位置与距离Z导出，因此第4.4节评估刻画的是距离这一被测的量，横向坐标则继承其精度并按偏离主点的像素偏移缩放。潜水员状态分类方面，救援行为须由载具可观测的事物触发，场景研究将异常潜水员状况识别为机器人须识别的两类紧急情况之一，因此流程从重建3D关键点的运动对潜水员状态分类；16个连续关键点集的窗口在流程速率下约3秒，被送入动作分类器以区分三种状态：正常游动、无意识潜水员与恐慌潜水员；输出发布前，类概率用指数移动平均平滑，施加逐类阈值，且状态变化仅在连续三次分类器输出中持续后才被接受，窗口每输出一帧前进一帧；该滤波引入1.4–2.4 s的检测延迟，以换取载具机动时输出不在状态间闪烁；状态与位姿一并发布，进入救援行为的决定由控制器而非感知流程作出。输出与载具控制器接口方面，流程通过ROS并以流程速率发布单个潜水员向量，由载具坐标系位置、作为横滚俯仰偏航的上半身姿态及潜水员状态组成；Cho等人的相对空间控制器将该向量作为定义其轨迹的潜水员坐标系位姿；在本系统中，该向量供引导、跟随与救援行为使用：引导行为仅使用距离以对潜水员保持设定范围；跟随行为在三个轴上跟踪潜水员并使用完整位置；当状态指示潜水员无意识时进入救援行为，随后使用身体姿态移动到潜水员身后、使用距离接近（近距切换到基于气瓶的估计），最后抓取潜水员并上浮；该向量不含有效性标志，潜水员丢失通过将向量所有字段置零来指示。潜水员感知系统的输出在载具所有运行模式下以相同形式提供给控制系统，模式仅决定由谁对其采取行动，模式在任务前设定，当运行中收到操作员指令时，板载控制器就地执行该指令以替代该行为。算法1总结了逐帧处理：检测器与立体匹配器在同一校正图像对上运行；姿态估计器依赖被跟踪框；距离依赖关键点（用于采样位置）与视差图；状态分类器依赖关键点历史；气瓶分割与状态分类器在独立线程中运行，以免延长姿态与距离估计的关键路径。表1列出集成运行中测得的各处理阶段延迟，总端到端处理延迟约0.20 s每立体图像对，对应NVIDIA Jetson AGX Xavier上约5 FPS的更新率；气瓶分割与潜水员状态分类在并行线程中运行，不在该关键路径上。

实验部分，系统使用受控与开阔水域环境下采集的水下数据评估。训练与测试水池记录的数据采集于2022至2025年间在多个水下测试场进行，包括水下机器人测试与评估中心（UTEC）、韩国机器人融合研究院（KIRO）与韩国海洋科学技术院（KIOST）的设施，以及韩国浦项的开阔水域环境；选择这些测试环境以涵盖背景外观、光照、可见度与潜水员–ROV距离的变化，代表实际潜水员–ROV作业。在每个测试场，立体相机系统在数据采集前于水下标定，标定板浸没并透过相机壳体成像，使标定描述实际工作几何。对第4.3与4.4节报告的定量评估，潜水员在测试水池距相机1.5、2与3 m的地面标记处保持位置，涵盖载具运行的1–2 m潜伴距离上部并延伸至立体距离的3 m工作极限；在每个标记处潜水员先保持平衡姿态，随后原地转向四个约相隔90°的航向，使姿态估计可在转向及稳态姿态下被观测。还采集了代表异常潜水员状态（模拟无意识姿态与类癫痫运动）的额外序列，以拓宽ROV观测到的身体构型范围并评估状态分类器。对潜水员姿态的定量评估，将姿态与航向参考系统（AHRS）传感器刚性安装在潜水员气瓶上作为姿态参考；气瓶绑在潜水员背板上，因此大致平行于上半身，其姿态被作为第3.4.2节定义的上半身姿态的参考；未施加气瓶与躯干间的额外对准，二者间任何残余偏移均计入所报告的姿态误差；AHRS与立体相机记录使用时间戳进行时间对齐，参考被变换到ROV坐标系以与视觉估计比较。在用于第4.4节深度来源比较的较早系列记录中，气瓶上还附有用于水声定位的声脉冲器，并对脉冲器与上半身参考位置间的已知偏移进行补偿；潜水员佩戴的传感器提供评估用真值，不参与所提系统的运行，这一分离对预期应用很重要，因为需要救援的潜水员不能假定携带水声发射器或姿态传感器。合成立体数据方面，除真实水下测量外，使用Unreal Engine生成合成立体数据以补充3D潜水员姿态估计的训练数据；调整虚拟立体相机配置以再现物理相机系统的基线与焦距特性，共生成5000对同步立体图像对。合成数据集遵循COCO风格标注格式，含17个潜水员身体关键点，其中姿态估计器使用的12个身体关节（肩、肘、腕、髋、膝、踝）保留用于训练；由于模拟环境中相机几何与潜水员姿态已知，生成数据为训练3D姿态估计组件提供一致的立体对应与视差信息；合成数据与真实水下图像一起使用，以提高系统对潜水员姿态与观察距离变化的鲁棒性。潜水员检测训练与评估方面，检测器使用约70,786幅含108,716个标注潜水员实例的真实水下图像训练，测试集由15,169幅含23,133个标注的图像组成；为防止时间数据泄漏，数据集按记录场景与视频序列而非随机划分单帧进行划分，同一水下场景或下潜序列的所有帧仅分配给训练集或测试集之一，防止同一记录中时间相邻且视觉相似的帧同时出现在两集。DAMO-YOLO-Tiny以单目标类（Diver）训练300个epoch，批大小512。为评估检测阶段的可靠性，将检测器与Faster R-CNN（R101–FPN）、Deformable DETR（R50）及YOLOv5n比较，所有模型使用相同训练与测试划分训练和评估以提供一致比较。结果显示，三个较大基线检测器均在水下潜水员数据集上取得高检测精度，Faster R-CNN与Deformable DETR的mAP50为0.989，DAMO-YOLO-Tiny的mAP50为0.990、mAP50:95为0.874；轻量级YOLOv5n精度较低，mAP50为0.949、mAP50:95为0.671。这些结果表明所提ROV系统采用的检测器在水下潜水员上保持高识别精度，同时与板载感知流程的计算要求兼容；检测是第一阶段，漏检或不稳定检测会直接传播到后续跟踪、立体定位与3D姿态估计阶段。3D潜水员姿态训练与姿态评估方面，基于立体的潜水员姿态估计器使用共6840对立体图像训练，训练数据集由5000对合成立体图像、920对真实水下潜水员图像对以及使用色调、饱和度、明度与图像模糊变化生成的额外920对增强图像对组成，模型训练100个epoch；训练中关键点估计组件使用真实水下图像数据监督，视差估计组件使用具有真值视差的合成立体图像对训练，该组合用于在保持身体关节估计的真实水下外观的同时为立体视差估计提供可靠几何监督。重建上半身姿态的精度由估计旋转与AHRS参考旋转间的测地线旋转误差（式(11)）测量，即把一个坐标系带到另一个坐标系的单一旋转的角度，报告为记录所有帧上的平均绝对误差（MAE）与均方根误差（RMSE）；测地线误差作为主要指标，因为它同时界定每个轴的误差，横滚、俯仰或偏航任一分量的误差均不超过该值，故单一数字刻画了坐标系，且其从不小于任何逐轴误差。按参考距离给出的结果显示，在所有1968帧上测地线MAE为某值、RMSE为某值；作为比较，原始Poseiden权重在具有相同AHRS参考的较早测试水池记录上给出平均测地线误差为某值，而由相同2D关键点进行的基于三角化的重建为某值；第3.4.1节所述的视差分支重训练将误差降至此处报告的范围。逐轴轨迹显示剩余误差所在：控制器用于将载具置于潜水员身后的偏航，在每个航向跟随中无明显滞后且仅有几度偏移；误差集中在横滚与俯仰，潜水员转向时刻出现高达约某值的短时偏移，此时一侧肩部暂时被遮挡且肩线观测不佳，且在1.5 m第一个航向期间俯仰显示10–某值的偏移；两种效应随距离减小，误差从1.5 m的某值降至3 m的某值，原因与第4.4节讨论的距离估计相同：近距离时潜水员占据大部分图像，故关键点位置的给定不确定性对应更大的像素位移与更大的重建几何变化。该精度是否足够以控制器对姿态的用途判断：救援行为使用朝向的符号决定载具是否位于潜水员身后，这是边界距真实朝向某值的二元决策，并在后向某值以内启用近距回退；RMSE为某值、最近距离处为某值，在载具接近后向时相对第一边界留有数倍于误差的裕度，并使第二者良好处于其扇区内；以某值为边界的八扇区航向离散化在多数帧中可分辨；因此某值的RMSE足以支撑载具所执行的行为，尽管不足以支撑需要几度精度姿态的任务。基线估计器倾向于将潜水员重建为正面构型，即便实际身体姿态与面向相机方向差异很大，这导致估计的身体轴朝相机视点塌缩；研究人员将塌缩归因于原模型的训练方式：其关节级视差仅通过重投影左右2D关键点与标注的一致性间接监督，而肩与髋间的视差差异仅为几个像素，将其压平为单一深度几乎不增加训练损失；重建的躯干因此位于平行于图像的平面内，由其计算的朝向无论潜水员实际姿态如何均指向相机。如第3.4.1节所述直接以合成真值监督视差分支，恰好惩罚这些关节间视差差异中的误差；相比之下，所提重训练方法产生更一致的3D上半身几何；红色轴表示脊柱方向，蓝色轴指示潜水员朝向，绿色轴表示肩部方向；该差异直接关系到潜水员–ROV交互，因为塌缩的身体坐标系给出错误的潜水员朝向估计，进而误导接近与跟随行为；改进的身体轴重建恢复了接近行为所依赖的朝向。潜水员距离评估方面，关于深度来源选择，重训练的姿态估计器重建的上半身几何对姿态足够一致，但其关节级视差输出不足以精确恢复绝对距离；为决定距离应来自何处，在较早系列测试水池记录中于相同关键点导出图像位置比较了三种深度估计，其中潜水员携带声脉冲器作为位置参考：姿态估计器的关节级视差、校正立体图像对上计算的视差，以及单目度量深度估计器Depth Pro作为外部参考；该比较中的误差为估计与参考位置沿ROV坐标系前向（深度）轴的绝对差，在0–3 m上平均距离误差分别为0.96 m、0.29 m与0.26 m，在3–5 m上分别为4.17 m、0.62 m与0.41 m；两种基于视觉的来源随距离表现不同：校正图像对上计算的视差随目标远离逐渐退化，而姿态估计器的关节级视差在近距离以外变得不可靠；Depth Pro在3 m以内以较小幅度、在更远处以较大幅度比立体视差更准确，但其在Jetson AGX Xavier上的独立速率约为0.15 FPS，而立体视差模块在相同独立基准下约为20 FPS，故无法跟上潜水员与载具的相对运动；因此部署配置从重建关键点获取图像位置、从立体视差图获取距离，并在视差稳定范围以下采用基于气瓶的近距回退；该比较中的误差相对于精度有限的水声参考，包含0.7 m以下范围，且为未滤波的逐帧值，其作用是排序来源而非刻画部署估计，后者由第4.4.2节完成。关于对照水池标记的距离精度，随后对照第4.1节所述地面标记测量部署距离估计的精度；潜水员在每个标记处保持位置30 s，将流程发布的经卡尔曼滤波距离（即控制器接收的值）与标记距离比较；表4报告每个标记的MAE与RMSE，图8显示三次记录。在242帧上MAE为0.087 m、RMSE为0.109 m，约为被测距离的4%；误差在最近标记处最大并随距离减小，从1.5 m的0.123 m降至3 m的0.056 m；这与仅由视差量化预期的趋势相反（后者深度误差随距离平方增长），表明在这些距离上误差并非由视差精度主导，而是由视差采样位置主导；近距离时潜水员占据大部分图像，躯干表面跨越视差可分辨的深度范围，定位采样窗口的关键点在帧间移动许多像素，故窗口逐帧读取略有不同深度的表面；在3 m处整个躯干落在内部深度变化低于视差分辨率的较小区域内，估计相应稳定；卡尔曼滤波将1.5 m处的帧间变化转化为图8a中可见的缓慢偏移（1.16 m至1.64 m之间），潜水员在标记处的自身摇摆也有贡献；1.5 m估计还带有朝向相机的小偏置，2 m估计带有远离相机的偏置，两种情况下偏置均小于散布，RMSE与MAE之比为1.1–1.3表明无大离群值的散布；同样的近距离关键点放置敏感性也是0.8 m以下需要回退的原因。关于近距行为，图9显示从潜水员身后记录的单次接近序列上的两个距离来源，从约0.65 m降至约0.22 m；立体视差距离在约0.45 m以上与基于气瓶的距离相差数厘米以内，低于该值后其振荡幅度为某值、返回孤立值，并最终在置信掩膜拒绝躯干视差处缺失；基于气瓶的距离在整个序列中单调减小；本序列中立体视差可用至约0.45 m，不稳定起始在不同记录间变化，第3.5节的0.7 m数值与0.8 m切换相对其是保守的；这是近距回退的迟滞切换已交接给气瓶掩膜的区间，也是救援行为向潜水员闭合最后一米的区间。综合来看，距离阶段覆盖从救援行为0.3 m钳制到3 m工作极限的范围：从约0.9 m向外使用立体视差，在载具位于潜水员身后时0.8 m以下使用气瓶掩膜，二者之间为迟滞带，当载具不在潜水员身后时使用滤波器保持的最后立体值；超过3 m后估计继续发布至3.5 m门限但未量化且不用于设定点。潜水员状态分类评估方面，状态分类器在测试水池相同三个距离处评估；在每个距离潜水员正常游动20 s，随后采用模拟无意识姿态再20 s，将40 s内的分类器输出与标注转换比较；由于第3.6节滤波延迟每次转换，标注转换3 s内的输出对任一状态均接受为正确，准确率为其余输出与标注匹配的比例；分类器区分的三种状态中，这两种被定量评估，因为它们是救援行为必须区分且最难区分的两种，无意识潜水员与静止潜水员仅在姿态缓慢漂移上不同；恐慌状态产生对分类器而言不会错认的大幅肢体运动，在记录的每个恐慌序列中均被识别。结果显示，333个输出上准确率为99.1%，唯一错误是在2 m处转换后约十秒出现短暂回归正常状态（连续三个输出）；1.4–2.4 s的检测延迟源于时间滤波，分类器看到16帧窗口，故约需窗口一半被新姿态填充输出才变化，移动平均与三输出驻留再增加不到一秒；对救援行为而言，该延迟相对载具移动到潜水员身后并接近所需时间很小，滤波输出可由控制器直接用作触发。异常状态序列中未记录姿态参考，故这些姿态下的姿态误差无法测量；图11显示恐慌序列与无意识序列的代表帧，二者中上半身关键点与身体坐标系在整个序列中被重建，包括恐慌状态的不规则肢体运动与无意识状态的倒置抬肢姿态；目视检查未发现这些序列与正常游动之间关键点重建的差异。开阔水域运行与现场演示方面，关于开阔水域感知，系统在开阔水域环境中运行，光学条件与用于定量评估的受控水池显著不同：照明由自然光提供并随深度衰减，悬浮颗粒遍布水柱，无池壁提供均匀背景；在开阔水域现场部署水声定位系统不切实际，故无度量参考，开阔水域序列为定性评估；在这些条件下流程继续检测与跟踪潜水员、重建上半身关键点并产生姿态与距离估计，未出现长于跟踪器保留窗口的丢失，表明感知阶段在定量刻画所用的受控环境之外仍能工作。由于度量距离取自立体视差图，视差阶段在开阔水域的行为尤其值得关注；开阔水域帧及相应视差图显示，尽管对比度降低且无结构化背景，潜水员在视差图中被恢复为连贯区域并与周围水体及画面右侧可见的海床结构分离，故在关键点导出图像位置采样的深度保持良好定义。关于使用载具控制器的系统级演示，感知输出的目的是被据以行动，故最终评估是当其控制器由其驱动时载具是否行为正确；这是系统级演示而非对控制器的评估，相对空间控制器在文献[5]中设计并分析，运行于独立的板载计算机，其跟踪性能是该工作的主题，本节报告所发布潜水员向量是否足以在开阔水域执行引导、跟随与救援行为。试验于2026年8月在韩国浦项外海5–9 m深度进行，使用一名职业潜水员；三个场景各运行五次，每次运行约五分钟，由约30 s的动作组成。在引导场景中，载具在潜水员两次接近与两次远离时对其保持1 m与2 m的设定距离；在跟随场景中，载具在潜水员以正常游动速度两次游开与两次横向穿过视野时以1.5 m跟随，载具转向以将潜水员保持在画面内；在救援场景中，潜水员采用无意识姿态，识别该状态后载具使用所发布姿态移动到潜水员身后，使用所发布距离接近并在近距采用基于气瓶的估计，随后抓取潜水员并上浮。全部15次运行均从始至终自主完成，无操作员干预；在引导运行中，载具在潜水员接近与远离时保持1 m与2 m设定距离，在跟随运行中保持1.5 m并在横向穿越时随潜水员转向，使用所发布位置将潜水员保持在视野内，若无此跟随潜水员将离开画面；在跟随运行中，感知系统发布的距离偏离1.5 m设定距离的平均绝对误差为0.065 m、均方根误差为0.098 m、平均偏置为某值，并在90.0%的帧中保持在设定值某值以内；短时间间隔内距离偏离设定值，但载具在不丢失潜水员的情况下返回设定距离。由于开阔水域无度量参考，这些数值表明载具以感知输出所测保持预期设定距离的紧密程度，该输出的绝对精度由第4.4.2节论述。每次救援运行均完成接近、抓取与上浮；控制器基于感知系统输出的位置行动，将潜水员保持在画面内，故任何运行中潜水员均未离开视野；当载具被手动驾驶且潜水员离开视野并返回时，潜水员在重新进入后三帧内被重新检测为新目标。关于感知延迟对跟随的影响，0.20 s的端到端延迟与0.20 s的更新间隔意味着控制器对某潜水员位置采取行动时该位置已有0.2 s至0.4 s的时滞；该时滞的影响取决于潜水员移动速度。水肺潜水员游速为0.4–0.8 m/s，持续速度处于该范围较低端，故控制器看到的位置滞后为0.16–0.32 m，在持续0.5 m/s时约0.2 m，尚未计入控制器自身响应的贡献；相对于1.5 m的跟随距离与0.087 m的距离MAE，滞后与测量误差相当且比跟随距离小一个数量级，这与第4.6.2节横向穿越运行在未丢失潜水员的情况下完成相一致；以0.8 m/s冲刺数秒的潜水员将使每次更新的滞后增至约0.3 m，仍在跟随距离内，但接近跟踪器保留窗口将决定潜水员是否留在画面内的范围。

讨论与结论方面，第5节局限与失效模式指出系统在何处不工作、流程在每种情况下做什么及其对安全关键行为的后果；距离估计的工作范围从0.3 m钳制到3 m工作极限。完全遮挡与潜水员从两视图丢失：若任一视图均无检测返回，跟踪器以其运动预测桥接其10帧保留窗口并保持最后发布的位姿，超过窗口后潜水员向量被清除且滤波器被重置，故控制器要么接收近期位姿要么接收明确缺失，绝不接收被呈现为当前的过时位姿；离开视野长于窗口的潜水员返回时被重新检测为新目标，故跨间隔的身份连续性不被保持；这对系统所开发的一载具一潜水员配置已足够，仅在视野中有多名潜水员时才需要跨此类间隔保持身份。极低可见度：流程不施加图像增强，检测、立体匹配与关键点估计随对比度下降一起失效，检测器最先失效；无法给出定量阈值，因为尽管记录现场可见度不同，任何记录中浊度均未受控或测量，水池记录在清水中进行，浦项开阔水域试验未进行可见度测量，故浊度、光照与悬浮颗粒对第4节精度数值的影响未知，这是评估的主要缺口；场景研究通过将相机与不受悬浮物影响的声呐配对来预见这一点，融合二者是未来工作。载具快速旋转：载具快速偏航使潜水员在图像中移动快于跟踪器运动模型预测，框关联可能失效数帧；在开阔水域运行中，载具跟随横向游动潜水员时的自身转向未导致长于保留窗口的丢失，但未测试超出控制器正常跟随时所指令的转向速率。视野中多名潜水员：跟踪器在各视图中保持轨迹身份，但系统被开发为在潜伴制度中取代潜伴，即一载具伴行一潜水员，故未考虑多名潜水员中的目标选择及两视图间的潜水员关联，将流程扩展到多名潜水员是未来工作。可靠立体对应丢失：当躯干处视差被置信掩膜拒绝时无立体距离可用，这发生在极近距离、无纹理水体及潜水员仅在一个视图中被检测时；近距离时若载具位于潜水员身后则由基于气瓶的回退接管，其他情况下距离通过卡尔曼滤波保持最后值且横向位置随之保持；单视图检测通过合成缺失框处理，使姿态估计继续运行但会降低该帧的立体距离。潜水员姿态与状态：姿态误差在近距离与转向时最大，且身体坐标系仅由肩与髋定义，故双肩均被遮挡（例如被载具自身灯光或另一潜水员遮挡）的潜水员不产生姿态，前一姿态被保持；姿态评估限于正常游动，因为异常状态序列中未记录姿态参考，这些序列为定性评估；状态分类器在一名潜水员与模拟无意识姿态上评估，尚未在真正失能潜水员上评估（无法布置），也未在载具将遇到的装备与体型全多样性上评估。极近距离时潜水员超出视野且仅部分上半身可见，关键点随之散乱，身体坐标系与姿态不可信；该范围与低于0.45 m距离被钳制到0.3 m的区间重合；到救援行为该阶段，潜水员位置已确立，试验中救援顺利完成。第6节结论指出，本研究提出一种面向潜水员救援ROV的基于立体视觉的潜水员感知系统，仅凭载具搭载的立体相机且潜水员不携带任何设备，返回载具相对空间控制器所需的潜水员距离与横向位置、上半身姿态及潜水员状态；需求取自载具的场景与控制研究，姿态被估计是因为控制器在潜水员坐标系中定义其轨迹且救援行为移动到潜水员身后。就四个研究问题而言：距离可由在关键点定义的躯干中心采样的立体视差恢复，并在视差稳定范围以下采用基于气瓶的近距回退，在1.5–3 m上平均绝对误差为0.087 m，约为距离的4%（RQ1）；上半身姿态以测地线误差MAE与RMSE恢复，在重新训练立体姿态估计器使其重建坐标系不再向相机塌缩后，处于后向接近决策所需裕度内（RQ2）；包含99.1%准确率状态分类（以一名潜水员与模拟姿态评估）的完整流程在Jetson AGX Xavier上以约5 FPS、0.20 s延迟运行，板载处理是必需的，因为载具以无缆自主模式支持潜水员，该模式下无视频链路到水面，且链路退化时其使载具保持目视（RQ3）；在开阔水域，使用所发布向量的板载相对空间控制器在全部15次运行中执行了引导、跟随与救援场景，感知输出在每个场景中均足以支撑控制与救援（RQ4）。不同来源对不同量可靠这一发现——姿态估计器用于身体几何、立体视差用于工作范围距离、气瓶掩膜用于近距离——使集成成为可能，并可能适用于其他近距离水下感知任务。未来工作源于局限：浊度与光照对所报告精度的影响未测量，第一步是记录具有受控且实测可见度并带距离、姿态与状态真值的数据集，这也将使所报告数值可与其他系统比较；将相机与载具声呐融合是将作业扩展到仅相机失效水体的预期手段；跨视图关联与目标选择将把流程扩展到多名潜水员；在控制方面，计划开展一项伴随研究报告相对空间控制器在本研究所测感知特性下的跟踪性能，包括0.2 s延迟与1.4–2.4 s状态检测延迟对接近与救援机动的影响。