基于高速骨骼追踪与自适应无碰撞运动规划的人机协作捕捉技术

《Advanced Robotics》：Human-robot cooperative catching with high-speed skeleton tracking and adaptive collision-free motion planning

　　摘要
本文提出了一种全面的动态人机协作系统，解决了多功能性与实时性能之间的关键权衡问题。特别是在协作捕捉任务中，多个物体同时被抛出，机器人需要捕捉与人类目标不同的物体，同时避免与人类发生碰撞。该系统集成了三个关键组成部分：基于ByteTrack的多对象跟踪的高速视觉识别和几何信息干预相机匹配、基于成本函数的人类意图推断的动态目标估计，以及自适应的无碰撞运动规划。通过仿真和真实世界的实验验证，证明了该系统的有效性，从视觉识别到机器人执行动作的整个过程可实现125 Hz的运行频率。在一次性捕捉一个物体、两个物体和多个物体的场景中，系统的成功率分别为54%、48%和34%，在捕捉区域内分别达到了79.1%、71.4%和55.5%的最大成功率。据我们所知，这项工作代表了首个无需特定环境方法的动态人机协作捕捉的成功演示。我们希望我们的系统能够推动机器人在协作环境中的动态操控能力的发展。

图形摘要
请阅读该图的详细描述。
该图展示了人机协作捕捉设置和实验的多个视觉示意图。在左上角的图中，一名简化的人类投手将球投向手持带杯子的机器人手臂的接收者。球沿着弧线轨迹向接收者飞去。右侧的块状图显示了两台标有Cam1和Cam2的相机，光源对准捕捉区域。两台相机通过电缆连接到一个标记为PC的个人电脑上。两个右手坐标系（X、Y、Z轴）表示机器人和相机的参考系统。下半部分是一个大的流程图，展示了处理流程。两个输入框（标有image1和image2）分别进入名为MOT（多对象跟踪）和Skeleton跟踪的分支。后续的框包括干预相机匹配、三角测量、轨迹预测、确定目标、无碰撞运动规划、捕捉策略和协作捕捉，箭头示意了数据传递，如物体位置、手腕位置和目标位置。流程图旁边有小的人形机器人图示，标出了投手、接收者和目标的姿态。右上角的三个连续照片显示了站在实验室空间中的人和带有运动捕捉标记的机器人手臂，天花板附近可见一个球和一个方形目标。右下角的散点图显示了球在三维坐标系（X、Y、Z轴）中的轨迹和机器人姿态。不同的点颜色和标记区分了跟踪点、轨迹曲线、机器人姿态、目标姿态和人类位置。所有数据均为近似值。

关键词：
协作捕捉；人机协作；高速控制；高速3D视觉；无碰撞运动规划

1. 引言
人口减少和劳动力短缺要求在有限的人力资源下提高工作效率。工业5.0越来越强调人类与机器人之间的紧密协作[Citation1]。这种转变要求机器人能够处理多样化的静态和动态任务[Citation2]。为了解决这一挑战，人们积极探索了人机协作（HRC）系统，旨在提高机器人的多功能性和安全性[Citation3]。然而，这些系统仍然面临多功能性与实时性能之间的根本权衡[Citation3]。虽然基于深度学习的方法提高了多功能性，但其处理延迟限制了其在准静态环境中的应用[Citation4–6]。另一方面，基于高速相机的方法缓解了延迟问题[Citation7]，但仍受环境条件的影响[Citation8]。因此，多功能性与响应性之间的权衡问题仍未解决。因此，本文针对动态任务中的有效HRC，解决了多功能性与响应性之间的权衡问题，如图1所示。具体来说，我们提出了一个用于协作捕捉的HRC系统，该系统结合了使用立体相机的快速反馈控制循环、视觉识别、人类意图估计和无碰撞机器人运动规划。在协作捕捉中，多个物体同时被抛出，机器人尝试捕捉与人类目标不同的物体，同时避免与人类发生碰撞。在本文中，我们使用“协作”一词表示基于在线人类意图推断的互补任务分配和安全意识运动规划，而不是更强的合作形式，如双向相互适应的运动策略、目标的具体沟通或通过重复交互实现的长期共同适应。

图1. 与我们现有的人机协作研究进行比较，以及我们系统的创新贡献。
该图展示了一个散点图，比较了不同人机协作任务的工作环境和反馈频率。水平轴以对数刻度表示反馈频率（Hz），刻度为1、10、100和1000。左侧对应静态任务，右侧对应动态任务。垂直轴表示工作环境，从底部的有限环境到顶部的一般环境。几个椭圆形标记表示先前的研究任务。组装/拆卸位于一般环境中的静态任务。交接任务的频率约为10 Hz，可变形物体操纵略低于此频率。协作球定位位于有限环境中的约10 Hz，而穿衣辅助位于约30 Hz。插销入孔任务位于高度动态区域的约1000 Hz。一个突出的椭圆形标记（我们的协作捕捉，125 Hz）位于动态任务侧和更一般的环境中，大约在100 Hz。一个标有“高速反馈控制（第3、4、5节）”的矩形位于图的中心。另一个矩形，标有“基于深度学习的高速跟踪（第3节）和无碰撞运动规划（第5节）”，位于右侧，箭头指向协作捕捉标记。所有位置均为近似值。

我们的目标不仅限于协作捕捉任务本身，而是开发一个适用于共享工作空间的动态人机协作的一般框架。所提出的系统端到端运行，无需依赖特定环境的假设。这一框架可以直接应用于实际任务，即使在动态环境中也能帮助弥补劳动力不足。例如，在协作分拣或包装中，机器人可以跟踪多个物品并推断出人类工人的下一个目标，然后自主处理剩余物品，同时安全地避免与人干扰。同样，在配组和组装中，机器人可以预先处理互补部件；在仓库或医疗物流中，它可以在共享工作空间中协助快速取物和交接物品，并实时推理人类的意图。为了实现协作捕捉，我们扩展了我们之前的工作[Citation9]，该工作解决了单个人类骨骼跟踪与手动编程的目标跟踪问题。然而，这个系统仍无法处理现实世界的协作场景，需要多人多物体识别以及动态目标确定以确保安全。因此，我们扩展了系统以支持多物体和多人骨骼跟踪，并结合自适应捕捉策略和运动规划。

图2. 所提出系统的概述。我们使用立体相机而不是普通的RGB-D相机进行3D位置计算，同时保持高处理速度。处理流程包括三个集成模块（看-思考-行动，L-T-A）：（L）同时进行物体和人类姿态的3D跟踪以进行感知；（T）选择与人类目标不同的机器人目标以进行决策；（A）无碰撞物体捕捉以执行动作。

主要贡献包括：一个综合系统，集成了3D多物体和高速多人类骨骼跟踪、动态目标选择以及动态协作捕捉的运动规划。（L）使用匈牙利算法和立体相机几何约束引导的3D多对象跟踪（MOT）方法，以及考虑位置和形状的成本函数的2D跟踪。（L）高速多人类骨骼跟踪。（T）实时人类目标估计和自适应机器人捕捉位置选择的主动捕捉策略。（A）基于我们之前工作的自适应运动规划，确保成功捕捉和避免碰撞[Citation9]。

本文的组织结构如下：第2节回顾了HRC研究和相关技术。第3节描述了3D跟踪方法，包括MOT、高速骨骼跟踪和干预相机匹配。第4节介绍了人类目标估计和机器人位置选择的捕捉策略。第5节详细介绍了碰撞避免运动规划方法。第6节通过真实世界的协作捕捉实验对系统进行了评估，并在补充材料中提供了详细评价。第7节讨论了性能、局限性和未来发展，第8节总结了全文。因此，我们采用了合作捕捉作为一项动态协作任务，它带来了超出传统物体捕捉的独特挑战。系统必须同时确定哪些物体是给人类捕捉的，识别剩余物体的最佳捕捉位置，并在严格的时间限制内规划无碰撞的轨迹。虽然我们之前的工作[Citation9]为动态HRC（人类与机器人的合作捕捉）建立了基于无碰撞运动规划和高速骨骼跟踪的基础框架，但我们应该增强“观察”（L）和“思考”（T）组件的灵活性，以适应动态合作捕捉的需求。为了解决这些挑战，如图1所示，本文在L-T-A组件中展示了新颖之处：

观察（L）：结合几何信息的3D物体和高速多人体骨骼跟踪以及摄像机间匹配。
思考（T）：用于人类目标和机器人捕捉姿态估计的低延迟主动捕捉策略。
行动（A）：将这些增强的L-T组件无缝整合到我们的无碰撞运动规划框架[Citation9]中。

3. 视觉识别
在本文中，人类安全被赋予最高优先级。为此，我们采用了基于ByteTrack[Citation32]的标准MOT（运动跟踪）方法。所提出的2D跟踪方法遵循ByteTrack[Citation32]的两阶段关联策略，并采用了一个精细的成本函数，该函数考虑了位置、形状和检测标签。

3.1. 多物体跟踪
为了实现MOT，我们使用基于深度学习的YOLOv10[Citation47]进行无标记物体检测，并使用匈牙利算法在帧之间关联物体。为了便于物体关联，我们使用卡尔曼滤波器实现的恒定速度模型预测每个物体的下一个位置。关联过程包括两个阶段：高置信度（检测置信度≥0.5），然后是低置信度（检测置信度≥0.1）[Citation32]。成本函数Costassoc考虑了位置接近度、形状相似性和类别标签，如下式所示：
Costassoc = aRMSE + ashape + CostID,
其中，
CostRMSE = (xA ?xB)2 + (yA ? yB)2,
Costshape = max(wA/hA, wB/hB),
wA/hA = max(SASB, SBSA),
CostID = {
0 如果 IDA = IDB,
COSTMAX 如果 IDA ≠ IDB.
}

3.2. 高速骨骼跟踪
在我们的系统中，我们采用了之前工作[Citation9]中提出的高速骨骼跟踪方法，包括参数设置，以低延迟估计人体姿态。我们的系统由三个主要组件组成：结合深度学习检测和光流处理的混合跟踪、动态搜索区域调整以及多人体关联过程。关于前两个组件的详细描述，请参考我们的之前的工作[Citation9]。在这里，我们描述了如何将该方法扩展到多个人体。

为了将之前的骨骼跟踪扩展到多个人体，我们使用整体人体边界框进行2D关联，采用多物体跟踪方法。每当有基于深度学习的检测结果时，就进行关联。为了利用高速跟踪，我们使用光流得到的最新跟踪结果来细化整体人体边界框，而不仅仅依赖于基于深度学习的检测。具体来说，我们根据六个手臂关节的跟踪位置更新每个人的边界框中心和宽度。与传统的MOT方法[Citation32]相比，这种方法能够实现更准确的关联，因为后者通常仅依赖于卡尔曼预测，而我们的方法结合了最新的实际跟踪结果[Citation48]。
每当有基于深度学习的检测结果时，就执行摄像机间匹配；而当光流检测到新运动时，则执行关节三角测量。

3.3. 摄像机间匹配
在计算物体的3D位置之前，需要进行摄像机间匹配。为了实现高速匹配，我们采用了匈牙利算法，而不是基于外观的方法，例如半全局块匹配（SGBM）[Citation33]。如图3和方程(Equation2(2)所示：
Costinter = bX?CostX + bY?CostY + bshape?Costshape,
其中，
CostX = {max(0, ?1ΔXMAX?(Lx?Rx?ΔXMAX)} (如果 Lx?Rx > ΔXMIN),
CostY = |(Ly?Ry)+(RoY?LoY)|ΔYMAX,
Costshape = max(wA/hA, wB/hB),
wA/hA = max(SASB, SBSA)
这里，bX、bY和bshape是手动调整的系数，分别设置为1、5和1。LoY和RoY表示左右图像中主点的y坐标，Lx、Ly、Rx和Ry表示每个图像中的物体坐标。Costshape在纵横比和面积相同时为1，否则取最大比值，以确保随着它们差异的增大而增加。常量COSTMAX定义了类别标签不匹配时的最大允许成本，设置为1。

3.4. 视觉识别的细节说明
该图展示了一个立体几何设置，包含两个标有“Left”和“Right”的矩形图像帧。每个帧顶部都有一个圆形物体，一条垂直线从顶部边缘伸出，穿过物体并到达底部边缘。在左帧中，一个向下箭头^{L}y跟随这条垂直线表示物体的垂直坐标。另一个向下箭头^{L}o_y从同一顶部边缘开始，进一步延伸到帧的中心，表示主点的垂直位置。右帧显示了相应的箭头^{R}y和^{R}o_y。两个帧沿着一个共享的水平基线对齐，代表图像的x方向。每个帧底部的短水平箭头^{L}x和^{R}x表示左右图像的x轴。在两个帧之间，两条几乎重叠的水平线延伸穿过图表。帧间的一个小向上箭头^{o}y表示物体位置与主点之间的垂直偏移。在最右侧，一个高垂直轴^{0}Y表示立体系统的全球垂直参考。

x坐标、y坐标和形状的个别成本组件的定义如下：在立体相机配置中，由于基线视差，左图像中的x坐标应大于右图像中的x坐标。因此，CostX设计为随着x差异的增加而减少。我们假设深度范围是0.1米到5米，并相应地设置阈值ΔXMIN=20像素和ΔXMAX=207像素。
对于CostY，由于立体相机是水平对齐的，一旦通过主点校准，相应物体的y坐标应该是相同的。这种关系在图3和方程(Equation3(3)中显示：
oy = LoY ? Ly = RoY ? Ry,
其中oy表示物体在世界坐标系中的垂直位置。
形状成本Costshape的定义与其帧间关联中的定义类似，考虑了纵横比和面积。

在计算复杂性方面，所提出的摄像机间匹配算法的复杂度为O(P2?Q)，其中P和Q是每帧中检测到的物体数量（P≤Q）。相比之下，标准的SGBM方法的复杂度为O(N?H?(W?D)?D?B2)，主要由成本聚合决定。这里，N是聚合方向的数量，D是视差范围，(W,H)是图像尺寸，B是块大小。假设典型的P,Q～O(102)，N～O(1)，H,W,D～O(102)，B～O(10)，所提出方法的复杂度大约为O(10?)，而SGBM的复杂度大约为O(10?)。因此，即使在跟踪数百个物体的情况下，我们的方法在两相机设置中的摄像机间匹配速度也大约是SGBM的十倍。

4. 捕捉策略
确定目标物体及其对应位置的流程图如图4所示。它包括四个步骤：
预测每个物体的轨迹。
计算潜在的目标位置。
使用成本函数过滤掉机器人工作区域外的候选物体。
选择最终目标。

图4. 目标确定过程的概览。在这个例子中，有两个物体（用红色和蓝色图表表示）正在被跟踪。浅蓝色线条表示机器人工作区域的边界，沿x轴对齐的平面代表潜在的目标候选位置。红色星星表示位于机器人工作区域外的位置，而黄色星星表示工作区域内的有效候选位置。

图左边的三维图表显示了两个在空间中移动的物体轨迹：一个在上方，一个在下方。两条轨迹都穿过定义机器人工作区域的立方体，该立方体用与X、Y和Z轴对齐的三维网格表示。平坦的矩形片沿X方向放置，表示潜在的目标位置。轨迹上和片子上出现了星星标记；有些位于工作区域立方体内，有些则超出其边界。一个简化的黑色人体骨架标记为Human，位于工作区域的前右边缘附近；一个风格化的手臂标记为Robot，位于立方体内，指向工作区域内的星星。
图右边的垂直流程图从上到下用箭头连接了四个步骤：“轨迹预测”、“计算潜在目标位置”、“根据机器人工作区域限制候选物体”和“选择目标”。

在本节的其余部分，我们首先描述计算潜在目标位置的方法。在合作捕捉中，需要低延迟估计人类的目标并确定机器人的目标位置。因此，我们描述了基于成本函数估计人类目标的方法以及选择机器人目标的方法。

4.1. 潜在目标位置
为了确保机器人有足够的时间到达目标位置，我们使用基于大约0.375秒的数据（我们系统中最新的15个样本）的简单抛物线近似来预测每个物体的轨迹，如方程(Equation4(4)所示：
x(t) = Cx1t + Cy1t + Cy0,
y(t) = Cy1t + Cy0,
z(t) = Cz2t2 + Cz1t + Cz0
这里，(x(t),y(t),z(t))表示在机器人根坐标系中的3D跟踪位置，单位为米，C代表用于估计的系数。
使用估计的轨迹参数，我们计算沿x轴的候选目标位置，并丢弃那些位于机器人工作区域外的位置。然后，剩余的位置被视为每个物体的有效目标候选者。在这种情况下，考虑沿x轴的位置，因为物体通常几乎是沿x轴抛出的，这是主导方向。可以通过分析跟踪物体的运动自动确定主导方向。因此，尽管我们在这项研究中关注x轴，但该方法具有通用性，不限于特定情况。

4.2. 人类和机器人目标的估计
在我们的捕捉策略中，首先估计人类目标，然后反应性地选择机器人目标。
我们假设人类估计物体的轨迹，并将他们的手腕移动到未来的捕捉位置。因此，我们计算人类手腕与垂直于x轴的平面上预测物体位置之间的距离，其中x坐标与人类手腕对齐。为了考虑轨迹预测的误差和人类意图的不确定性，如果预测的经过位置位于人类的捕捉区域内，则识别出潜在的人类目标。这个区域被定义为一个半径为rcatch的球体，根据剩余时间动态调整，如方程(Equation5(5)所示：
rcatch = max(rMIN, rMAX?ΔtTMAX)
这里，rMAX为0.25米，rMIN为rMAX/2，TMAX设置为1秒。
一旦估计出人类目标，就根据以下三种策略确定机器人的目标。如果有人类捕捉区域外的物体，机器人选择使得成本函数最小的物体作为其目标。如果有多个物体并且都位于人类捕捉区域内，则应用主动捕捉策略来提高性能：在这种情况下，机器人的目标位置ptarget使用方程(Equation6(6)计算为候选位置的加权平均值：
ptarget = ∑iwipi
其中wi表示距离，di表示第i个物体到人类手腕的距离。
最后，如果只检测到一个物体并且它位于人类捕捉区域内，机器人保持静止。选择机器人的目标位置
我们根据成本函数从候选位置集中选择目标位置，如公式（Equation7(7)）所示：
Costinter = αΔt + αdrob2tar + αdtar2wri
CostΔt = max(0, 1 ? Δt/TMAX)
Costdrob2tar = drob2tar / TMAX
Costdtar2wri = max(0, 1 ? dtar2wri/TMAX)
(7)
该公式考虑了三个指标：到达目标的剩余时间（Δt）、机器人到目标的距离（drob2tar）以及目标与人手腕之间的距离（dtar2wri）。
这里，αΔt、αdrob2tar 和 αdtar2wri 会根据物体到达目标位置的剩余时间动态调整。这种设计旨在使系统能够根据当前情况自适应地选择最合适的任务目标。为了防止机器人在接近目标时出现振荡运动，与机器人-目标距离（drob2tar）相关的成本被赋予最高优先级，其次是与人手腕的距离（dtar2wri），最后是剩余时间（Δt）。具体来说，当 Δt 从 1.0s 减小到 0.1s 时，权重会按以下方式调整：
αΔt: 从 1 调整到 0
αdrob2tar: 从 1 调整到 1
αdtar2wri: 从 1 调整到 0.25

剩余时间 Δt 被定义为当前时间与机器人抓取物体预计时间之间的差值。归一化项中使用的常数如下设定：
TMAX = 1s
drob2tarMAX = 1m（根据机器人的最大速度 1m/s 确定）
dtar2wriMAX = 0.4m

5. 无碰撞运动规划
无碰撞运动规划框架基于我们之前的工作[Citation9]，读者可参考该工作以获取更多细节，包括参数设置。图 5(a) 展示了三阶段过程：
输入获取：机器人的当前姿态（xrob）、抓取策略（第 4.2 节）中的抓取姿态（xcat）以及骨骼追踪（第 3.2 节）中得到的人体关节位置（xhum）。
速度计算：基于势场方法（PF）的期望执行器速度（v）（公式（Equation8(8) v = PF(xcur = xrob, xtar = xcat, xobs = xhum)），以实现快速收敛到抓取姿态同时避免与人体骨骼发生碰撞。
关节映射：使用阻尼最小二乘法将执行器速度（v）映射到关节角速度（q˙），该方法基于逆雅可比矩阵（J+）[Citation49]，如公式（Equation9(9) q˙ = J + v = (JTJ + λI)^?1Jtv）所示。
（8）v = PF(xcur = xrob, xtar = xcat, xobs = xhum) （9）q˙ = J + v = (JTJ + λI)^?1Jtv
笛卡尔速度的计算基于势场方法，其中当前姿态对应于机器人的全部六个关节（xrob），抓取姿态（xcat）被视为目标，人体骨骼（xhum）被视为障碍物。在此方法中，势场被划分为三个区域，在吸引区和排斥区之间插入了一个预防区，以抑制边界附近的振荡运动：
自由区：Rtan < dmin
预防区：Rrep < dmin ≤ Rtan
排斥区：dmin ≤ Rrep

图 5. 所提出的运动规划方法概述。
(a) 所提出的无碰撞运动规划方法的框图。
xhum：来自骨骼追踪（第 3.2 节）的人体关节的 3D 位置；
xcat：来自抓取策略（第 4.2 节）的抓取姿态；
xrob：机器人的整体当前姿态；
J+：雅可比矩阵的伪逆。

(b) 势场划分。蓝色表示自由区域，绿色表示预防区域，红色表示排斥区域 [Citation9]。

该图展示了两种无碰撞运动规划方法的示意图。左侧的框图说明了通过箭头连接的四个主要组件的信息流。左侧的第一个大块标记为“骨骼追踪”（第 3.2 节），输出一个名为 x_hum 的变量。其下方是一个标记为“抓取策略”（第 4 节）的块，输出 x_cat。这两个输出都输入到一个称为“速度计算”的中心块。第三个输入 x_rob 从循环的右侧反馈到“速度计算”块。从“速度计算”块，一个标记为 v 的箭头指向一个名为 J^{+} 的小块，表示雅可比矩阵的伪逆。其输出，标记为 q 的导数，然后流入一个名为“移动机器人”的块。从这个块，一个反馈箭头返回到“速度计算”块中的 x_rob，形成了一个闭环。该图下方标记为 (a)。

右侧的示意图展示了围绕障碍物的势场配置，障碍物由一个半径为 R_rep 的中心圆盘表示。两个较大的同心圆环围绕它，表示不同的安全区域。半径 R_tan 从障碍物向外延伸。这些区域分别标记为排斥区（内部）、预防区（中间）和自由区（外部）。

在此，dmin 表示机器人与障碍物之间的最小距离。Rtan 和 Rrep 分别代表预防区和排斥区的半径，且 Rtan > Rrep。与之前的工作 [Citation9] 一样，我们设置 Rtan = 0.35m 和 Rrep = 0.2m。
在预防区内，机器人的笛卡尔速度是根据机器人、目标和障碍物之间的位置和速度关系确定的，而不是简单地叠加吸引和排斥速度分量。下标 ‘tan’ 代表‘切线’，因为在预防区内机器人的方向通常与排斥区的边界相切。

在关节映射步骤中，为了避免雅可比行列式接近零而导致奇异，公式（Equation9(9) q˙ = J + v = (JTJ + λI)^?1Jtv）中的阻尼因子（λ）根据公式（Equation10(10) λ = {0.0 < c < c1 → λmax cos(π2?(c ? c2) / (c1 ? c2); c2 ≤ c ≤ c1) → λmax} 进行动态调整：
(10)
这里，c 代表机器人的可操作性（det(JTJ)），参数 c1 = 0.02，c2 = 0.018，λmax = 0.1。

6.1. 系统设置
如图 6(a) 所示，两个相机（MQ013MG-ON; XIMEA）用于计算人体关节和物体的 3D 位置。机器人系统使用一个 6-DoF 机器人（UR5e；Universal Robots），其末端执行器上连接有一个杯子（图 6(a,b)）。杯子的半径为 90mm，并配备了盖子和内部缓冲垫以减少抓取过程中的冲击；球的半径为 30mm。
图 6. 系统设置。
(a) 系统概述。
(b) 杯子设计。
(c) 目标物体，包括球和塑料盒。

该图展示了三个相关的视觉示例，说明了机器人抓取设置。左侧的第一个视觉示例显示了一个组合图和实际场景，其中 Universal Robots（UR5e）机械臂安装在固定基座上，并通过电缆连接到标有 PC 的台式电脑。一个相机和照明装置面向工作区，两个相机安装在支撑结构上。机械臂的末端执行器上装有一个圆柱形附件，被标记为杯子。右侧的第二个视觉示例关注杯子设计。两个圆柱形的 Ximea MQ013MG-ON 相机显示在机械臂上，以及杯子本身的特写。一个简化的技术图将杯子表示为一个直径为 60 mm 的圆柱体，带有一个盖子。杯子内部的水平层标记为缓冲垫，表明有内部填充物。侧视图显示了多个狭窄的径向部分向中心开口汇聚，表明盖子内部有灵活的瓣片。

接下来，我们描述了实现中使用的基本设置。为了避免碰撞，计算了机器人末端执行器到肘部的线段与人体骨骼之间的最小距离。人体骨骼使用六个部分进行建模：左手腕到左肘、左肘到左肩、左肩到右肩、右肩到右肘、右肘到右腕以及头部到脚。在实际实验中，可接受的最小距离设置为 0.10m。所有处理都在配备有 CPU：Intel(R) Core(TM) i9-10980XE 和 GPU：NVIDIA RTX A5000 / NVIDIA RTX 5000 Ada 的 PC 上进行。

6.2. 初步设置实验
6.2.1. YOLO 训练
对于基于深度学习的物体检测，我们使用 YOLOv10n 模型 [Citation47] 并在包含塑料盒和球的自定义数据集上进行训练，如图 6(c) 所示。我们在各种背景、视角和抛掷条件下使用高速立体相机捕获了 3000 张 640×640 像素的灰度图像。然后应用了标准的数据增强（随机旋转、亮度变化），将数据集大小增加到 6500 张图像。每张图像都手动标注了目标物体的轴对齐边界框：球标记为 0，塑料盒标记为 1。
在 6500 张图像中，6000 张用于训练，500 张用于验证。除非另有说明，我们使用 YOLOv10n 作为实时检测器以优先考虑推理速度。为了进行比较，我们还在相同的数据集上训练了一个更大的 YOLOv10x 模型以生成参考数据。两个模型都训练了 500 个周期，输入分辨率为 640×640，使用默认的 YOLO 训练超参数（SGD 优化器、初始学习率 1×10?2、余弦学习率调度和标准 YOLO 损失配置）。
在保留的验证集上，YOLOv10n 的 mAP(0.5) = 0.96 和 mAP(0.5?0.95) = 0.67，而 YOLOv10x 的 mAP(0.5) = 0.98 和 mAP(0.5?0.95) = 0.68。平均精度（mAP）是根据精度-recall 曲线下的面积计算的，平均值覆盖两个类别。检测成功是通过预测边界框与真实边界框之间的交集（IoU）来确定的；mAP(0.5) 使用 IoU 阈值 0.5，mAP(0.5?0.95) 是对 0.5 到 0.95 的 IoU 阈值的平均值。YOLOv10n 在我们的数据集上提供了与 YOLOv10x 相比的检测精度，同时计算成本显著降低，因此被采纳到我们的在线系统中。

6.2.2. 校准
我们使用 Zhang 的方法 [Citation51] 计算了两个相机的内参数和外参数。随后，我们使用眼到手的校准方法估计了从左相机框架到机器人基准框架的变换矩阵。平均 3D 位置误差约为 15mm。

6.2.3. 相机间匹配
我们使用所提出的方法（第 3.3 节）进行了圆形和非圆形物体的相机间匹配实验。在图 7 所示的六种条件下收集了 30 张图像（每种条件 5 张）。圆形物体的成功率为 100%，非圆形物体的成功率为 96%。当一个图像中未检测到物体时，会导致匹配错误。所提方法的一个限制是它需要两个图像都包含相应的物体。处理时间少于 100μs。

图 7. 相机间匹配实验。
(a) 实验设置。左列显示了准确进行相机间匹配所需的关键成本组件——X 位置、Y 位置和形状。右列展示了六个代表性测试案例，其中左右图像中的物体被匹配并用相同颜色（绿色或黄色）的边界框标出。
(b) 圆形物体的匹配结果。绿色和黄色的边界框突出显示了匹配的对。
(c) 非圆形物体的匹配结果。

该图展示了两个视角下物体间的相机匹配实验。左侧的表格总结了六个测试场景。列标题分别为“显著成本”、“左”和“右”。每一行从 1 编号到 6，并包含了强调的匹配成本（例如，位置或形状）的简要描述，以及代表左右图像的一对简单圆形图标。这些图标在水平或垂直位置、大小、形状或部分可见性上有所不同，以说明不同的匹配挑战。中间部分显示了用于圆形物体测试的六个灰度室内场景的网格。在每个场景中，一个人在工作区中持有一个或多个圆形物体。两个紧密排列的相机视图并排显示，边界框指示了在两个视图中检测到的相应物体。右侧部分展示了用于非圆形物体测试的六个灰度场景的网格。那个人持有一些矩形物品，如包裹，这些物品是从两个附近的相机视角捕获的。边界框突出了每对图像中匹配到的非圆形物体，展示了匹配方法识别出的对应关系。显示全尺寸。

6.3. 协同捕捉
我们进行了两次协同捕捉实验：并排定位和同侧定位。两项实验都跟踪了两个人（投手和接球者）。通过将我们提出的方法与YOLOv8m-Pose [Citation41] 进行比较，并使用YOLOv8x-Pose的关节位置作为参考，来评估骨架跟踪性能。对象跟踪使用YOLOv10n进行，运行频率约为40 Hz。

关于捕捉策略，根据补充材料中讨论的单一机器人的初步捕捉结果，我们采用了两阶段目标选择策略来提高捕捉成功率。首先，通过基于成本的方法（第4节）选择一个候选目标。其次，通过最小化所需的机器人速度来细化目标位置，在第一阶段平面周围的x轴上搜索±0.05m范围内。

6.3.1. 人类和机器人并排
在这个实验中，人类和机器人并排放置，系统需要估计人类会捕捉哪个球，并为机器人选择一个合适的目标。
首先，使用图8(a–c)来评估整个系统的性能。图8(a)显示了机器人的目标选择从右球切换到左球的过程，如红色箭头所示：最初估计人类会捕捉左球，当右球进入人类的捕捉区域时，估计切换到了右球。图8. 当人类和机器人并排时的协同捕捉结果。(a) t=13,369ms和t=13,685ms时的情况比较。机器人的目标在两个帧之间从右球变为左球，如虚线橙色圆圈所示。(b) 重建图像。上面板显示了人类捕捉到球的时刻；下面板显示了机器人捕捉到球的时刻。(c) 机器人末端执行器和目标姿态的轨迹。(d) 2D跟踪中右腕的垂直图像坐标（Y）。(e) 接球者关节的垂直位置（Z坐标）（左/右肩、左肘和左腕）。(f) 投手关节的深度（X坐标）（左/右肩、肘部和手腕）。(g) 机器人末端执行器的速度曲线。Satt表示与吸引成分相应的速度。(h) 人类和机器人之间的最小距离。

阅读此图的详细描述
该图展示了人类和机器人之间协同捕捉的八个视觉效果。视觉效果(a)显示了一个三维轨迹图，轴标记为X、Y和Z [m]。曲线路径代表两个球的轨迹，以及离散的跟踪点、人类手的运动和机器人末端执行器的运动。13,369 ms和13,685 ms的时间戳指示了机器人切换目标球的时间。视觉效果(b)显示了13,765 ms和13,923 ms时的另一个三维轨迹图，突出了机器人目标从右球变为左球的过程。视觉效果(c)包含六个时间序列图，共享一个标记为时间的共同水平轴（ms）。垂直轴代表X、Y和Z笛卡尔位置（m），以及目标姿态和机器人末端执行器的三个方向角（rad）。一条垂直线标记了捕捉时刻，此时轨迹汇聚。视觉效果(d)显示了人类右腕的垂直图像坐标Y（像素）与时间（ms）的折线图。它比较了参考轨迹（YOLOv8姿态估计方法，绿色）和提出的方法（蓝色）。插图突出了提出方法实现低延迟跟踪右腕关节的区域。视觉效果(e)展示了接收者关节的垂直世界坐标Z位置（m）随时间（ms）的变化情况，包括左肩、右肩、左肘和左腕。视觉效果(f)显示了投手关节的深度X位置（m）随时间（ms）的变化情况，包括肩膀、肘部和手腕。视觉效果(g)是机器人末端执行器速度（m/s）与时间（ms）的折线图，显示了吸引速度分量，该分量先增加然后逐渐减小到零。视觉效果(h)显示了随时间（ms）的距离（m），包括机器人与每个人类肢体之间的距离、最小距离曲线和一条水平安全阈值。

使用图8(b,c)评估了物体和高速人类骨架跟踪的有效性，以及机器人末端执行器姿态转变的准确性。根据图8(b)，两个球的跟踪精度足够高，如黑色点（跟踪结果）和灰色线（预测轨迹）所示。图8(b)还显示了人类和机器人的捕捉时刻：在上面板中，左腕与预测轨迹对齐，如橙色虚线所示；在下面板中，蓝色箭头（机器人末端执行器姿态）与红色箭头（目标姿态）对齐，但有一个轻微的方向偏差，也用橙色虚线标出了。此外，图8(c)用笛卡尔坐标（x,y,z）和旋转矢量（rx,ry,rz）展示了机器人末端执行器姿态的转变，其中黑色图表表示目标姿态，蓝色图表表示机器人姿态，橙色虚线垂直线表示捕捉时刻。左侧三个面板显示蓝色图表（机器人末端执行器位置）在3D笛卡尔空间中通过橙色虚线（捕捉时刻）接近黑色图表（目标位置），尽管由于可用时间有限，右侧三个面板中显示的方向并未完全对齐。

然后我们使用表1和图8(d–f)详细分析跟踪性能。如表1所示，使用提出的方法进行2D人类关节跟踪的频率为125 Hz，这比传统的YOLOv8m-Pose方法快六倍。然而，提出的方法显示出更高的RMSE。在图8(d)中，显示了垂直图像坐标的转变，蓝色图表（提出的方法）的跟踪延迟低于绿色图表（传统方法），证明了我们的高速骨架跟踪对于动态人类运动的有效性。然而，在球被捕捉后手臂停止移动时，蓝色图表会垂直振荡，导致RMSE增加。这种振荡是由于背景噪声和投手的残余运动造成的。作为未来的工作，应该 refined 搜索区域以考虑其他人的位置。

表1. 接收者骨架跟踪的RMSE（像素）。由于持续遮挡，省略了右肘和手腕的数据。下载CSV
图8(e,f)展示了人类关节的3D跟踪。图8(e)显示了靠近相机的接收者的垂直坐标变化：蓝色（左腕）和绿色（左肘）的图表在t=13,800ms时逐渐增加，表明跟踪性能合理。相比之下，图8(f)显示投手的深度位置不稳定，有突然的位置变化。这些问题是由于接收者的遮挡以及使用光流在较远距离捕获精确关节运动的难度造成的。为了解决这个问题，需要更健壮的跟踪和三角测量技术来改善在 cluttered 和嘈杂环境中的性能。

最后，我们检查了人类-机器人共存情况下的机器人行为细节。图8(g,h)分别展示了机器人的速度曲线及其与人类的距离。在图8(g)中，Satt表示机器人朝向捕捉姿态的吸引力成分的速度。机器人根据与人类的距离调整其速度，保持安全距离，如图8(h)所示：黑色图表始终位于红色虚线以上，表明人类和机器人之间的最小距离始终超过可接受的安全距离。在这个实验中，如图8(g)中的蓝色图表所示，机器人保持在自由区域内，不需要绕行以避免碰撞。这种行为是根据第4节中描述的捕捉策略，该策略优先选择距离人类较远的对象。

总结来说，我们的系统基于人类手腕位置准确定位目标物体，并在保持与人类安全距离的同时高效接近它们。

6.3.2. 人类和机器人位于同一侧
在这个实验中，人类和机器人位于同一侧，机器人需要在保持安全距离的同时捕捉球并选择合适的目标。
首先，我们使用图9(a,b)讨论整个系统的性能。图9(a)展示了人类和机器人捕捉各自球体的时刻。对象跟踪足够准确，如黑色（跟踪点）和灰色图表（预测轨迹）所示。在图9(a)的上面板中，人类成功捕捉到了球，右腕与橙色虚线标出的预测轨迹对齐。下面的面板显示机器人捕捉了另一个球，蓝色和红色箭头几乎完美对齐。图9. 当人类和机器人位于同一侧时的协同捕捉结果。(a) 重建图像。上面板显示人类捕捉球体的时刻，下面板显示机器人捕捉另一个球体的时刻。(b) 机器人末端执行器和目标姿态的轨迹。(c) 2D跟踪中右腕的垂直图像坐标（Y）。(d) 接收者关节的垂直位置（Z坐标）（左/右肩、右肘和右腕）。(e) 投手关节的深度（X坐标）（左/右肩、肘部和手腕）。(f) 机器人末端执行器的速度曲线，包括吸引成分、预防成分和排斥成分，以及总速度。(g) 人类和机器人之间的最小距离。

阅读此图的详细描述
该图展示了人类和机器人协同捕捉任务的七个视觉效果，其中人类和机器人站在同一侧。第一个视觉效果显示了一个三维轨迹图，包括跟踪的球体位置、平滑的预测轨迹，以及指示人类运动和机器人与目标姿态的两个捕捉时刻的箭头。第二个视觉效果包含六个时间序列图，比较了目标和机器人末端执行器的位置、速度和方向。一条垂直虚线标记了捕捉时刻，发生在大约17,000–18,000 ms之间。第三个视觉效果展示了从二维跟踪获得的右腕垂直图像坐标的时间序列图。多个跟踪方法随时间进行了比较，并在捕捉事件周围标出了突出区域。第四个视觉效果显示了接收者关节的垂直位置随时间的变化，包括左肩、右肩和右腕，时间跨度约为12,000到22,000 ms。第五个视觉效果显示了投手关节的深度（X）位置。第六个视觉效果展示了机器人末端执行器的速度曲线，区分了吸引成分、预防成分和排斥成分，以及它们的组合速度。第七个视觉效果展示了机器人与每个人类肢体之间的距离随时间的变化，包括最小距离的粗曲线和一条表示安全阈值的水平线。

图9(b)通过蓝色图表展示了机器人的末端执行器运动，黑色图表展示了目标姿态的笛卡尔坐标和旋转矢量，橙色虚线展示了捕捉时刻。当蓝色图表通过垂直橙色虚线（除了右上面板中旋转矢量的x分量）达到黑色图表时，机器人接近目标姿态。然而，在机器人捕捉到球之后，目标转移到了与人类球体相对应的位置。这种变化是因为系统推断人类未能捕捉到球，而机器人到达新目标所需的速度仍在预定义的速度限制1m/s之内。因此，机器人移动到下一个目标。这种行为源于方程式(Equation5(5) rcatch=max(rMIN,rMAX?ΔtTMAX)(5) 中定义的人类捕捉区域半径，这反映了在估计人类意图时最小化误报和漏报之间的权衡。

然后我们使用表2和图8(d–f)详细分析跟踪性能。如表1所示，使用提出的方法进行2D人类关节跟踪的频率为125 Hz，比传统的YOLOv8m-Pose方法快六倍。然而，提出的方法显示出更高的RMSE。在图8(d)中，显示了垂直图像坐标的转变，蓝色图表（提出的方法）的跟踪延迟低于绿色图表（传统方法），证明了我们的高速骨架跟踪对于动态人类运动的有效性。但是，在球被捕捉后手臂停止移动时，蓝色图表会垂直振荡，导致RMSE增加。这种振荡是由于背景噪声和投手的残余运动引起的。作为未来的工作，应该细化搜索区域以考虑其他人的位置。

图8(e,f)展示了人类关节的3D跟踪。图8(e)显示了靠近相机的接收者的垂直坐标变化：蓝色（左腕）和绿色（左肘）的图表在t=13,800ms时逐渐增加，表明跟踪性能合理。相比之下，图8(f)显示投手的深度位置不稳定，有突然的位置变化。这些问题是由于接收者的遮挡和使用光流在较远距离捕捉精确关节运动的难度造成的。为了解决这个问题，需要更健壮的跟踪和三角测量技术来提高在杂乱和嘈杂环境中的性能。

最后，我们检查了机器人在这种人机共存情况下的行为细节。图8(g,h)分别展示了机器人的速度曲线及其与人类的距离。在图8(g)中，Satt表示机器人朝向捕捉姿态的吸引力成分的速度。机器人根据与人类的距离调整其速度，保持安全距离，如图8(h)所示：黑色图表始终位于红色虚线以上，表明人类和机器人之间的最小距离始终超过可接受的安全距离。在这个实验中，如图8(g)中的蓝色图表所示，机器人保持在自由区域内，不需要绕行以避免碰撞。这种行为是根据第4节中描述的捕捉策略，该策略优先选择距离人类较远的目标。

总之，我们的系统根据人类手腕位置准确识别目标物体，并在保持与人类安全距离的同时高效接近它们。

6.3.2. 人类和机器人位于同一侧
在这个实验中，人类和机器人位于同一侧，机器人需要在保持安全距离的同时捕捉球并选择合适的目标。
首先，我们使用图9(a,b)讨论整个系统的性能。图9(a)展示了人类和机器人捕捉各自球体的时刻。对象跟踪足够准确，如黑色（跟踪点）和灰色图表（预测轨迹）所示。在图9(a)的上面板中，人类成功捕捉到了球，右腕与橙色虚线标出的预测轨迹对齐。下面的面板显示机器人捕捉了另一个球，蓝色和红色箭头几乎完美对齐。图9. 当人类和机器人位于同一侧时的协同捕捉结果。(a) 重建图像。上面板显示人类捕捉球体的时刻，下面板显示机器人捕捉另一个球体的时刻。(b) 机器人末端执行器和目标姿态的轨迹。(c) 2D跟踪中右腕的垂直图像坐标（Y）。(d) 接收者关节的垂直位置（Z坐标）（左/右肩、右肘和右腕）。(e) 投手关节的深度（X坐标）（左/右肩、肘部和手腕）。(f) 机器人末端执行器的速度曲线，包括吸引成分、预防成分和排斥成分，以及总速度。(g) 人类和机器人之间的最小距离。

阅读此图的详细描述
该图展示了人类和机器人站在同一侧时的协同捕捉任务的七个视觉效果。第一个视觉效果显示了一个三维轨迹图，包括跟踪的球体位置、平滑的预测轨迹，以及指示人类运动和机器人与目标姿态的两个捕捉时刻的箭头。第二个视觉效果包含六个时间序列图，比较了目标和机器人末端执行器的位置、速度和方向。一条垂直虚线标记了捕捉时刻，发生在大约17,000–18,000 ms之间。第三个视觉效果展示了从二维跟踪获得的右腕垂直图像坐标的时间序列图。多个跟踪方法随时间进行了比较，并在捕捉事件周围标出了突出区域。第四个视觉效果显示了接收者关节的垂直位置随时间的变化，包括左肩、右肩和右腕，时间跨度约为12,000到22,000 ms。第五个视觉效果显示了投手关节的深度（X）位置。第六个视觉效果展示了机器人末端执行器的速度曲线，区分了吸引成分、预防成分和排斥成分，以及它们的组合速度。第七个视觉效果展示了机器人与每个人类肢体之间的距离随时间的变化，包括最小距离的粗曲线和一条表示安全阈值的水平线。

图9(b)通过蓝色图表展示了机器人的末端执行器运动，黑色图表展示了目标姿态在笛卡尔坐标中的转变和旋转矢量，橙色虚线展示了捕捉时刻。当蓝色图表通过垂直橙色虚线（除了右上面板中的旋转矢量的x分量）到达黑色图表时，机器人接近捕捉时刻的目标姿态。然而，在机器人捕捉到球之后，目标移动到与人类球体相对应的位置。这种移动是因为系统推断人类未能捕捉到球，而机器人到达新目标所需的速度仍在预定义的速度限制1m/s之内。因此，机器人移动到下一个目标。这种行为源于方程式(Equation5(5) rcatch=max(rMIN,rMAX?ΔtTMAX)(5) 中定义的人类捕捉区域半径，这反映了在估计人类意图时最小化误报和漏报之间的权衡。

然后我们使用表2和图9(c,e)详细分析跟踪性能。提出的2D骨架跟踪对于动态移动的关节（特别是右肘和手腕）获得了较低的RMSE值（表2）。图9(c)展示了垂直图像坐标的转换过程，可以看出蓝色曲线（提出的方法）跟随黑色曲线（参考方法）的轨迹，且延迟明显小于绿色曲线（传统方法）。表2显示了接收器的骨骼跟踪结果（均方根误差，单位为像素）。由于持续遮挡，左肘和手腕的数据被省略了。下载CSV表格。图9(d,e)展示了三维关节跟踪结果，分别表示垂直坐标和深度位置。图9(d)显示接收器的跟踪精度较高，蓝色曲线（右腕）和绿色曲线（右肘）在t=16,900ms后逐渐增加，这与人类的抓取动作相符。相比之下，图9(e)显示投手的跟踪结果不稳定，这与并排场景中的观察结果一致。最后，我们详细研究了机器人与人共存情况下的行为。图9(f)用蓝色、绿色和橙色曲线分别表示吸引、预防和排斥组件的机器人末端执行器速度曲线。如图9(f)中t=17,100ms附近的绿色和橙色曲线所示，机器人成功地在预防和排斥区域内执行了避让动作以避免碰撞。图9(g)确认黑色曲线始终保持在红色虚线以上，表明机器人通过适当调节速度保持了安全距离。总之，所提出的系统使机器人能够在靠近人类的情况下有效地抓取球，并避免碰撞。

6.4. 抓取性能
我们评估了机器人在五十次合作抓取试验中的抓取性能，这些试验中人类和机器人要么位于同一侧，要么并排站立。这些合作场景中的总体成功率为34%。接下来，我们首先从定量和定性的角度分析失败的原因，然后研究抓取区域及其相关的成功率。

6.4.1. 失败分析
我们通过检查所需的机器人速度、允许的机器人速度以及与感知和交互相关的因素（见图10）来分析失败案例。这种分析有助于我们确定失败主要是由于感知精度不足、抓取时间有限，还是由于人机共存和机器人动力学的限制所致。图10显示了合作抓取场景下的抓取性能分析：(a) 工作空间内可操作性分布，其中值低于0.02；(b) 抓取目标位置的三维分布。黑色箭头表示机器人的初始姿态，蓝色箭头表示成功的目标姿态，红色箭头表示失败的目标姿态。灰色框表示手动定义的机器人工作空间；(c)-(d) 成功案例：捕获球所需的末端执行器速度和平均关节角速度与每种人机共存场景中允许的最大末端执行器速度以及机器人的最大关节角速度进行了比较；(e)-(f) 失败案例：与(c)-(d)中的量相同，但指球未成功捕获的试验。(c)、(e) 末端执行器速度曲线；(d)、(f) 关节角速度曲线。

该图展示了六个可视化图表，总结了合作抓取实验的情况。左上角的图表显示了机器人工作空间点的三维散点图，横轴代表X和Y（米），纵轴代表Z（米）。颜色阴影表示可操作性值，大约在0.0到0.02之间，高于0.02的值被过滤掉了。右上角的图表显示了在虚线矩形工作空间内的抓取目标位置的三维散点图，黑色箭头表示机器人的初始姿态，蓝色和红色箭头分别标记成功的和失败的目标姿态。中左角的图表是成功试验的折线图，横轴表示成功案例的索引（1到17），纵轴表示末端执行器速度（米/秒），范围从0到大约2米，间隔为0.5米。显示了两条曲线：捕获球所需的速度和允许的最大速度。所需速度通常保持在允许的范围内或接近允许的范围。中右角的图表显示了相同成功案例的关节角速度，横轴再次表示案例索引，纵轴表示关节角速度（弧度/秒），范围从0到大约5弧度，间隔为1度。下左角的图表显示了失败案例的相同指标，索引从1到33。在这些图表中，所需速度更加分散，经常接近或超过相应的限制。右下角的图表显示了相同失败案例的关节角速度，两条曲线分别表示所需的关节速度和允许的最大速度。

我们通过考虑机器人可操作性和目标姿态的分布来分析成功和失败试验的空间趋势，如图10(a,b)所示。图10(b)表明，成功的捕获（蓝色箭头）主要分布在机器人的初始姿态（黑色箭头）附近以及可操作性较低的区域（特别是图10(a)中的紫色区域）。失败模式分析揭示了四个关键趋势：(i) 在x=0.25米附近的失败：失败试验（红色箭头）聚集在x=0.25米附近，这是因为y方向的可操作性较低，机器人需要绕道才能到达目标；(ii) 在z=1米附近的失败：失败也发生在z=1米附近，此时机器人必须行走更长的距离，可操作性降低；(iii) 对于较小的x坐标，成功率较低：离相机较远的目标（较小的x坐标）由于从相机到机器人基座的转换精度降低以及到目标的距离较长，成功率也较低；(iv) 即使在初始姿态附近也发生失败：这些失败主要是由于机器人在两个距离较近的球之间摆动或人类的意图不明确，导致难以及时正确选择目标。

我们使用图10(c–f)详细介绍了失败案例的具体原因。如方程式(Equation11(11) Dcatchvrobot≤Tcatchsubjecttovrobot≤vmax.(11)所表达的，当机器人能够在可用时间内达到目标姿态，并同时满足人机共存条件和机器人物理限制所施加的速度约束时，抓取是成功的：(11) Dcatchvrobot≤Tcatchsubjecttovrobot≤vmax.(11) 其中，Dcatch表示从初始姿态到捕获姿态的距离，Tcatch是捕获的可用时间，vrobot是机器人的速度，vmax是允许的最大速度。根据这个关系，有三个因素对成功抓取至关重要：(i) 位置精度（球检测和三角测量）；(ii) 足够的捕获时间（准确快速地估计球轨迹、人类的意图和机器人的目标姿态）；(iii) 宽松的速度限制（人类和机器人之间的距离较大，允许的机器人速度较高）。

在33次失败的试验中，有8次是由于可靠的球检测次数不足造成的，这是由于人类遮挡或误报/漏报导致的检测精度低下。4次失败是由于人类意图的变化，减少了捕获的可用时间。另有3次失败是由于球轨迹受到干扰，例如球触碰到人类的手腕并改变了方向。剩下的18次失败是由于严格的速度限制（图10(c–f)：17次是由于人机共存时允许的速度降低，1次是由于机器人的最大关节角速度限制。

图10(c–f)展示了人机共存场景下捕获球的末端执行器和关节角速度标准。图10(c,d)对应于成功的试验，而图10(e,f)对应于失败的试验。在图10(c–f)中，所需的末端执行器速度（vrobot）是通过将初始位置和捕获位置之间的笛卡尔距离（Dcatch）除以从第一次球检测到估计球到达捕获位置的时间间隔（Tcatch）来计算的。最大末端执行器速度（vmax）表示机器人和人类之间的距离所允许的速度。所需的关节角速度（q˙robot）是通过将初始关节配置和捕获关节配置之间的关节空间距离（Dcatch）除以捕获前的可用时间（Tcatch）来获得的。最大允许的关节角速度（q˙max）是根据可用时间（Tcatch）和UR5e的最大关节角速度（q˙UR=180deg/s）[Citation52]以及最大关节角加速度（q¨UR=800deg/s2）[Citation53]计算得出的，如方程式(Equation12(12) q˙max={q¨URTcatch2ifTcatch≤q˙URq˙URq˙UR?q˙UR22Tcatchq˙URelse(12) )所示：(12) q˙max={q¨URTcatch2ifTcatch≤q˙URq˙URq˙UR?q˙UR22Tcatchq¨URelse(12) )。在这里，我们忽略了减速阶段，以便近似关节空间中的最大可达区域。

如图10(c,d)所示，橙色曲线通常位于蓝色曲线之下：在成功案例中，所需的末端执行器和关节角速度满足允许的最大限制，尽管在末端执行器和关节速度上有一些局部违规。即使在这些异常情况下，机器人仍然成功捕获了球，因为杯子半径（30毫米）远大于球半径（90毫米）。相比之下，图10(e,f)中显示的失败案例中，所需速度（橙色曲线）超过了相应的速度限制（蓝色曲线），导致捕获失败。这些差异主要是由于成功试验中捕获的可用时间更长（平均652毫秒）与失败试验（平均473毫秒）相比。

6.4.2. 抓取区域分析
我们分析了抓取区域及其相应的成功率。抓取成功率取决于具体情况，特别是机器人捕获物体的位置。因此，我们使用了基于机器人配置的先验方法和基于实际结果的后验方法来评估抓取区域及其成功率。

作为基于机器人配置的先验评估，我们使用0.02的可操作性阈值对样本进行了限制，如图10(a)所示。根据表3的第三列，合作抓取场景中的成功率为40.5%（15/37）。尽管成功率如预期般增加，但抓取是沿轨迹进行的，而不是在单一点上完成的。因此，仅依靠可操作性阈值不足以完全描述抓取性能。表3显示了合作抓取场景中的抓取成功率。下载CSV表格。

为了克服先验方法的局限性，我们对记录的样本进行了后验分析。我们将抓取区域定义为一个球体，并通过寻找在固定半径0.36米（杯子半径的两倍）内最大化成功率的位置来确定其中心。图11(a,b)显示了抓取区域的中心坐标及其相应的成功率。图11(a)显示了初始机器人末端执行器位置的抓取中心；图11(b)显示了抓取区域的半径及其成功率。

该图展示了两个折线图，总结了机器人抓取区域的特性。左边的图表比较了初始姿态和合作抓取过程中机器人末端执行器的位置，分别沿X、Y和Z轴。横轴表示两种类别：初始姿态和合作抓取。纵轴表示位置（米），范围大约从-0.2到0.8，间隔为0.2米。X位置从大约0.28米减少到-0.2米，Y位置从大约0.12米增加到0.33米，Z位置从大约0.8米略微增加到0.86米。所有三个系列都以带有圆形标记的线条显示，图例标识了X、Y和Z轴。右边的图表显示了抓取成功率作为球形抓取区域半径的函数。横轴表示半径（米），范围大约从0.3到0.7米，间隔为0.1米。纵轴表示成功率（%），范围从0到100%，间隔为20%。曲线最初从大约34%减少到0.35米附近的20%，然后在0.39米附近上升到55.5%，随后随着半径增加到0.7米而下降并波动。图例中标记为“合作抓取”。

根据图11(a)，我们确认抓取区域的中心是合理的，因为相机相对于机器人在y轴上的位置接近零，且机器人的初始姿态沿着负x轴定向。图11(b)展示了捕获区域的半径与相应成功率之间的关系。如表3的第四列所示，当捕获区域半径为0.48米时，我们的系统取得了55.5%（5/9）的成功率。

7. 讨论
7.1 实验结果总结
我们通过现实世界的捕获实验和补充材料中讨论的仿真实验验证了所提出的系统，其总结见表4。

我们的现实世界实验证明了所提出系统在多种场景下的有效性。首先，我们确认了基于几何的相机间匹配方法在对象检测准确的情况下，能够实现高速且足够的精度。随后，我们在两种场景下进行了协作捕获实验：并排协作和同侧协作。在这种情况下，我们的系统运行频率为125赫兹——比之前的方法快六倍——并成功完成了动态捕获任务。我们进一步在协作捕获场景中进行了50次试验，以评估捕获性能和捕获区域的范围。对成功和失败试验的空间分布分析揭示了工作空间内的几个挑战区域，包括靠近工作空间天花板的地方、操作难度较高的区域以及距离机器人初始姿态较远的区域。

我们还根据方程式(Dcatchvrobot≤Tcatchsubjecttovrobot≤vmax)(11)中提到的三个成功捕获因素分析了33个失败案例：(i) 位置精度（球体检测和三角测量），(ii) 捕获所需的时间（准确快速的球体轨迹和机器人目标姿态估计），以及(iii) 速度限制。在失败案例中，有8例是由于因素(i)导致的，原因是由于误判/漏判和遮挡导致可靠的球体检测数量不足；4例是由于因素(ii)导致的，原因是人类投掷意图的变化减少了捕获时间；18例是由于因素(iii)导致的，原因是人机共存场景下的速度限制更严格。其余3例是由于人类的干扰改变了球体轨迹。

捕获成功率是通过先验和后验方法共同评估的。后验评估显示，有效的捕获区域与相机-机器人配置是一致的。当物体位于这个定义的捕获区域内时，协作捕获场景的最大成功率为55.5%（5/9）。

据我们所知，这是首次尝试使用一个通用系统实现动态协作捕获，该系统能够处理多个物体，推断人类姿态和意图，并提供高响应性。

7.2 局限性
我们的系统在四个关键领域存在几个局限性：物体和骨架跟踪、捕获策略、运动规划以及系统配置。

**物体和骨架跟踪**
对于多物体跟踪，扩大有效检测范围——特别是在深度轴上——并采用更快的MOT方法[Citation48]来增加检测数量，可以为机器人提供更准确和及时的物体信息。在我们的实验中，首次检测到的物体平均距离为1.6米，球体在深度轴上的速度高达3.0米/秒。如果将检测范围扩展到3.0米深度，捕获时间将从500毫秒增加到1000毫秒，从而放宽方程式(Dcatchvrobot≤Tcatchsubjecttovrobot≤vmax)(11)中的速度限制，可能提高捕获成功率。如补充材料A.1节中的仿真结果所示，在10种条件下，当球体在首次检测后大约1秒到达捕获位置时，我们的系统成功率为90%，覆盖了人类与机器人之间的5种不同位置关系。此外，将3D物体定向纳入感知流程将使物体操作更加灵活，这是未来工作的一个重要方向。

所提出的骨架跟踪方法仍然容易受到噪声环境和遮挡的影响，尤其是在跟踪远离相机的个体时。未来的工作应该设计能够考虑多个人的搜索区域，并提高小范围运动的精度。

**捕获策略和运动规划**
应调整人类捕获区域的半径，以更好地平衡快速意图识别和错误意图估计之间的折中，从而增加捕获时间。在运动规划中，当机器人在人类附近操作时，其速度显著降低，这加剧了方程式(Dcatchvrobot≤Tcatchsubjecttovrobot≤vmax)(11)中的速度限制，可能导致机器人无法及时到达目标。因此，设计更复杂的全局路径规划以减少行驶时间将是提高捕获成功率的有希望的方法。

**系统配置**
目前的立体相机系统有两个主要局限性：视野受限和机器人可操作范围受限。首先，大部分视野经常被最近的人类遮挡，减少了有效的物体检测区域。其次，这一限制降低了使用眼-手校准变换矩阵时的有效3D定位范围。为了解决这些问题，采用多视图系统来扩展有效视野是必要的。此外，加入移动基座将无论初始姿态如何都能扩展机器人的可操作范围。

8. 结论
为了将HRC系统扩展到动态环境和任务中，我们开发了一个全面的框架，它在多功能性与高响应性之间取得了平衡。该系统由三个主要部分组成，分别遵循人类的认知行为：同时进行物体和人类姿态的3D跟踪(L)、与人类目标不同的机器人目标选择(T)以及无碰撞的物体捕获(A)。
- **(L) 对于视觉识别，我们实施了三种关键方法：基于ByteTrack[Citation32]的两阶段关联策略、一种特定于立体相机的基于几何的相机间匹配技术，以及一种结合深度学习检测和基于光流的 motion 提取的高速多人骨架跟踪方法。**
- **(T) 对于动态目标选择，我们首先根据手腕周围的区域和飞球的预测轨迹来估计人类可能的捕获候选者。然后，我们使用基于成本函数的方法确定最佳捕获目标及其位置，从而快速有效地推断人类意图并准确估计机器人的捕获目标。**
- **(A) 对于运动规划，我们通过将先前开发的系统扩展到动态和实际场景中，实现了物体捕获和碰撞避免。**
我们的广泛实验表明，所提出的系统为在动态HRC任务中实现多功能性和高响应性提供了实用的解决方案。该系统不仅提高了机器人执行动态操作的能力，还扩大了其操作范围以适应变化的环境。在未来的工作中，我们计划解决已识别的局限性，并扩展系统以处理更复杂的物体，包括考虑它们的方向。