基于人体动作识别算法的任务约束与机器人运动学习：从不可靠骨架数据中提取关键信息

《IEEE Transactions on Circuits and Systems II: Express Briefs》：Learning task constraints and robot motion from unreliable human skeleton data using human action recognition algorithm

本文针对单目视觉传感器在模仿学习(LfD)中因数据不可靠导致任务约束识别不准确的挑战，提出了一种融合人体动作识别(HAR)算法的新型LfD规划框架。研究人员通过将约束信息嵌入动作标签（如"向上抓取"），利用双向长短期记忆网络(Bi-LSTM)从人体骨架数据中提取任务约束，结合经验驱动的随机树连接(ERTC)算法在杂乱环境中生成避障运动。仿真和实物实验表明，该方法在抓取放置任务中成功率提升8%，计算时间减少20%，路径长度缩短15%，显著提升了从非专家演示中学习复杂操作技能的能力。

　　

在机器人技术飞速发展的今天，让机器人通过观察人类演示来学习复杂技能（模仿学习，LfD）已成为一个重要研究方向。想象一下，未来我们只需在机器人面前演示一次如何泡茶或组装零件，它就能完美复现我们的动作——这无疑将极大推动智能制造和服务机器人的发展。然而，现实却面临一个棘手难题：使用普通RGB相机等简易设备采集的人类演示数据往往存在严重噪声，骨架识别误差可达数厘米，导致关键的任务约束信息丢失。

这些看似微小的差异实际上至关重要。如图1所示，同样是"放置"动作，垂直放置且保持姿态恒定、水平侧向放置、以及为穿过狭窄空间而调整姿态，分别对应着完全不同的任务约束。传统方法如ERTC-HD算法虽然能利用人类演示数据进行运动规划，但仅依赖平均轨迹特征，无法捕捉这些关键细微差别。而近期兴起的语言指令方法虽能描述动作序列，却难以解决单个复杂规划问题。

为解决这一瓶颈，东京大学的Ryota Takamido和Jun Ota教授在《IEEE Transactions on Cognitive and Developmental Systems》上发表了一项创新研究，提出了一种融合人体动作识别(HAR)算法的LfD框架。该研究的核心思路颇具巧思：既然人类动作本身蕴含丰富的任务约束信息，何不利用先进的动作识别技术来"解读"这些信息？

研究人员采用的技术方法主要包括以下几个关键环节：首先利用商业骨架识别软件VisionPose从单目RGB视频中提取人体关节点三维坐标，并通过低通滤波(截止频率1Hz)降噪；然后构建包含三个双向LSTM层(每层128个隐藏单元)的堆叠Bi-LSTM网络，将约束信息直接嵌入动作标签（如"place downward while recovering"），实现对含噪声骨架序列的精准分类（准确率>95%）。

如图2所示，研究团队创新性地设计了从标签序列到机器人构型空间(C-space)运动的转换机制。通过引入约束向量c_i∈R⁶，仅保留符合任务约束的运动分量（公式1：g′_i= g′_i-1+ (g_i- s_i)^Tc_i）。例如当需要垂直向上移动时，约束向量设为(0,0,1,0,0,0)^T，仅保留z方向位置差异。结合数据增强技术（公式2：g″_i= g′_i+ (a_i^Tr_i)^Tc_i）和逆运动学求解，为每种动作序列模式构建包含500条以上轨迹的运动数据库。

最终规划阶段采用经验驱动的随机树连接(ERTC)算法，通过检索与当前任务约束匹配的数据库（基于约束向量内积相似度），对不符合新环境要求的轨迹段进行随机形变，实现高效的无碰撞运动生成。

仿真实验结果验证

在抓取放置(P&P)任务的仿真实验中，研究人员设置了五种不同约束条件的规划问题（图7）。如表III所示，通过与六种先进规划器对比，提出的方法在成功率、计算时间和路径长度方面均表现最优。

图8结果显示，该方法相比RRTConnect(RRTC)成功率提升59%，计算时间减少64%，路径长度缩短30%；相比ERTC-HD分别提升8%、25%和14%。特别在需要区分细微放置方向约束的任务1-3中优势明显，证明其能有效利用约束信息解决复杂规划问题。数据增强环节使规划性能进一步提升（除任务5外），表明路径经验的多样性对规划效果具有重要影响。

实物实验验证

在两种真实场景的验证中，该方法继续展现强大实用性。场景1复现仿真环境的P&P任务，使用UR10e机器人执行五种不同模式运动。如表V-VII所示，相比ERTC-HD，成功率平均提升11%，计算时间减少14%。场景2则挑战更复杂的"将中空物体挂到挂钩上"任务，要求机器人执行腕部旋转等精细动作。

如图10所示，该任务需要穿过货架前后栏杆的双重狭窄通道，在构型空间中属于高难度规划问题。实验结果（表VIII-X）显示，在挂钩角度波动30度范围内，该方法始终保持最高成功率（63%-92%），计算时间减少15%-43%，证明其对约束条件识别误差具有较强的鲁棒性。

研究结论与展望

本研究首次将HAR算法引入LfD规划框架，成功解决了从不可靠演示数据中提取任务约束信息的关键难题。通过约束向量嵌入、标签序列到C-space运动的转换、以及数据增强等创新设计，显著提升了在杂乱环境中的运动规划性能。

如图3所示，该方法的核心理念在于建立人类演示与机器人运动规划之间的智能桥梁。其重要意义不仅体现在性能指标的提升，更在于为非专家用户参与机器人编程提供了可行路径。未来工作中，引入无监督聚类技术可进一步减少标签设计的人工成本，而与语言条件扩散模型等先进策略学习框架的结合，则有望处理更复杂的多动作序列任务，推动LfD技术在智能制造、家庭服务等领域的实际应用。

尽管在执行时间优化方面仍有提升空间，但这项研究为克服LfD领域长期存在的数据可靠性问题提供了创新解决方案，为实现"人人可教"的机器人系统迈出了重要一步。