使用基于相似性奖励的生成对抗性模仿学习实现的人形机器人行走与抓取方法 黄建勇（Gen-Yong Huang）与 李文峰（Wen-Feng Li）

《Sensors》：Humanoid Robot Walking and Grasping Method Using Similarity Reward-Augmented Generative Adversarial Imitation Learning Gen-Yong Huang and Wen-Feng Li

　　摘要：本研究旨在提高人形机器人在模仿复杂的人体“行走-抓取”协调动作时的精确度。针对生成对抗性模仿学习（GAIL）在样本效率和奖励函数设计方面的局限性，我们提出了相似性奖励增强型生成对抗性模仿学习（SRA-GAIL）框架。该方法结合了安装在脚底的薄膜电阻压力传感器来测量双脚四个关键点的实时压力分布，并结合了来自JY901S惯性测量单元（IMU）的滚动/俯仰角数据。采用拉格朗日约束优化策略，基于零力矩点（ZMP）实现步态稳定性控制。同时，利用Logitech C920E摄像头捕捉的人类示范轨迹以及手上柔性薄膜压力传感器的抓握力反馈，建立了视觉相似性评估模块。这使得设计出一种多模态传感器融合的相似性奖励函数成为可能。通过结合拉格朗日约束优化和最大熵强化学习框架，相似性奖励增强型生成对抗性模仿学习同步优化了步态稳定性控制——由零力矩点（ZMP）和滚动/俯仰角数据以及基于视觉的轨迹相似性评估指导。这些组件分别解决了运动稳定性约束和轨迹相似性度量问题，生成了生物力学上合理的步态策略。时空注意力机制解析人类运动轨迹特征，以驱动末端执行器进行高精度轨迹跟踪。为了验证所提出的方法，在物理XIAOLI人形机器人平台上构建了一个模仿学习实验系统，集成了惯性测量单元（IMU）、足底压力传感器和视觉系统。从多个维度进行了定量评估，包括机器人平台分析、行走稳定性、物体抓取成功率以及末端执行器轨迹相似性。结果表明，与生成对抗性模仿学习（GAIL）和行为克隆相比，相似性奖励增强型生成对抗性模仿学习在复杂环境中实现了93.7%的稳定物体抓取成功率，并提高了23.8%的样本效率。该方法在支撑多边形内保持了96.5%的零力矩点（ZMP）轨迹合规率，显著优于基线方法。

1. 引言
人形机器人在行走和抓取任务中的运动能力对于其在动态环境中执行复杂操作至关重要。研究人员从生物力学中汲取灵感，利用模仿学习将人类运动策略转移到机器人控制中，从而提高了适应性和灵活性[1,2,3,4,5]。例如，Liang等人[6]引入了一种多模态强化学习框架，将视觉和力感应数据作为状态输入，促进了灵巧的多指操作技能的获取。Behrens等人[7]利用可穿戴设备捕捉的运动轨迹和视觉定位信息，为双臂机器人开发了一种基于示范的学习方法，实现了复杂抓取路径的规划。在深度强化学习中，Zakka等人[8]通过场景物体表示提取优化了机器人精密装配任务，强调了传感器数据融合在感知-控制循环中的关键作用。生成对抗性模仿学习（GAIL）作为模仿学习的一个关键分支[9]，通过生成器和鉴别器之间的对抗性互动直接从专家示范中学习策略。这种方法绕过了逆强化学习的复杂中间步骤，显著提高了学习效率[10]。其核心思想是优化奖励函数，为专家状态-动作对赋予高值。然而，由于动作空间中策略模型的不可微分性、人形动力学的高维随机性以及无模型强化学习对样本效率的依赖性，传统的生成对抗性模仿学习方法在现实世界场景中经常遇到奖励函数模糊性和策略不稳定性等挑战[11,12,13]。特别是在行走和抓取任务中，单一模态传感器数据难以全面捕捉环境交互的动态特征，限制了策略的泛化能力。Peng等人[14]使用未标记的动作数据训练了单任务策略，但在多技能集成方面表现出局限性。Chebotar等人[15]通过将运动数据和文本标签映射到潜在空间实现了多模态策略的条件生成。Wirth等人[16]利用基于大量人类反馈的奖励函数来训练控制策略，确保了机器人行为与人类示范的高度相似性。Christiano等人[17]通过基于查询的学习将人类反馈转化为强化学习的奖励信号。尽管如此，现有研究在样本效率方面仍有改进空间。例如，Haarnoja等人[18]开发了能够优化的强化学习算法，但需要较长的训练周期。Ma等人[19]提出了基于传统对抗性潜在模型的框架，利用条件鉴别器将潜在变量与动作匹配。Polydoros等人[20]扩展了生成对抗网络在模仿学习中的应用，但他们的条件鉴别器主要用于轨迹注释而非奖励生成，限制了样本效率的进一步提升。

为了解决这一挑战，我们提出了相似性奖励增强型生成对抗性模仿学习（SRA-GAIL）方法。该方法创新地将相似性奖励与多传感器数据流相结合。具体而言，安装在脚底的薄膜电阻压力传感器测量双脚四个端点的压力，并分析零力矩点（ZMP）以优化行走稳定性。JY901S惯性测量单元（IMU）用于获取姿态估计的滚动和俯仰角数据，而Logitech C920E摄像头捕捉人类轨迹以计算运动相似性奖励，从而增强了策略学习的仿生特性。此外，FSR-GT传感器监测手部抓握力，提高了抓取任务中的力控制精度。相似性奖励增强型生成对抗性模仿学习通过拉格朗日约束优化奖励函数，并结合最大熵强化学习算法，使机器人策略逐步逼近人类示范的最佳轨迹，同时满足实时约束。实验使用包含图形工作站、软件算法和XiaoLi人形机器人的集成模仿学习系统进行，验证在Panoptic Studio[10]运动数据集上进行。本研究的主要贡献包括：（1）一种基于传感器的新型相似性奖励方法，用于增强生成对抗性模仿学习的多模态数据融合能力；（2）一个全面的传感器数据预处理流程，旨在提高行走稳定性、抓取精度和轨迹相似性；（3）系统性的实验验证，证明了该方法在复杂环境中的优越性能。

2. 方法
本研究提出了一种基于生成对抗网络的强化学习方法，该方法通过人类运动相似性进行增强，称为相似性奖励增强型生成对抗性模仿学习（SRA-GAIL）。如图1所示，该方法通过比较人类和机器人运动轨迹的相似性来生成奖励信号，然后使用强化学习算法优化策略学习过程。生成对抗性模仿学习（SRA-GAIL）框架的核心是对抗性优化。它基于马尔可夫决策过程（MDP）构建环境模型，用于轨迹估计和优化。具体来说，环境被建模为一个元组，其中表示状态空间，表示动作空间，表示时间步长，表示折扣因子，表示奖励函数，表示初始状态分布。策略在状态-动作对上诱导出轨迹分布。图1. 基于相似性奖励的生成对抗性模仿学习方法。在每个时间步长，机器人根据当前策略生成一个动作轨迹段。机器人从环境中接收观测值并产生动作以与其交互，从而促进轨迹相似性评估。训练了一个判别神经网络模型X来学习人类样本轨迹的选择概率。让轨迹段表示从样本轨迹集中选出的相似轨迹。模型参数通过随机梯度上升算法进行更新。通过获取时间步长的机器人状态信息、控制命令和时钟数据，该方法学习人类样本轨迹。轨迹段的相似性值作为RL的奖励信号，指导机器人生成更接近真实人类轨迹的行为。通过将传感器数据与相似性奖励机制相结合，生成的轨迹表现出更高的平滑度和准确性，动作执行更接近人类操作员的特征。关键状态信息，如机器人的实际脚部位置和抬升高度，被纳入观测值中，作为提高轨迹质量和自然性的关键可观测量。在策略评估期间，从轨迹段中估计相似性值，并以三元组的形式存储在轨迹段中。该方法在动态环境中实现了自适应优化，提高了机器人行为的一致性、灵活性和泛化能力。通过学习轨迹之间的差异，它有效地区分了真实人类轨迹和机器人生成的轨迹，从而在实际应用中提高了鲁棒性和性能。

2.1. 相似性分析
在动作相似性分析中，被视为解释人类决策过程的潜在因素，假设动作段的相似概率与累积隐式奖励呈指数关系，从而捕捉它们与参考动作之间的相似性特征。通过利用真实人类轨迹数据监督鉴别器网络的训练，在生成对抗性模仿学习框架下实现了对个别状态-动作对的最优逼近。此外，计算了机器人位置的相似性增量，并调整了联合扭矩，以最小化人类和机器人动作之间的交叉熵损失L，表示为（1），其中表示期望值，表示来自观察到的生成轨迹的数据，是机器人的操作轨迹，是预定义的鉴别器，定义了状态-动作对。生成对抗学习的目标是构建能够主动学习最优人类行为的模型。因此，通过对抗性训练更新模型的策略网络π。当前策略网络π的参数θ通过优化行为相似性来评估，这主要依赖于从观察到的轨迹和真实轨迹生成的状态-动作对之间的匹配程度。在相似性奖励增强型生成对抗性模仿学习（SRA-GAIL）框架中，策略网络参数π通过与鉴别器的对抗性训练进行优化。行为相似性评估的核心在于比较生成轨迹的状态-动作对与真实轨迹的状态-动作对。鉴别器必须区分由人类观察生成器产生的轨迹状态-动作对和机器人执行轨迹产生的轨迹状态-动作对。因此，相似性奖励增强型生成对抗性模仿学习通过相似性奖励机制量化了两者之间的接近程度。当鉴别器的输出分数π接近1时，表示生成轨迹和真实轨迹之间的高相似性；相反，接近0的分数表示显著差异。为了提高动作反馈的精度，轨迹位置差异被用作计算相似性奖励的基础。真实人类轨迹的坐标状态-动作对通过视觉传感器获取，而机器人轨迹的状态-动作对通过联合编码器获得。鉴别器网络使用真实人类轨迹数据进行监督，以区分生成轨迹和真实轨迹。在相似性奖励增强型生成对抗性模仿学习方法中，策略网络通过最小化机器人和人类动作之间的交叉熵损失来优化策略，使用机器人的完整时间状态-动作对进行训练。鉴别器和策略模型通过对抗性更新下一个人类状态信息，以实现人类和机器人轨迹相似性的同质化。轨迹位置差异为每个动作步骤提供了精确的反馈，通过计算机器人轨迹点与人类轨迹点之间的距离差异作为位置奖励，表示为（2），其中表示当前时间点，表示在时间捕获的人类轨迹坐标，表示时间点的机器人轨迹坐标。这种位置奖励驱动联合动作，帮助机器人执行行走和抓取任务。

在速度和加速度匹配优化方面，速度和加速度的均值和标准差是从人类示范数据中统计得出的，作为约束调整系数。当机器人的速度或加速度落在均值乘以标准差的范围内时，应用奖励增强机制。同时，从奖励中减去实际人类数据中各种动作的速度和加速度分布的乘积以及一个系数，具体计算公式为（3），其中 是效率奖励， 表示机器人的平均速度， 是所有机器人速度的标准差， 是通过参数优化确定的调整系数。为了满足行走和抓取任务中的安全约束，设计了一种基于椭圆区域的安全保护机制。机器人的左右脚着陆点定义了半椭圆形的禁区，当障碍物侵入时触发安全惩罚。安全距离的计算依赖于来自脚端力传感器的测量数据，其中 表示脚端与障碍物之间的距离。该约束通过脚端力传感器的实时监测地面接触状态，利用拉格朗日乘数 λ 结合到优化目标中：（4），其中 定义了约束条件， 是最大行走和抓取步长， 是安全约束的累积值， 表示安全约束的阈值， 是优化目标。引入了效率奖励 来增强动作的平滑性约束，其中 作为拉格朗日乘数。模型参数通过梯度上升法更新， 通过梯度下降法更新。在实际应用中，脚端力传感器实时监测环境状态，并将障碍物距离映射到安全惩罚机制中。2.2. 训练奖励函数在机器人与环境交互过程中，机器人通过多模态传感器阵列（包括摄像头、惯性测量单元（IMUs）、力敏电阻器（FSRs）和抓取力传感器）获取环境状态信息。基于这些信息，机器人选择并执行相应的行走和抓取操作。状态到动作的映射由策略模型定义，其中策略参数 表示为 。根据状态转换方程，机器人转换到下一个状态，并为相应的动作接收奖励值 ，旨在最大化累积折扣奖励的总和。最优策略的计算如下：（5）设计了一个综合奖励函数，通过整合多维信息来提高模仿学习性能。该奖励函数包括三个部分：行为相似性奖励、位置奖励和效率约束。机器人利用多模态传感器阵列（包括摄像头、IMUs、FSRs和力感应）来获取环境状态空间和动作空间。从人类选择的样本轨迹集中，机器人学习选择最优轨迹集，综合奖励函数表示为（6）在方程中， 表示行为相似性奖励，用于量化机器人的动作与人类专家动作之间的相似性； 表示位置奖励，反映机器人当前状态与目标位置之间的偏差； 表示效率约束项，确保在满足时间或能耗效率要求的同时完成任务。 、 、 分别对应于机器人姿态相对于目标位置的权重系数。2.3. 最大熵强化学习算法的训练在训练过程中，机器人从由专家示范轨迹和自动生成轨迹组成的混合经验回放缓冲区中采样，以实现状态空间和动作空间的有效探索。经验缓冲区基于人类示范数据构建，并使用最大熵强化学习算法进行训练。在获得奖励估计后，最大熵强化学习方法被用来通过利用人类学习策略来最大化预期回报，从而建立最大熵强化学习公式如下：（7）基于随机策略的最大熵奖励函数定义为（8），其中参数 用于确定奖励函数的最大熵形式。基于相似性的策略学习问题可以转换为以下优化形式：（9）与方程（7）相比，方程（9）引入了一个新的对数项，用于从目标函数中学习最优的基于相似性的人类运动轨迹对期望。该项以机器人的本体感知状态和环境交互状态作为输入，并通过拉格朗日方法将机器人约束纳入优化目标。通过与预先存储的人类专家轨迹进行相似性匹配，在方程（4）中定义了策略更新的优化目标，同时 类似地计算安全约束惩罚网络。近端策略优化（PPO）用于更新策略函数，通过平衡新旧策略之间的信任区域来优化策略参数。这确保了训练依赖于来自传感器的实时反馈，包括关节角度、加速度、接触力和物体姿态等数据，这些数据直接影响轨迹相似性评估和策略优化效果。对抗神经网络需要类似人类的相似性来生成合理的数据点；因此，目标函数可以如下表述：（10），其中奖励模型被参数化为 并用于高效更新策略网络参数。为了引导学习过程朝向期望的行为模式，直接使用相似性奖励信号构建了一个基于梯度的损失函数（11）。通过方程（11）中的梯度计算，可以优化从方程（7）得出的策略。最大熵奖励的大小直接有助于梯度上升，使得类似人类的轨迹能够将损失引导到期望的区域，而不同的人类轨迹则将损失引导到不期望的区域。方程（9）中的分母表示当前策略采样的轨迹的背景分布，这完全依赖于传感器观测。在每个动作生成步骤中，机器人根据传感器的状态信息输入选择最相似的人类示范轨迹作为参考。通过提供遵循策略函数的轨迹片段，机器人输入由传感器测量的本体感知状态和环境交互状态，并输出由最相似的人类示范轨迹驱动的关节动作激励，从而实现自主行走和抓取。本文描述的方法的伪代码实现如算法1所示。算法1. 相似性奖励增强生成对抗模仿学习3. 训练程序本研究提出了相似性奖励增强生成对抗模仿学习（SRA-GAIL）方法。模型训练在配备了Ubuntu 16.04操作系统和Robot Operating System（ROS）的图形工作站上进行。该方法评估轨迹片段之间的相似性奖励差异，优先选择相似性较高的片段进行训练。选择概率与相似性得分呈正相关。生成器包括一个接收24维状态向量的输入层，而鉴别器采用具有每层512个神经元的两层卷积神经网络架构。对于每个任务，确保了对未标记片段对的人类比较作为反馈。拉格朗日乘数 λ的初始值设置为0.10，更新学习率为0.005。强化学习折扣因子 γ为0.90，更新的剪切系数 ε为0.2。考虑到人在回路中的要求，首先要求注释者标记345个片段。在每个训练任务中，只需在线标记6个关键片段作为反馈。梯度更新使用自动微分实现，模型参数使用学习率为4 × 10?4的随机梯度下降算法进行优化。每个轨迹片段的持续时间设置为5秒，批量大小配置为1024个状态-动作对。拉格朗日乘数的初始值以0.1的概率进行扰动，以便早期状态学习。每个学习周期包含20次更新。剪切常数设置为0.23。策略网络、价值网络和鉴别器的学习率分别设置为0.33、0.63和0.93。每个学习周期处理8个状态-动作对的数据，经过20次迭代更新。模型在2500个学习周期后完成训练，总共需要168小时的计算时间来输出目标关节位置。在此过程中记录了策略生成的状态-动作对。采用最大熵强化学习算法过滤高奖励片段。轨迹对的相似性评估直接反映了任务的累积奖励水平。从训练数据中选择累积奖励最高的20%的片段进行标记反馈。每100个批次，再加入175个在线标记的片段。对于行走、拾取、放置和推动任务，模型分别进行了200次、400次、400次和400次训练重复，以确保每个动作模型的充分收敛。在训练过程中，根据当前的步态信息读取下一个人类状态。从传感器反馈中计算脚抬高高度和目标脚部位置。当轨迹相似性或累积奖励达到预定义的阈值时，训练终止。否则，使用上一剧集的最终状态作为下一次迭代的初始状态，直到模型性能达到标准。4. 实验基于自开发的XiaoLi人形机器人模仿学习系统，从多个维度全面评估了相似性奖励增强生成对抗模仿学习（SRA-GAIL）方法的有效性，如机器人平台、轨迹相似性、行走稳定性和抓取力等方面。这种验证旨在展示所提出方法在真实世界人形机器人场景中的鲁棒性和适用性，确保与动态环境中模仿学习的严格科学标准保持一致。4.1. 机器人平台分析自开发的XiaoLi人形机器人平台如图2所示。机器人高度为103厘米，质量为8.9千克，集成了高性能计算模块和各种传感器，以支持复杂的模仿学习任务。XiaoLi机器人配备了Intel NUC工业控制计算机，提供了多个通信接口，包括Mini HDMI端口、两个USB 2.0端口、以太网接口和WiFi适配器。这种配置使得TCP/IP和UDP协议之间的自动切换成为可能，确保了高效可靠的数据传输。电机驱动板集成了可编程的32位ARM Cortex CPU，并包含了一个JY901S惯性测量单元（IMU），由3轴加速度计和3轴陀螺仪组成。机器人的头部配备了专门设计的多自由度（DOF）运动捕捉机制，并配备了Logitech C920E摄像头。该摄像头以每秒30帧的速度记录1080p全高清视频，系统延迟控制在20毫秒以内。视频使用H.264标准进行压缩[21]，允许捕捉细微细节，实现快速流畅的数据上传，并减少对机器人计算资源的需求。XiaoLi机器人配备了24个Dynamixel伺服控制器。具体来说，它为躯干使用了4个Dynamixel MX-106伺服电机，每条腿使用了6个Dynamixel MX-106伺服电机，每条臂使用了3个Dynamixel MX-64伺服电机，头部使用了2个Dynamixel MX-28伺服电机。状态空间的维度根据这些控制器定义。每个控制器驱动机器人的特定关节，实现了对人类动作的高度模仿。所有视觉计算都在高性能图形工作站上完成。软件在Ubuntu操作系统上开发，使用Robot Operating System（ROS）作为元操作系统。人类运动数据来自Panoptic Studio运动数据库。模仿学习实验通过基于相似性奖励的生成对抗网络（GAN）框架进行验证。多个传感器为机器人提供实时运动状态数据。惯性测量单元（IMU）采用JY901S姿态和角度测量模块，以200 Hz的频率读取原始数据，包括3轴加速度、3轴角速度和3轴磁场数据。这些数据使用高动态卡尔曼滤波算法融合，以计算稳定的实时3轴姿态角。为了测量抓取力，机器人的手部使用了Guantuo Electronic FSR-GT阵列型柔性薄膜压力传感器。该传感器具有4 × 4的布局，共有16个感应点。柔性薄膜的压阻特性导致其电阻随压力增加而减小。这一特性遵循电阻与压力之间的幂函数关系，电阻的倒数大致与施加的压力成线性关系。可选的DARWIN-OP2双足套件用于测量脚与地面的接触压力。每只脚都配备了4个力敏电阻（FSR）单元。这些力敏电阻的电阻值会随着施加的法向力的变化而变化，从而能够测量地面反作用力的垂直分量。通过配置多个FSR单元，可以间接测量总的地面反作用力矩，其测量范围从0.493牛顿到65.535牛顿。FSR单元通过铰链结构安装在机器人的脚壳上。它们通过TTL级别的多路半双工异步串行通信与驱动板进行通信，每个传感器的值使用Dynamixel库进行监控。图2展示了人类骨骼与机器人结构之间的关节映射关系。

4.2 轨迹相似性分析
为了定量评估人形机器人运动轨迹与人类示范动作之间的相似性，本研究基于Panoptic Studio运动捕捉数据集建立了人类骨骼模型与机器人之间的关节映射关系，如图2所示。传感器系统集成了安装在脚上的FSR-GT阵列型柔性薄膜压力传感器，用于实时测量双脚四个端点的压力分布。这些数据与JY901S惯性测量单元（IMU）获取的滚动和俯仰角度数据以及Logitech C920E相机捕获的视觉数据相结合。使用OpenPose框架提取人类骨骼的关键点，设置以下检测阈值：身体部位检测阈值为0.3，关键点连接概率阈值为0.5，姿态估计置信度阈值为0.6。深度图像和RGB信息的融合处理充分考虑了传感器的成像特性和任务空间约束，从而能够准确推导出人类关节角度信息。这些数据用于人类姿态与机器人序列之间的时间对齐和坐标重定向，通过传感器数据融合优化了行为相似性的评估。

在生成对抗性模仿学习（GAIL）框架内增强了相似性奖励机制。采用了基于判别器学习的数据采样策略，并使用Panoptic Studio运动数据集中的3000个到达姿态进行了运动轨迹相似性评估，结果总结在表1中。生成对抗性模仿学习、基于观察的行为克隆（BCOM）和相似性奖励增强型生成对抗性模仿学习的专家示范数据集规模均为30个。行为复制学习的重复次数分别为200次、400次和400次，考虑了五种不同的手部重新定位目标物体。分析使用了0、0.2、0.4、0.6和1的抗干扰损失权重。比较分析显示，改进的相似性奖励增强型生成对抗性模仿学习方法在保持运动轨迹相似性方面表现最佳。特别是在抓取、行走和放置任务中，相似性奖励增强型生成对抗性模仿学习的平均关节角度向量相似性得分分别为96%、89%和95%，相比标准生成对抗性模仿学习方法提高了超过14%，其性能与基于观察的行为克隆方法相当。此外，在复杂环境中，相似性奖励增强型生成对抗性模仿学习的收敛速度比深度Q网络和策略梯度算法快了大约32%，轨迹相似性显著提高了12%。这些改进主要归因于多模态传感器数据的有效融合和行为相似性奖励的强化优化，显著提升了判别器的学习性能和鲁棒性。

4.3 行走稳定性分析
本研究采用自开发的XiaoLi人形机器人平台作为实验对象，旨在通过集成多传感器数据融合和模仿学习的框架来提高双足步行的动态稳定性。机器人的脚上配备了来自DARWIN-OP2套件的力敏电阻薄膜压力传感单元，如图3所示。这些传感器以100 Hz的采样频率测量前脚和脚后部内侧/外侧四个关键点的压力分布。根据压力数据计算零力矩点（ZMP）轨迹，并将其映射到地面固定坐标系中，以生成人类运动质心的参考路径。为了捕捉全身运动特征，在机器人骨盆中心安装了JY901S惯性测量单元（IMU），见图4。集成的三轴加速度计、陀螺仪和磁力计以200 Hz的采样频率工作，提供实时的滚动和俯仰角度数据，见表2。这些测量结果与Logitech C920E相机捕捉的人类示范运动数据在时空上对齐，从而实现了人类示范与机器人执行之间的定量匹配评估。在模仿学习框架中，Logitech C920E相机作为外部观察者，捕捉人类示范者的运动轨迹并生成骨骼关键点数据。这些数据从相机坐标系转换为机器人的基础坐标系，以推断出脚的位置信息，进而推断出相对于地面的骨盆中心的期望运动方向。当机器人的运动轨迹与人类示范最佳匹配时，生成对抗性模仿学习框架中的策略网络和判别器模块整合了陀螺仪角速度、加速度计垂直信息以及基础坐标系中的速度信号，生成适用于机器人四肢和骨盆坐标系的三维运动轨迹。

4.4 抓取力分析
基于XiaoLi人形机器人平台，选择了沙漏、长方形盒子、长板和打火机等典型物体进行测试，如图5所示。这些物体的质量分别为200克、180克、160克和50克。实验任务要求机器人在动态行走过程中实时抓取目标物体，使用基于注意力机制的行为克隆方法模仿人类抓取动作，并将物体准确运输到指定位置，从而评估系统在复杂环境中的综合性能。系统首先从Logitech C920E相机捕获的RGB图像中提取人类关节边界框信息，并使用OpenPose骨骼关键点构建参数化的人类姿态模型。人类姿态判别器通过逆运动学计算运动链关节的三维空间位置，从躯干到右手腕的相对姿态和方向向量。为了测量手部抓握力，使用了相同系列的传感器来提供精确的抓握力反馈。运动控制策略采用基于最大熵的强化学习算法作为相似性奖励机制的核心模块。设计了分层奖励策略：当末端执行器接近目标物体时，奖励值为0.3；成功抓取后，奖励值增加到0.5；完成提升动作后，奖励值达到最大值1.0。为了提高多源传感器数据的可靠性，系统使用安装在脚上的FSR-402薄膜电阻压力传感单元测量双脚四个端点的压力分布。结合JY901S惯性测量单元（IMU）提供的滚动和俯仰角度数据，实时计算零力矩点（ZMP）以优化行走稳定性。同时，整合了非根部关节角度、关节角速度和基础绝对速度等观测数据，构建了全面的机器人-环境状态观测空间。

5. 讨论
本研究提出了相似性奖励增强型生成对抗性模仿学习（SRA-GAIL）框架，以提高人形机器人在高维度、接触丰富和复杂协调任务（如“行走-抓取”）中的模仿学习能力。从方法设计、实验验证、核心机制和性能比较的角度全面分析了生成对抗性模仿学习（SRA-GAIL）的固有机制，并根据严格的统计推断标准对其性能进行了评估。结构化约束优化的方法

Merel等人[22]详细阐述了生成对抗性模仿学习（GAIL）如何从运动捕捉数据中学习低级技能。其核心机制涉及训练一个鉴别器来区分专家和代理的状态-动作对。鉴别器的转换输出作为单一的、整体的奖励信号，用于策略优化，旨在使模仿者的状态-动作占用分布与专家的分布对齐，从而传递宏观行为风格。他们的工作在“现实到模拟”的环境中验证了这种方法，证明了从部分观察结果中学习的能力，而无需动作信息。然而，像Merel等人[22]中那样仅依赖强化学习目标的方法，容易生成非人类般的、过度刻板的动作。Chebotar等人[23]提出了Intention GAN，引入了一个潜在的意图变量来处理多技能/任务场景中的多模态模仿。其核心创新在于技能的分离和选择，尽管其主要奖励仍然来源于鉴别器对状态-动作-意图三元组的判断。

相似性奖励增强型生成对抗性模仿学习（SRA-GAIL）保留并改进了鉴别器的核心判别任务。其输出构成了基础的行为相似性奖励，从而继承了生成对抗性模仿学习（GAIL）确保宏观行为风格一致性的能力。然而，相似性奖励增强型生成对抗性模仿学习（SRA-GAIL）进一步解耦并引入了额外的结构化奖励：基于末端执行器位置偏差的位置奖励，用于轨迹跟踪；以及从速度/加速度剖面的统计特征匹配中得出的效率奖励。因此，相似性奖励增强型生成对抗性模仿学习（SRA-GAIL）中的最优轨迹集奖励函数定义为，其中位置奖励和效率奖励分别为精确轨迹跟踪和运动质量优化提供了专门的学习信号。这将问题转变为一个可调谐度高的、多目标的、协同优化任务。与Chebotar等人[23]处理技能分离不同，相似性奖励增强型生成对抗性模仿学习（SRA-GAIL）的奖励解耦旨在精细塑造单一复杂技能中的多个关键性能方面。此外，生成对抗性模仿学习（SRA-GAIL）通过拉格朗日乘数方法将零力矩点（ZMP）稳定性的硬约束直接嵌入到最大熵优化目标中。这迫使策略网络在自适应生成满足物理稳定性约束的动作序列的同时追求行为相似性。这种嵌入约束的学习范式与Merel等人[22]中的隐式稳定性获取方法有根本不同。如表2所示，相似性奖励增强型生成对抗性模仿学习（SRA-GAIL）策略生成的身体滚转/俯仰角波动显著小于标准生成对抗性模仿学习（GAIL）产生的波动，实现了96.5%的零力矩点（ZMP）轨迹合规率。这强烈证明了这种内生约束方法可以产生具有更好动态协调性和更强干扰抑制能力的整体控制策略。

相似性奖励增强型生成对抗性模仿学习（SRA-GAIL）是在一个真实的高自由度XiaoLi人形机器人平台上构建和验证的，实现了完整的物理闭环多模态感知-决策-控制系统。该系统深度集成了视觉相机、IMU、脚底压力传感器和手部安装的压力传感器阵列。这种视觉、力和惯性传感的深度融合是相似性奖励增强型生成对抗性模仿学习（SRA-GAIL）的基础，其在复杂现实世界任务中的成功率为93.7%，零力矩点（ZMP）合规率为96.5%。如表3所示，手部触觉反馈的集成使机器人不仅能够看到并模仿人类的抓取轨迹，还能够感知和学习适当的抓取力，从而促进了交互式物理动态的学习。

5.2 实验验证的显著性测试
每个关键性能指标的评估指标表示为10次独立试验的平均值。统计测试方法遵循数据类型标准。对于表1中显示的人形机器人抓取任务轨迹相似性数据，相似性奖励增强型生成对抗性模仿学习（SRA-GAIL）方法的成功率分别为[95%、97%、96%、94%、98%、95%、97%、96%、95%、97%]，样本标准差为1.2%，置信区间为[95.1%、96.9%]。生成对抗性模仿学习（GAIL）方法的成功率分别为[79%、82%、78%、81%、77%、82%、79%、80%、78%、81%]，样本标准差为1.7%，置信区间为[78.8%、81.2%]。BCOM方法的成功率分别为[89%、92%、88%、91%、87%、92%、89%、90%、88%、91%]，样本标准差为1.7%，置信区间为[88.8%、91.2%。对这三个数据集进行单因素方差分析（ANOVA）显示，SRA-GAIL和GAIL之间的平均差异为16.0%，差异置信区间为[14.3%、17.7%]。SRA-GAIL和BCOM之间的平均差异为6.0%，差异置信区间为[4.3%、7.7%。在10次集成行走-抓取任务的试验中，相似性奖励增强型生成对抗性模仿学习（SRA-GAIL）的成功率为93.3%，而GAIL为80.0%，BCOM为90.0%，表明各组之间存在显著差异。

在10次行走任务试验中，相似性奖励增强型生成对抗性模仿学习（SRA-GAIL）方法的机器人姿态滚转角值分别为[0.85°、0.78°、0.92°、0.81°、0.88°、0.79°、0.90°、0.83°、0.87°、0.80°]，平均值为0.843°，样本标准差为0.048°。对于生成对抗性模仿学习（GAIL）方法，在10次行走试验中，这些值分别为[1.15°、1.25°、1.08°、1.30°、1.12°、1.28°、1.10°、1.32°、1.18°、1.22°]，平均值为1.200°，样本标准差为0.083°。统计测试显示平均差异为0.357°，差异置信区间为[0.298°、0.416°]。样本效率提高了23.8%，计算平均值为23.4%，样本标准差为1.1%，置信区间为[21.0%、25.8%。这些统计上显著的测试结果表明，相似性奖励增强型生成对抗性模仿学习（SRA-GAIL）通过其创新的结构化奖励集成、内生约束优化和真实系统闭环验证，为模仿学习人形机器人的复杂移动操控技能提供了有效解决方案。

5.3 核心机制之间的关系
在生成对抗性模仿学习（SRA-GAIL）框架内，相似性奖励、鉴别器输出和最优轨迹集奖励函数构成了一个层次系统。相似性奖励增强型生成对抗性模仿学习中的鉴别器是一个神经网络，用于确定给定的状态-动作对是来源于专家演示数据分布还是当前策略生成的数据分布，并输出一个标量概率估计。在原始的生成对抗性模仿学习（GAIL）中，这个标量被简单地转换并直接用作策略学习的对抗奖励，使得策略生成的状态-动作占用分布与专家分布无法区分。

相似性奖励增强型生成对抗性模仿学习（SRA-GAIL）创新性地构建了一个复合相似性奖励概念。该奖励由三个具有不同含义和来源的组成部分构成：（1）行为相似性奖励来源于鉴别器输出，确保学习到的策略在宏观行为风格和分布层面与专家演示一致；（2）位置奖励是一个独立的、任务衍生的、可分析计算的奖励项，通过计算机器人末端执行器位置与人类演示目标位置之间的偏差获得；它为精确轨迹跟踪提供了具有明确几何意义的密集学习信号；（3）效率奖励是另一个独立的、任务衍生的奖励项，通过比较机器人和人类演示的速度和加速度剖面来定义，鼓励平滑、自然和高效的运动轮廓。

SRA-GAIL中的最优轨迹集奖励函数是上述三个奖励项的加权和，其中权重是可调的超参数。鉴别器输出是计算行为相似性奖励的唯一输入。复合相似性奖励包括三个子奖励。其中，来源于对抗性判别，提供分布层面的相似性，而和来源于任务驱动的指标，提供轨迹层面和运动质量层面的相似性。最优轨迹集奖励函数是所有相似性奖励子成分的加权合成，是策略网络在每一步实际接收和用于参数更新的总奖励信号。鉴别器输出为整体最优轨迹集奖励贡献了一个组成部分。这个组成部分与两个具有明确物理意义的辅助奖励协同工作。这种设计确保了相似性奖励增强型生成对抗性模仿学习（SRA-GAIL）受到和的指导，并进一步受到的促进。这种层次化和协同的奖励结构是其更高样本效率和生成更自然、更稳定运动能力的主要原因。

5.4 性能比较
结合上述方法创新、系统实现和生成的统计证据，相似性奖励增强型生成对抗性模仿学习（SRA-GAIL）展示了全面的优势。在轨迹相似性方面，它的表现与专注于行为克隆的BCOM方法相当，同时显著超越了标准生成对抗性模仿学习（GAIL）。在动态稳定性方面，相似性奖励增强型生成对抗性模仿学习（SRA-GAIL）生成的动作比生成对抗性模仿学习（GAIL）生成的动作更加稳定。更重要的是，相似性奖励增强型生成对抗性模仿学习（SRA-GAIL）同时实现了高相似性和高稳定性的双重目标。此外，在灵巧操控方面——特别是抓取力控制——SRA-GAIL超过了所有基线方法。

在算法层面，相似性奖励增强型生成对抗性模仿学习（SRA-GAIL）通过结构化奖励设计和内生整合物理约束，超越了GAIL。在系统层面，通过在真实机器人上构建多模态感知-控制闭环，它为复杂的具体任务提供了强大的支持。这超出了Merel等人[22]和Chebotar等人[23]的工作中主要基于模拟的验证范围。相似性奖励增强型生成对抗性模仿学习（SRA-GAIL）方法在算法上明确了奖励组成，其多维性能优势得到了实验验证。这种模仿准确性、运动稳定性和操作鲁棒性的共同优化构成了相似性奖励增强型生成对抗性模仿学习（SRA-GAIL）框架全面价值的最有力证明。

6. 结论
为了解决基于逆强化学习方法在人形机器人行走和抓取模仿学习中的局限性，特别是在样本利用效率和奖励函数设计方面，本文提出了一种新颖的相似性奖励增强型生成对抗性模仿学习框架。系统性的实验验证得出了以下结论：

视觉系统的性能对轨迹捕获精度至关重要。使用Logitech C920E相机作为视觉感知设备，其空间分辨率为1920 × 1080像素，帧率为30 fps，有效地捕获了人形机器人在动态环境中的运动轨迹，将轨迹捕获和定位误差限制在5%以内。

采用高精度薄膜电阻压力传感器显著提高了抓取稳定性。相似性奖励增强型生成对抗性模仿学习方法在抓取力稳定性方面表现出优于生成对抗性模仿学习和从观察中克隆行为的方法，平均误差从0.25 N降低到0.12 N。这表明力反馈系统为行走稳定性和抓取约束提供了可靠的保证。

在最大熵强化学习框架内创新性地整合拉格朗日约束方法被证明非常有效。在XiaoLi机器人平台上获得的实验结果表明，所提出的方法显著提高了关键性能指标，特别是在行走稳定性分析、物体抓取分析和运动轨迹相似性分析方面。

基于Panoptic Studio运动数据集的广泛验证实验确认，通过上述多传感器融合和生成对抗性模仿学习（SRA-GAIL）框架，机器人能够在未知环境中实现稳定行走和适应性抓取。视觉、力和惯性数据的协同融合显著提高了系统对动态环境的适应能力。多模态传感器融合方法在相似性奖励增强型生成对抗性模仿学习方法的有效性中发挥了决定性作用，有效缓解了模仿学习中固有的分布偏移问题。

未来的研究可以结合更高精度的传感器，如六轴力/扭矩传感器和结构光相机。通过更严格的统计验证、技能组成的探索以及对环境泛化性的研究，将进一步推进集成多模态感知、理论约束和结构化模仿学习的智能机器人范式。