《Sensors》：Variable-Damping Impedance Control for Contact Tasks: A Reinforcement Learning Method Integrating HER and Importance Sampling
编辑推荐：
力控制对于机器人接触密集任务（如装配、打磨和抛光）至关重要，直接影响任务精度、交互稳定性和安全性。然而，在非结构化环境中，环境不确定性、接触振荡和摩擦干扰使得高性能接触控制与强化学习策略优化变得困难。为解决这一问题，本文提出了一种基于深度强化学习的可变阻尼阻抗
力控制对于机器人接触密集任务（如装配、打磨和抛光）至关重要，直接影响任务精度、交互稳定性和安全性。然而，在非结构化环境中，环境不确定性、接触振荡和摩擦干扰使得高性能接触控制与强化学习策略优化变得困难。为解决这一问题，本文提出了一种基于深度强化学习的可变阻尼阻抗控制方法，该方法集成了参数化事后经验回放（TO-HER）和重要性采样（IS）。在阻抗控制框架内，一个残差参数化策略实现了在线阻尼调整，提升了接触各阶段的动态适应性。为克服传统HER在接触密集任务中的训练不稳定性，引入了一种参数化目标重新标记机制，以提升重新标记样本的质量和样本效率。此外，基于密度比估计的重要性采样方案缓解了重新标记样本与真实样本之间的分布失配问题，增强了训练质量与稳定性。实验结果表明，所提方法在收敛性、最终回报和训练稳定性方面优于基线方法，同时在典型接触场景中实现了更高的跟踪精度和更优的动态响应，展示了其在非结构化环境中用于机器人接触控制的强大有效性和鲁棒性。
**论文解读：基于参数化事后经验回放与重要性采样的可变阻尼阻抗控制方法**
**一、研究背景与问题**
机器人力控制是精密制造与智能交互中的关键技术，广泛应用于抛光、装配、物料搬运与人机协作等任务。这些任务要求机器人在跟踪位置的同时调节交互力，以建立稳定且柔顺的物理接触。然而，在非结构化或动态环境中，接触建立过程常伴随瞬态冲击、振荡和力跟踪误差，难以同时保证接触稳定性和力跟踪精度。现有方法中，力/位混合控制依赖明确的任务空间分解，在环境不确定或接触条件突变时适应性受限；传统阻抗控制采用固定参数，当环境刚度、接触边界或外部扰动变化时，固定参数设计难以维持一致的力跟踪性能与接触稳定性。尽管自适应控制、鲁棒控制及混合阻抗设计在一定程度上提升了适应性，但仍依赖精心设计的模型或手动调参规则，限制了复杂接触场景中的灵活性。近年来，基于学习的方法（如神经网络补偿和强化学习）逐渐被引入，但多数强化学习方法仍需要大量交互数据与长训练时间，在接触任务中数据获取成本高，严重制约了实际部署。事后经验回放（Hindsight Experience Replay, HER）通过将后续达到状态重新标记为替代目标以提升样本效率，但在接触任务中直接使用原始物理轨迹的后续状态作为虚拟目标会引入碰撞噪声、高频振荡与局部摩擦突变，降低虚拟目标有效性并破坏策略学习稳定性。为此，研究人员提出了一种基于增强型深度确定性策略梯度（DDPG）算法的自适应可变阻尼阻抗控制策略，旨在解决上述问题。该论文发表在《Sensors》上。
**二、主要技术方法概述**
为开展研究，研究人员采用了以下关键技术与方法：首先，构建了基于单轴阻抗动力学的低层控制框架，将阻尼参数分解为固定基项与可变残差项，通过强化学习策略网络输出连续动作映射至阻尼残差调整，实现在线阻尼自适应。其次，提出了参数化事前经验回放（TO-HER）机制，通过局部时间窗口内的梯度上升优化生成平滑虚拟目标序列，提升重新标记样本质量。再次，针对分布失配问题，引入基于判别器驱动的密度比估计自适应重要性采样方法，计算重新标记样本的修正权重，用于加权更新Critic网络与Actor网络。此外，在仿真平台MuJoCo中构建了六自由度UR10e机械臂模型及弧面、斜面与变刚度接触环境，用于训练与验证。实验部分在真实UR10e机器人平台上部署了纯仿真训练的零样本迁移策略，接触环境包括铝制工作台与可更换接触模块。
**三、研究结果**
**1. 仿真分析：训练性能与参数收敛性**
在MuJoCo仿真平台中，研究人员设置机械臂末端沿X方向以10 mm/s匀速运动，Z方向目标接触力20 N，总行程100 mm（前50 mm水平平面，后50 mm弧面斜坡）。通过比较不同方法的训练回报曲线，发现纯DDPG收敛慢且最终回报有限；DDPG+HER在训练中期暂时提升但后期回报下降且波动大；DDPG+TO-HER快速提升并维持较高回报；进一步引入重要性采样后，DDPG+TO-HER+IS在收敛速度、最终回报和训练稳定性上均最优，最终平均回报达2215.7±52.6，所有10个随机种子均成功收敛，表明参数化目标重新标记有效提升样本效率，分布失配校正进一步增强训练稳定性。
**2. 仿真分析：未知环境下的恒力跟踪性能**
在弧面接触场景中，所提方法相较于恒定阻抗控制、自适应阻抗控制和常规DDPG，在位置跟踪、力跟踪和位置误差方面表现出更平滑的轨迹响应、更小的瞬态波动和更稳定的力跟踪。在零样本泛化测试中，将接触环境替换为斜面与变刚度平面，所提方法在无需重新训练的情况下，仍能实现更平滑的位置过渡和稳定的力跟踪，展示出对不同几何形状与刚度条件的良好适应性。
**3. 真实机器人实验验证**
在真实UR10e平台上，将仿真训练的策略直接部署（无微调），分别测试了连续曲面接触、未知斜面接触和时变期望力跟踪三种任务。实验结果表明：所提方法在连续曲面接触中，力跟踪更早收敛至20 N附近，波动带窄；在斜面接触中，力跟踪误差小，变异性低；在时变力参考下，峰值响应低（45.08 N），重新收敛快（约10.32 s）。定量比较显示，所提方法在三种场景下平均误差（Mean Err.）分别为0.516 N、0.311 N和0.614 N，超调量分别为26.32%、29.57%和31.06%。与自适应阻抗控制相比，平均误差最高降低70.3%（曲面接触），超调量最高降低60.9%（曲面接触），表明该方法在未知环境中具有更优的力跟踪精度与交互稳定性。
**四、讨论与结论**
**讨论部分总结：**
实验结果验证了所提方法的有效性，但当前研究主要集中于代表性接触场景和一维法向控制，以便清晰验证自适应阻尼策略。真实机器人实验提供了有意义的实践验证，主要额外在线计算成本仅限于策略网络推理，训练过程在仿真中离线完成，支持实时实现。未来工作将扩展至更广泛任务设置，包括多种材料、几何形状和接触条件，以及多轴与混合力/运动控制问题，并进一步解决工业应用中的仿真到现实鲁棒性、传感不确定性、执行器约束与安全需求。
**研究结论翻译：**
针对非结构化机器人接触任务，本研究通过提出一种集成参数化事后经验回放与重要性采样的深度强化学习可变阻尼阻抗控制方法，解决了环境变化大、样本效率低以及强化学习训练稳定性不足等关键挑战。该方法沿一维主导接触轴构建残差可变阻尼阻抗模型，通过阻尼参数的在线自适应调整，增强了接触建立阶段和稳定接触阶段机器人的柔顺调节能力。为克服传统HER在接触任务中直接使用后验状态作为虚拟目标可能引入碰撞噪声、高频振荡和局部摩擦干扰的局限性，开发了一种参数化目标重塑策略以提升重新标记经验的质量。此外，为缓解虚拟样本与真实交互样本之间的分布失配，引入了基于密度比估计的重要性加权更新机制，从而提升了Actor-Critic学习过程中的值估计精度与策略优化稳定性。仿真结果表明，所提方法实现了良好的训练收敛性与一致性，最终平均回报为2215.7±52.6，并在所有10个随机种子下成功收敛。真实机器人实验进一步表明，在曲面接触、斜面接触和时变力跟踪三种操作条件下，所提方法平均误差分别为0.516 N、0.311 N和0.614 N，超调量分别为26.32%、29.57%和31.06%。与自适应阻抗控制相比，所提方法平均误差最高降低70.3%，超调量最高降低60.9%。这些结果表明，该方法有助于提升基于强化学习的接触控制中的样本利用率与训练稳定性，并在未知环境中提供更精确的力跟踪与更稳定的交互性能。
