基于刚度感知的软连续体机械臂接触跟踪强化学习框架

《Journal of Engineering Research》：Stiffness-aware contact tracking for soft continuum manipulators using reinforcement learning

　　

软连续体机械臂（SCMs）为接触密集型操作提供了固有的柔顺性，但当表面刚度未知时，协调力、运动与姿态仍具挑战性。本研究开发了一种强化学习框架，该框架结合了情景式刚度域随机化（DR）、短程力–位移历史以及用于接触建立与调节的分阶段奖励。策略在Cosserat杆仿真中采用TRPO算法训练，刚度在[10^2.5,10^4.5]Nm^?1范围内采样，且不接收刚度值或刚度估计，随后在[10²,10⁵]Nm^?1范围内进行评估。消融研究表明，与DR策略相比，历史窗口改善了姿态对齐；而所提出的奖励降低了综合跟踪误差与力误差，揭示了三个目标之间的权衡关系。离线诊断表明，加入历史使刚度预测的均方根误差（RMSE）降低14.7%，支持了其补充性信息价值。这些结果证实了所提框架在表面刚度不确定条件下SCM接触任务中协调力调节、轨迹跟踪与末端对齐的有效性。

**研究背景与问题**

受象鼻等生物连续体结构启发，软连续体机械臂（SCMs）因其柔顺性与固有安全性，在航空发动机维护、微创手术等领域展现出应用潜力。然而，许多设想应用本质上是接触密集型的，要求控制器同时实现三重目标：向环境施加规定的机械作用、沿表面跟踪笛卡尔轨迹与期望末端姿态、以及应对刚度分布可能跨越数个数量级且从不被直接测量的表面。SCM的高非线性与材料弹性使其精确解析模型难以完整建立，限制了纯基于模型控制器的可靠性，尤其当涉及额外不确定接触环境时。强化学习（RL）将控制问题构造为马尔可夫决策过程（MDP），为SCM控制提供了有前景的途径。现有涉及物理交互的学习控制研究可分为两类：第一类将接触视为需规避的约束或被动适应的未建模效应，无显式主动力调节；第二类将接触力作为显式控制目标，但部分工作仅针对固定接触刚度开发验证，或仅依赖域随机化（DR）的隐式鲁棒性。据研究人员所知，尚无现有SCM的RL策略在策略设计中考虑交互反馈或在刚度随机化环境下实现刚度感知的接触跟踪。

**研究内容与结论**

本研究开发了一种基于TRPO的学习框架用于SCM接触跟踪，主要贡献包括：首次提出面向SCM的历史条件化RL框架，在随机化环境刚度下同时处理接触力调节、笛卡尔轨迹跟踪与末端对齐；通过将短程接触力与末端–表面距离历史增广至策略观测以提供时序交互反馈，而非仅依赖DR的隐式鲁棒性；开发了分阶段奖励引导预接触接近与后续接触调节，采用有理核进行跟踪与力评分，相比指数整形获得更低的综合跟踪与力RMSE。研究结果表明，历史条件化在保持较低跟踪与力误差的同时显著提升了对齐性能，离线诊断证实历史提供了有用的刚度相关信息（RMSE降低14.7%），但也揭示了三个目标间的权衡关系及高刚度外推点的精度下降。

**关键技术方法**

研究采用Cosserat杆模型在PyElastica中实现SCM动力学仿真，通过Gym风格接口与RL算法对接；采用自制的罚函数接触模块模拟末端与刚性板的交互；策略训练使用TRPO算法（Stable Baselines实现），搭配高斯MLPactor网络（64,64）；刚度域随机化在每次重置时对数均匀采样；观测中包含H=8的力–位移环形缓冲历史；奖励设计采用有理函数核与分阶段切换机制。研究未使用预存数据集，训练轨迹通过策略–环境交互生成。硬件为Intel Core i7-13790F CPU，单种子10⁶环境步约3.5小时。

**研究结果**

**系统模型与任务形式化**：将SCM建模为单根细长Cosserat杆，仅进行弯曲驱动且假设无扭转，驱动偶局限于弯曲方向。任务包含四个耦合要求：力调节（维持5N法向接触力）、轨迹跟踪（跟踪平面八字形Lissajous参考轨迹）、末端姿态对齐（以对齐度量a∈[?1,1]量化）、以及未知宽变刚度（刚度在[10^2.5,10^4.5]Nm^?1范围内且从不向智能体透露）。

**方法学**：将控制问题形式化为部分可观测马尔可夫决策过程（POMDP），观测空间维度为52+2H（H=8），动作空间为[?1,1]¹²参数化B样条控制点。刚度域随机化采用对数均匀采样，接触阻尼通过ν_c=c_d√k与刚度关联。力–位移历史以环形缓冲区存储最近H组滤波力幅值与有符号距离对，不包含显式刚度估计。奖励采用有理函数核ρ_σ(e)=1/(1+(e/σ)²)，分接触前与接触后两阶段切换。策略优化采用TRPO，约束平均KL散度，使用GAE估计优势函数。

**训练与评估**：比较四种配置：固定刚度（无随机化无历史）、DR无历史、DR指数奖励、以及提出的方法（DR+历史+有理分阶段奖励），各用5个随机种子训练。评估在7个测试刚度值上进行，包括训练区间外的两个外推点。结果表明：固定刚度基线收敛最快但力误差最大（57.54±48.18 N）；DR无历史获得最低综合跟踪与力RMSE（0.023±0.008 m和5.95±3.79 N）但对齐极差（0.183±0.393）；提出的方法将对齐提升至0.773±0.224，跟踪与力RMSE分别为0.027±0.005 m和7.54±0.87 N；DR指数奖励获得更高对齐（0.873±0.069）但跟踪与力误差更大（0.045±0.010 m和9.68±2.14 N）。离线刚度读出诊断表明，当前测量已含大量刚度相关信息，但加入历史使新情景已知刚度下RMSE从0.147降至0.126， held-out刚度下从0.235降至0.200（降低14.7%），R²从0.778升至0.839。

**讨论与结论**

计算复杂度分析表明，历史条件化引入ΔW=2Hm=1024额外权重，动作均值网络参数增加12.3%，稠密层MAC增加12.5%，历史缓冲存储为O(H)。部署方面，训练完成后策略参数固定，动作选择仅需观测处理、历史缓冲更新与策略前向传播，但分析运算计数本身不能确立实时可行性。研究局限性在于仅限仿真评估，采用简化的末端–表面接触模型，未确立对摩擦或分布接触、材料不确定性、未建模动力学、驱动误差或测量噪声的鲁棒性，硬件平台尚在开发中，物理验证不可用。更广泛意义在于：时序交互反馈可补充域随机化，短程交互历史可能帮助学习控制器适应不确定接触属性而无需显式刚度估计输入，但物理系统的收益仍需硬件实验确立。结论部分指出，研究人员提出了一种面向SCM在未知刚度表面上接触密集轨迹跟踪的历史条件化RL框架，结合刚度域随机化、力–位移历史条件化与分阶段奖励，使用标准TRPO学习接触力调节、笛卡尔轨迹跟踪与末端对齐控制，无需接收刚度值或估计。跨七个刚度级别与五个训练种子的评估表明，相对于固定刚度训练降低了力误差，相对于DR无历史改善了 compat对齐，跟踪与力误差 modest增加。与指数整形相比，所提奖励以对齐为代价获得更低综合跟踪与力误差。离线诊断进一步表明历史使刚度预测RMSE降低14.7%，支持其补充性信息价值。未来工作将聚焦硬件验证与传感不确定性鲁棒性。