一种基于强化学习的水下灵巧手自适应阻抗控制方法 孙宇泽， 姚庆峰， 田启燕， 何乃志

《Journal of Marine Science and Engineering》：An Adaptive Impedance Control Method for Underwater Dexterous Hands Based on Reinforcement Learning Yuze Sun, Qingfeng Yao, Qiyan Tian and Naizhi He

　　

摘要

随着海洋开发的不断进步，水下作业任务变得越来越多样化和复杂。为了解决传统方法的局限性以及仅关注技能获取而将抓取规划与力规划分离的智能规划问题，本文提出了一种结合阻抗控制与深度强化学习的建模方法。该方法以五指仿人水下灵巧手作为抓取执行平台，实现了水下灵巧手在抓取规划与力控制之间的协同决策。首先，建立了一个模块化的水下灵巧抓取场景，分析了其运动学模型和逆解，并将抓取问题建模为马尔可夫决策过程。其次，基于用于仿真的灵巧指尖阻抗控制模型，构建了一种基于深度强化学习的抓取策略学习方法，以应对灵巧操作器高自由度所带来的复杂控制挑战。最后，采用近端策略优化（PPO）算法进行抓取策略学习。利用Isaac Lab仿真平台建立了水下灵巧抓取的并行训练和测试环境，以快速验证该学习方法的有效性。仿真结果表明，所提出的方法在灵巧合规控制性能方面表现出色，并具有很强的鲁棒性，能够适应多变的水下环境：与纯位置控制相比，基于PPO的阻抗控制方案将接触力方差降低了56%；平均最大接触力降至3.26 N，相比纯位置控制降低了60.4%。本研究实现了水下流体动力学补偿、自适应阻抗控制和抓取策略学习的有机整合，为水下灵巧操作器的合规抓取控制提供了一种新颖而有效的解决方案。