在线性嵌入空间中的强化学习实现了对软体机器人不同配置的通用控制能力

《Nature Communications》：Reinforcement learning in linear embedding space unlocks generalizable control across soft robot configurations

　　

摘要

软体生物具有显著的形态适应性，能够动态地改变自身的形状和硬度以实现多种行为。受这些生物系统的启发，出现了具有多种形态的软体机器人，但至今仍缺乏一种能够快速适应不同配置的统一控制框架。在这里，我们提出了一种通用控制系统，该系统通过强化学习在共享的线性Koopman嵌入空间中实现快速跨配置适应。通过将机器人动态信息编码到该嵌入空间中，我们的方法将控制策略与特定形态分离，从而实现实时的、无需重新训练的无模型策略适应。我们在33种不同的机器人配置上验证了该系统的有效性。该系统使得跨配置的样本数量减少了75倍，并且在高速运动、重负载以及多执行器故障的情况下仍能保持稳定的性能，同时还实现了软体机器人领域此前无法实现的实际技能。这项工作为多种软体机器人配置建立了一个可适应的控制框架，并可能为复杂物理系统中的通用控制提供新的思路。