基于脉冲神经网络强化学习的海星启发表面形状记忆合金多足软体机器人自主运动控制

《Scientific Reports》：Neuromorphic control of a simulated shape-memory-alloy-driven multi-legged robot using a spiking neural network

　　

摘要

我们提出了一种用于海星启发的多足软体机器人自主运动控制的脉冲神经网络（SNN）强化学习方法，该机器人由形状记忆合金（SMA）驱动器驱动。此类机器人通常由预设计的周期信号开环驱动，因为在高自由度下很难手动设计协调运动。我们用SNN替换了孪生延迟深度确定性策略梯度（TD3）的执行器：一个脉冲执行器网络。膜电位，作为SNN的内部状态，在更新时通过当前执行器从短期观察历史中重建，而不是在收集时存储。为降低控制器的推理成本，我们添加了膜电位平方的正则化项，鼓励从更少的脉冲中产生动作。在仿真中，智能体获得了接近目标所需的腿部协调，其脉冲模式发展出与SMA响应匹配的周期性。产生的步态在不过度脉冲的情况下实现了连续推进。目标误差与ANN执行器TD3基线相当，但在不同种子间分布更窄，重建给出了膜状态处理中最低的目标误差。正则化降低了脉冲频率，直到估计的推理能耗降至ANN以下。