输入自适应泄漏机制：提升脉冲神经网络在机器人操作中的推理效率

《Scientific Reports》：Reducing spiking neural network inference latency for behavior cloning with input adaptive leakage

　　

摘要

行为克隆能够通过有限的演示实现复杂人类技能的高效模仿。然而，常用于策略学习的人工神经网络（ANNs）受制于其高计算需求和能耗。脉冲神经网络（SNNs）因其事件驱动和节能特性提供了一个有前景的替代方案。SNN 的一种常见训练方法是将预训练 ANN 的权重转换为等效的 SNN。然而，由于率编码的原因，这种转换后的 SNN 通常需要多个推理时间步才能使每个输入的放电率收敛，从而导致延迟增加。对于机器人操作中的视频帧等连续感官输入，这一问题尤为严重。为了解决这个问题，我们提出了一种输入自适应泄漏机制，根据输入变化动态控制脉冲神经元内部状态——膜电位的泄漏。当连续输入之间的变化较小时，该机制减少泄漏以保留膜电位。相反，当输入变化较大时，它增加泄漏以快速用新输入更新膜电位。我们使用一种混合 ANN-SNN 策略评估了该方法，其中只有视觉编码器被转换为 SNN。实验在 RoboManipBaselines 模拟环境中的四个机器人操作任务和一个真机操作任务上进行。与传统基于重置的 SNN 相比，该方法将每帧的推理时间步减少了高达 87.5%，并将整个混合策略每回合的测量能耗平均减少了 22.6%。当帧间变化较大且广泛分布时，这些优势会减弱，在这种情况下，该方法可能需要更多的时间步和能量。总体而言，该方法提高了传统基于 SNN 策略的效率，尽管在所评估的 CPU 和 GPU 平台上，ANNs 仍然更高效。