基于转移感知嵌入的SNN深度强化学习性能与样本效率提升

《Frontiers in Neurorobotics》：Improving performance in SNN-based deep reinforcement learning via transition-aware embeddings

　　

深度强化学习（DRL）将强化学习与深度神经网络（DNNs）相结合，已在多个领域得到广泛研究。尤其在机器人领域取得了显著进展，因为DRL使智能体能够从高维观测中提取有意义的特征，并在复杂环境中作出精确决策。此外，在真实世界控制任务中，需要在有限交互次数内实现高性能，尤其是在复杂且未知的环境中。同时，由于真实世界试验受到成本和安全考虑限制，设计能够实现高样本效率（sample efficiency）和稳定决策的DRL算法至关重要。受生物神经系统启发的脉冲神经网络（SNNs）近期因其信息处理的二值和事件驱动特性而受到越来越多关注。受这些特性激励，将SNNs集成到DRL中的兴趣日益增长。然而，基于SNN的DRL在学习性能方面面临挑战。为解决该问题，研究人员将学习自环境动态的嵌入引入基于SNN的DRL。在OpenAI Gym的四个连续控制任务上进行的实验评估表明，所提方法在最大平均奖励（maximum average rewards）和学习早期阶段加速奖励获取方面均优于传统基于SNN的DRL方法。这些结果确立，利用转移感知嵌入（transition-aware embeddings）可有效增强基于SNN的DRL的性能和样本效率。

论文解读：

研究背景与问题：强化学习（RL）是智能体通过与环境交互最大化期望累积奖励的机器学习框架。深度强化学习（DRL）使用深度神经网络（DNNs）作为函数逼近器，以处理高维或连续状态空间问题。近年来，DRL在游戏、机器人、自动驾驶、自然语言处理和医疗保健等领域取得成功。在机器人领域，DRL作为动态变化环境中的决策方法受到关注。然而，在真实环境部署自主移动机器人需要大规模神经网络处理高维观测和动作空间，增加能耗。自主移动机器人机载资源有限，因此需要节能决策方法。脉冲神经网络（SNNs）通过离散脉冲传递信息，在神经形态设备上具有低功耗计算潜力，因此将SNNs与DRL集成被视为机器人控制的节能方案。Tang et al. 提出的PopSAN（Population-Coded Spiking Actor Network）以SNN替换actor-critic中的演员，但SNN-based DRL在学习性能方面仍存在挑战。潜在因素包括脉冲编码导致的信息损失，以及脉冲计算带来的表示约束。SNN通过脉冲序列而非连续值激活传播信息，因此与基于ANN的演员相比，脉冲演员网络在形成对策略学习有用的连续值特征方面受限。表示学习可改善策略学习和动作值估计的输入。Fujimoto et al. 提出SALE（State-Action Learned Embedding），通过潜在空间建模环境动态，联合学习状态和动作嵌入，已显示可改善最终性能和早期样本效率。研究人员因此提出将SALE集成到由脉冲演员网络和评论家网络组成的混合架构中，并在连续控制任务上评估嵌入输入贡献及嵌入维度影响。

研究人员开展的研究与结论：该研究提出将转移感知嵌入（transition-aware embeddings）引入基于SNN的DRL，以改善学习性能和样本效率。所提方法在OpenAI Gym的四个连续控制任务上评估，包括Ant-v4、HalfCheetah-v4、Walker2d-v4和Hopper-v4。结果表明，在多数任务的学习早期阶段，所提方法优于传统SNN-based DRL方法，并在若干任务上取得更高最终性能。该研究还表明，适当设置嵌入维度对基于SNN的DRL稳定学习重要，因为其影响表示能力与稳定性之间的平衡。能耗分析表明，所提方法估计推理能耗低于基于ANN的DRL模型。其意义在于，通过转移感知嵌入提升学习性能和样本效率，同时降低估计推理能耗，为资源受限的具身人工智能系统，包括机器人控制系统，提供扩展SNN-based DRL的方向。

关键技术方法概括：研究人员采用TD3（twin delayed DDPG，双延迟深度确定性策略梯度）算法，将演员实现为脉冲演员网络，包含脉冲编码器、三层FC-SNN（fully connected spiking neural network，全连接脉冲神经网络）和解码器；评论家为ANN。引入SALE表示学习，通过编码器f和g学习状态嵌入z_s和状态-动作嵌入z_sa，以停梯度操作最小化z_sa与下一状态嵌入z′_s的均方误差。演员输入s和z_s，评论家输入s、a、z_s、z_sa，并采用目标Q值裁剪。重放缓冲存储膜电位m、m′，使用LAP（loss-adjusted prioritized experience replay，损失调整优先经验回放）。实验样本来源为OpenAI Gym的MuJoCo连续控制任务Ant-v4、HalfCheetah-v4、Walker2d-v4和Hopper-v4，各训练1×10⁶步，10个随机种子。

研究结果：
4.1 Comparative evaluation with baselines（与基线方法的比较评估）：研究人员将所提方法与PopSAN和MDC-SAN（multiscale dynamic coding-improved spiking actor network，多尺度动态编码改进脉冲演员网络）比较。结果表明，在Ant-v4、HalfCheetah-v4和Walker2d-v4上，所提方法从学习早期阶段起优于两个基线，并随着训练推进保持性能差距；在这些任务上取得更高最大平均奖励。结论是，转移感知嵌入可改善SNN-based DRL在若干连续控制任务中的性能和早期奖励获取。

4.2 Ablation study on network components（网络组件消融研究）：研究人员首先比较所提方法与无嵌入配置，即演员仅接收原始状态s，评论家仅接收s和a。结果显示，所提方法在Ant-v4、HalfCheetah-v4和Walker2d-v4上从早期学习阶段取得更高奖励并保持差距，且在四个任务上获得更高最大平均奖励，但Hopper-v4改进相对较小。随后比较演员中有无状态嵌入z_s，评论家均使用嵌入。提供z_s使脉冲演员在Ant-v4、HalfCheetah-v4和Walker2d-v4上随学习进展获得更高奖励，支持将状态嵌入直接提供给脉冲演员。最后比较评论家中有无嵌入，演员均接收z_s。所提方法在Ant-v4、HalfCheetah-v4和Walker2d-v4大部分训练过程中取得更高奖励，在Hopper-v4上学习曲线大致重叠；四个任务的最大平均奖励仍更高，但Hopper-v4改进较小。结论是，同时向演员和评论家提供嵌入对该框架有效。

4.3 Investigation of embedding dimensionality（嵌入维度研究）：研究人员考察嵌入维度对脉冲演员网络学习性能的影响，比较16、32、64、128和256维，状态嵌入z_s和状态-动作嵌入z_sa使用相同维度。结果显示，在所评估任务中，最高平均最大平均奖励由64或128维取得，增至256维未带来进一步改善。在Hopper-v4上，16维配置取得接近64维配置的平均最大平均奖励。最大平均奖励的标准差在Ant-v4、HalfCheetah-v4和Walker2d-v4上以64维最低，在Hopper-v4上以16维最低。结论是，最优嵌入维度因任务而异，似乎取决于潜在动态系统的复杂性，而非仅取决于观测空间大小；较大嵌入虽提供更大表示能力，但可能增加脉冲演员网络处理的脉冲活动复杂性，从而影响稳定学习。

4.4 Assessment of energy consumption（能耗评估）：研究人员以基于ANN的TD7模型为比较基线估计推理能耗。对于基于ANN的TD7，假设部署于现代NPU，每次乘累加（MAC）能耗为3.97pJ；对于所提方法中的FC-SNN，假设在ROLLS神经形态芯片上执行，每次突触操作（SOP）能耗为77fJ。一次推理对应环境中一次动作决策。评估包括推理时使用的State Encoder和演员网络的全连接层。结果显示，在所采用的参考能耗成本下，所提方法在所有评估任务上的每次推理估计能耗均低于基于ANN的TD7模型。结论是，使用脉冲演员网络可使连续控制任务中的决策以更低估计推理能耗执行。

讨论总结：研究人员认为，所提方法在多个任务中表现出更好的早期学习性能和多数任务更高的最终性能，主要归因于引入SALE，其提供从环境转移动态中学习的嵌入。由于Q函数估计期望未来奖励，准确捕捉转移动态对可靠动作值估计至关重要。SALE在潜在空间中表示这些转移动态，并提取用于动作值估计的有意义特征。评论家可基于捕捉转移动态和任务相关信息的潜在表示估计Q函数，从而使策略更新更稳定高效。状态嵌入z_s的作用不限于辅助评论家估计Q函数。SNN通过脉冲序列而非连续值激活传播信息，因此脉冲演员网络在形成连续值特征方面比ANN演员更受限。向脉冲演员网络提供从环境转移动态学习的状态嵌入z_s，可提供重要输入表示，使演员不仅从原始状态的脉冲表示学习，还从反映转移动态的辅助表示学习。消融结果支持该解释。Hopper-v4改进较小，原文解释其相对受限的跳跃模式可能使原始输入捕获足够动作评估和策略学习所需的转移信息，从而降低学习嵌入的额外收益。结果表明，所提方法有效性取决于每个任务转移动态和状态-动作交互的复杂性。嵌入维度的最优值因任务而异，与动态系统复杂性有关；过大嵌入可能增加脉冲活动，复杂化任务相关特征整合，使策略学习稳定性下降。能耗分析表明，所提方法估计推理能耗低于基于ANN的DRL模型，这对计算资源和功率容量有限的机器人控制具有重要意义。原文指出，SNN-based DRL已应用于神经形态硬件上的无地图导航和工业机器人力控制任务，因此这些结果指示了通过改善学习性能和样本效率并抑制推理能耗，将SNN-based DRL扩展到资源受限具身人工智能系统的一个方向。

研究结论翻译：本文提出一种将转移感知嵌入（transition-aware embeddings）引入脉冲演员网络和评论家网络的方法，以提高基于SNN的DRL的性能和样本效率。所提方法在OpenAI Gym的四个连续控制任务上评估。在大多数任务的学习早期阶段，它优于基线方法，并在若干任务上取得更高最终性能。此外，在基于SNN的DRL中，适当设置嵌入维度对实现稳定学习很重要，因为其影响表示能力与稳定性之间的平衡。能耗分析还表明，估计推理能耗低于基于ANN的DRL模型。未来工作应在真实机器人平台和神经形态硬件上验证所提方法，包括实际功耗测量和真实环境鲁棒性评估。