用于强化学习实时加速的动态结构化剪枝与合并技术

《Scientific Reports》：Dynamic structured pruning and merging for real-time acceleration of reinforcement learning

　　

摘要

深度强化学习由于较高的计算成本而难以实际应用。虽然神经网络剪枝能为模型压缩提供解决方案，但现有的大多数深度强化学习方法都采用非结构化剪枝方式。这种方式会导致生成不规则的稀疏矩阵，无法与标准硬件兼容，因而无法实现真正的实时加速。此外，由于训练过程中的固有不稳定性，深度强化学习中的剪枝工作极为困难，常常会导致性能急剧下降。为克服这些限制，我们提出了一种新框架，将动态结构化剪枝与模型合并技术相结合。通过定期合并并行网络实例，该方法可以有效应对由剧烈结构变化引发的不稳定性，使得结构化剪枝能够直接在通用硬件上运行。在连续控制任务上的实验结果表明，我们的方法可将累计训练运算量减少72%，同时在大多数测试环境中，其性能仍能与密集型模型相媲美。此外，推理测试显示平均延迟降低了16.2%，这体现了该框架在加速深度强化学习智能体训练和部署方面的潜力。我们的代码可在https://github.com/hail-mary/neuron-pruning获取。