基于强化学习和FPGA加速的自适应火箭轨迹优化

《Scientific Reports》：Adaptive rocket trajectory optimization via reinforcement learning and FPGA acceleration

　　

摘要

本文提出了一种面向可重复使用火箭轨迹优化的集成框架，将深度强化学习与基于FPGA的推理加速相结合。所提出的自适应硬件加速孪生延迟深度确定性策略梯度（AHA-TD3）框架融合了分层控制策略、在线自适应机制以及面向FPGA的推理流水线。在本研究所开展的仿真及板级硬件验证中，与PPO、DDPG、SAC、TD3及SCP-MPC等基线方法相比，AHA-TD3在着陆成功率、着陆精度和燃料消耗方面均有所提升。FPGA实现相较于CPU软件基线，推理延迟最高降低了12.7倍，同时保持了低功耗特性。这些结果表明，将自适应强化学习与软硬件协同设计相结合在实时可重复使用运载器制导领域具有潜力，但在投入实际运行之前，仍需开展更高保真度的硬件在环仿真及面向飞行的验证工作。