训练-推理链：一种基于硬件特性的结构化多环境强化学习方法，用于实现高效的自适应

《Computers and Electrical Engineering》：Train–Inference Chain: Hardware-aware structured multi-environment reinforcement learning for efficient adaptation

　　

摘要

基于元学习的强化学习（RL）方法已被广泛研究，以使智能体能够适应多种环境和任务。然而，大多数先前的工作侧重于跨任务的泛化，而没有解决智能体如何在单一任务中高效适应环境动态（如突然出现的障碍物或转向盘故障）的问题。本文介绍了一个结构化的多环境强化学习框架，该框架可以并行学习同一任务的不同方向变体。我们提出了一种训练到推理的链式机制，将不同环境中的经验轨迹集成起来，从而在训练和推理过程中实现学习到的动态知识的有效迁移。通过共享经验聚合，该框架加速了收敛速度，减少了训练周期的数量，并提高了策略的泛化能力以及对环境变化的重新学习能力。实验评估表明，所提出的方法能够更快地适应同一任务的未见过的方向变化，并且在学习效率和最终任务性能方面始终优于基线RL模型。结果强调，结构化的多环境经验共享和优化的训练-推理转换为在复杂、结构化环境中实现稳健的策略学习提供了一条有希望的途径。

引言

强化学习（RL）在解决复杂的决策和控制问题方面取得了显著进展，尤其是在高维度或动态变化的环境中。然而，当RL系统扩展到多环境和分布式设置时，传统架构遇到了重大限制，包括高通信带宽需求、冗余的数据交换以及模型同步的延迟。特别是，通过元学习、潜在上下文推理和持续强化学习，已经广泛研究了强化学习的快速适应问题。然而，这些方法主要针对任务适应或潜在任务推理，而不是针对任务内环境动态的硬件感知再适应[1]、[2]、[3]、[4]。

为了解决这些问题，提出了几种分布式RL架构，包括IMPALA [5]和SEED-RL [6]。IMPALA通过将环境交互分布在多个智能体上来提高可扩展性，但它依赖于基于CPU的推理，在大规模实时应用中效率较低。SEED-RL通过在加速器（例如GPU/TPU）上进行训练和推理来提高效率，但其对复杂软件框架的依赖限制了硬件的可移植性和实时部署的可行性。实时部署直接关系到任务执行过程中发生事故的风险。

在这项工作中，我们提出了一个针对专用深度强化学习（DRL）处理器优化的实时强化学习框架，旨在在保持多动态环境适应性的同时最大化推理和训练效率。所提出的架构引入了一种训练-推理链（TIC）机制，该机制在同一处理器上同时执行推理和学习，从而减少了通信开销并提高了计算利用率。此外，它促进了跨环境经验的多样性，增强了泛化和鲁棒性。

我们的主要贡献总结如下。

• •
  系统级贡献：我们提出了TIC，这是一种考虑硬件的执行和调度框架，它交错进行推理、更新和反向传播，同时提高参数局部性并保持固定的推理节奏。
• •
  算法贡献：我们提出了MERE，这是一种基于计数器的智能体侧探索多样化和经验重用机制，以实现任务内环境变化的稳定再适应。
• •
  硬件实现与验证：我们在FPGA支持的DRL处理器芯片上实现了所提出的框架，并通过带宽和时序分析验证了其通信效率和实时可行性。

总体而言，TIC+MERE不是对现有智能体-学习者框架（如IMPALA和SEED-RL）的替代，而是一种考虑硬件的重构。（i）通过模式感知调度保留了SEED-RL风格的低带宽参数交换，同时（ii）通过紧凑的循环缓冲区和ISA级别的运行时消除了显著的重放依赖性和复杂的框架假设。

部分片段

片上RL（强化学习）

片上RL指的是在边缘设备（FPGA/ASIC/自定义DRL芯片等）上执行推理和大部分训练的强化学习，这些设备与传感器/执行器位于同一位置，从而减少了芯片间的往返通信[7]。尽管GPU在通用的大规模训练中表现出色，但现实世界的嵌入式RL受到功率、热量、延迟和内存层次结构的限制。将推理和权重更新保留在与传感器和执行器相同的板上可以：

动机

在嵌入式控制平台上，强化学习必须在严格的内存带宽和功率预算下满足毫秒级的延迟要求。在这种情况下，片上RL——在与传感器和执行器相同的板上执行推理和训练——不仅是一个成本考虑因素，而且是实现稳定实时适应的先决条件。通过消除主机/PCIe或网络往返通信，并将权重移动到片上的重用和预取中，片上RL解决了这些问题：

主要贡献

为了解决我们DRL架构面临的挑战，我们提出了两种核心软件设计。表2和表3总结了本工作中提出的两种设计的关键概念和定义。

• •
  训练-推理链是一种将DRL操作结构化为软件堆栈的软件框架，允许实时进行推理和学习。它是一个考虑硬件的调度器，通过参数缓存和循环缓冲区来维持连续的推理，并减少内存

硬件实现

为了在资源受限的平台上实现所提出的软件堆栈和探索机制（超出传统GPU/TPU加速器的范围），我们使用了一种仅支持基本神经网络操作的专用DRL芯片。该芯片由八个处理单元（PE）组成，每个单元能够对大小高达128 × 128的全连接层执行前馈（FF）和反向传播（BP）操作。它使用一种固定的指令集架构（ISA），包括三个核心：

结果

GridWorld的结果是基于20次独立训练运行的平均 加减' data-semantic-attached="true" data-semantic-braille="??" data-braille-attached="true" has-speech="true">± 标准差。对于自动驾驶实验，我们对每种方法进行了五次独立训练，每次训练都使用固定的四小时学习时间。训练后，每种得到的策略都在道路上随机采样位置进行了20个剧集的评估

讨论

我们的实验结果表明，该系统能够在动态环境中成功重新适应之前的最优策略，而无需存储过去的经验，在这些环境中状态分布会随时间变化。

所提出的TIC+MERE框架在常见的分析模型下实现了比代表性的分布式RL基线更低的系统级数据移动开销。如表5所示，控制组在固定

结论

所提出的训练-推理链框架为资源受限环境中的强化学习提供了一种有效的方法，它用小型循环缓冲区替代了传统的大型重放缓冲区，同时保持了竞争性的收敛速度和对动态环境的适应性。观察到的数据移动和计算开销的减少表明，这种方法可以显著提高实际应用中的硬件效率。然而，要完全

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系，这些利益或关系可能会影响本文报告的工作。

致谢

本工作得到了信息与通信技术规划与评估研究所（IITP）的资助，该研究所由韩国政府（MSIT）资助（RS-2022-II220966项目，开发适用于动态环境的深度强化学习加速器的AI处理器）。

Junghwan Choi|Dohyun Kim|Shiho Kim

延世大学集成技术学院及BK21智能半导体技术研究生项目，韩国仁川市Yeonsu区Songdogwahak-ro 85号，21983