实时强化学习在耦合校正中的应用

《Physical Review Accelerators and Beams》：Real-time reinforcement learning on coupling correction

　　垂直发射度的稳定性是现代高亮度同步辐射光源的关键性能指标。本文提出了一种基于深度强化学习（RL）的实时校正框架，该框架采用对抗式深度Q网络（DQN）和离散动作空间来动态调整偏斜的四极磁铁。为了确保运行安全并加快收敛速度，我们引入了课程学习策略，并利用上海同步辐射设施的高保真模拟进行系统性的超参数优化。实验结果表明，在真实机器上训练的智能体成功地将光束尺寸读数的波动控制在亚微米级别，并能够快速适应目标变化。这项工作验证了在用户光束传输过程中使用RL进行稳健的在线加速器优化的可行性。

I. 引言
高亮度同步辐射光源已成为材料科学、生物学和工业等多个科学领域不可或缺的工具。这些储存环光源的科学性能在很大程度上取决于光束参数的稳定性和精确控制，特别是光束发射度和横向耦合。随着第四代衍射极限储存环（如ESRF-EBS、MAX IV、ALS-U和HEPS [1–4] 的出现，实现并保持超低发射度 [5,6] 和设计的耦合比已成为设计和运行的关键目标。然而，在这种严格条件下运行会引入巨大的挑战，需要在动态干扰和变化的用户配置下维持光束尺寸的稳定性。
这些系统中一个持续的挑战是由插入装置（IDs）引起的亮度波动。ID的运行会引入偏斜的四极磁场，这不可避免地会扰动光束耦合并降低垂直发射度 [7–9]。传统的补偿策略主要依赖于基于查找表的前馈校正方案 [8]。尽管这些方法在某种程度上是有效的，但它们调试耗时，并且难以适应机器漂移或多个ID之间的复杂非线性相互作用，常常导致残余的耦合误差。

为了解决这些限制，最近探索了数据驱动的方法，特别是机器学习，以增强传统的校正方法 [10]。一个显著的例子是Leemann等人在先进光源（ALS）的工作，他们基于历史机器数据成功部署了一个基于神经网络的前馈系统来稳定光源特性 [11,12]。尽管这类监督学习模型在补偿其训练数据集中捕获的可重复扰动方面非常有效，但它们本质上依赖于这些数据的质量和覆盖范围。因此，当面临显著的机器漂移或与历史分布不同的新操作条件时，这些静态模型可能需要重新训练或重新校准。贝叶斯优化（BO）也已被成功应用于加速器调优和在线光束优化 [13–16]。在目前的工作中，我们关注RL，并不是因为假设它普遍优于BO，而是因为目标问题被构建为一个在不断变化的机器条件下的顺序在线反馈任务。在这种情况下，RL具有吸引力，因为它可以学习一个状态依赖的控制策略来进行重复的局部校正，而BO更适合于迭代操作点优化。此外，BO通常需要对目标景观进行探索性采样，这在用户操作期间进行可能很困难，因为人们寻求的是非侵入式的稳定性而不是重复的扰动搜索。

相比之下，强化学习（RL）[17,18] 提供了一种范式，其中智能体通过与加速器环境的持续交互来学习最优控制策略，而不需要标记的训练数据。这使得RL特别适合于动态和复杂的耦合校正问题。RL及相关自适应控制方法在加速器中的应用包括LHC中的调谐和耦合反馈 [19]、FERMI中的在线策略梯度控制 [20]，以及KARA中基于FPGA的实时快速轨道反馈 [21]。相关的在线加速器控制方法还包括用于光束优化的模型独立极值搜索方法和最近用于更高维反馈问题的基于模型的RL公式 [22,23]。

本文提出了一个使用对抗式深度Q网络（DQN）[24,25] 对同步储存环中的垂直耦合进行实时在线校正的应用。所提出的方法利用光束尺寸测量和垂直色散估计作为状态观测。为了缩短训练时间并提高样本效率，我们采用了多维离散动作空间。我们不是依赖离线训练，而是利用基于上海同步辐射设施（SSRF）[26] 格子的的高保真模拟环境进行广泛的超参数优化。然后，将确定的稳健超参数应用于实时智能体，该智能体从真实机器上从头开始学习控制策略。这一方法通过在SSRF机器上的实验得到了验证，证明RL智能体能够适应性地将光束尺寸读数的波动控制在亚微米级别，为未来第四代光源所需的更严格的光束质量控制需求做了准备。

II. 耦合校正策略
光子束亮度的稳定性是现代高亮度同步辐射光源的关键性能指标，对于新兴的第四代衍射极限储存环来说更为重要。光子亮度与垂直光束尺寸成反比 [27,28]。这个参数对垂直发射度和局部垂直色散都很敏感，如公式（1）所示，其中β是垂直贝塔函数，ΔE是能量扩散。为了维持设计的超低发射度并确保用户实验的一致性，精确地实时校正垂直发射度的增长和虚假的垂直色散至关重要。

然而，实时耦合校正对传统控制策略提出了重大挑战。基于轨道响应矩阵（ORM）或LOCO [29] 的传统全局校正方法通常是迭代的并且具有侵入性，需要中断光束，这与用户光束传输不兼容。另一方面，使用查找表的前馈补偿常常难以处理多个ID的不同间隙和相位引入的复杂非线性。表I总结了这些传统方法与所提出的基于RL的框架之间的关键差异。

III. RL框架和智能体设计
为了解决实时耦合校正的复杂性，我们将问题构建为一个马尔可夫决策过程，并使用RL方法来解决它 [31]。具体来说，我们实现了一个适用于多维离散动作空间的DQN。本节详细介绍了环境定义和为此控制任务设计的自定义神经网络架构。

A. RL环境定义
交互环境是使用加速器工具箱 [32] 构建的，以准确模拟SSRF储存环 [33] 的光束动态。我们将这个物理引擎封装在一个与OpenAI Gym兼容的接口 [34] 中，以便与标准RL算法进行交互。图2显示了SSRF DBA单元的光学特性和六极磁铁上的偏斜四极磁铁的位置。

B. 对抗网络架构
标准DQN架构通常难以区分状态值和个别动作的具体优势，尤其是在高维空间中。为了克服这一点，我们采用了对抗网络架构，它明确区分了这些估计。如图3所示，我们的网络采用了定制的分割输入设计：
(1) 输入编码器：状态向量被分为两个流。一个光束动态编码器处理误差信号，而另一个偏斜编码器处理磁铁设置。
(2) 特征融合：这些编码器的输出被连接并通过一个共享的全连接层形成一个全局特征表示。
(3) 对抗头：网络随后分为：
(a) 单值头，用于估计当前状态的整体质量。
(b) 六个独立的优势头，每个偏斜四极磁铁一个。每个头输出一个向量，表示对该特定磁铁的三个可能动作的相对效用。该网络将状态输入分为束流动态指标和执行器设置，通过不同的编码器进行处理，并使用共享的多层感知器（MLP，即共享的全连接层）来聚合这些值，之后 duel 头部输出离散的动作指令。磁铁动作的最终值通过 duel 公式进行聚合：（7）这种架构使代理能够学习哪些特定的磁铁对于纠正给定错误最有效，显著提高了学习效率和控制精度。网络使用了一个容量为 100,000 次转换的经验回放缓冲区进行训练。在最终优化的设置中，通过软更新实现了目标网络同步，更新间隔为 8 个环境步骤，而动作选择遵循一个 -贪婪策略，衰减在每个训练剧集结束时应用一次。在整个网络中使用了带有 LayerNorm 的ReLU 激活函数，并且在物理约束特征块中应用了概率为 0.1 的丢弃层，优化使用 Adam 算法与权重衰减和 Huber 损失函数进行。IV. 仿真研究和超参数优化在将代理部署到真实机器之前，我们在仿真环境中进行了广泛的研究。这个阶段有两个关键目的：优化代理的超参数以确保稳健的收敛性，并验证课程学习策略的有效性[35]。A. 课程学习策略为了在严格遵守机器保护约束的同时确保收敛效率，我们采用了一个课程学习框架，该框架逐步细化优化景观。相关的加速器 RL 研究也在训练期间使用了逐步收紧的成功或终止阈值，以及仿真辅助的从仿真到实体的工作流程[36,37]。这种方法通过在控制循环中实施自适应死区机制来结合物理信息约束。如图 4 所示，每当观测到的束流状态落在由（8）定义的动态接受区域内时，代理执行空动作（即保持当前的磁铁设定值）。图 4. 课程学习工作流程概述。代理通过与环境的互动通过回放缓冲区更新其策略。训练过程分为三个阶段：预训练、增强和微调。在后两个阶段中，“带有先验知识的动作”分支施加动态阈值以严格限制束流大小的波动。对于第 i 个剧集，这个阈值乘数更新为（9），其中 t_i 表示衰减阶段的开始，θ_i 是起始阈值，γ_i 是常数衰减率，δ_i 是该阶段的下限平台。这里，θ_i 表示在训练过程中单调衰减的时间依赖性阈值。这种策略有效地从关注全局稳定性的粗粒度校正阶段过渡到高精度反馈阶段，从而在实现亚微米级束流质量后最小化不必要的磁铁颤动。B. 超参数优化深度 RL 的性能对超参数非常敏感。由于束流时间有限，在物理加速器上调优这些参数是不切实际的。因此，我们利用高保真仿真进行了系统的超参数优化（HPO）[38]。我们评估了关键参数，包括学习率、折扣因子（γ）和批量大小。图 5 使用平行坐标图可视化了这一搜索的结果。图 5. 仿真中的 HPO 结果。平行坐标图展示了各种超参数（例如，学习率、批量大小）与最终训练分数（颜色刻度）之间的相关性。我们选择了在机器实验中产生最高稳定奖励的配置。分析确定了一组稳健的超参数（学习率 γ_1, γ_2, 批量大小 B）。如图 5 中的高分簇所示，这种配置最大化了训练稳定性，使代理能够在稳定化阶段一致地获得超过 640 的累积奖励。这些经过验证的值随后被冻结并用于 SSRF 的实际实验。C. 仿真结果代理在仿真环境中的训练进展如图 6 所示。学习曲线展示了三个不同的阶段，这些阶段对应于课程计划，当前实现中使用的具体阶段性设置 σ_1, σ_2 和 δ_1 在表 II 中总结：(i) 预训练阶段（剧集 0–150）：代理探索状态空间，导致奖励波动。在当前实现中，根据平均距离减少的观察到的平坦化，在第 150 集后计划过渡到下一个阶段，这是一个基于经验的选择。(ii) 增强阶段（剧集 150–350）：逐步引入优先阈值。在这个阶段，逐渐减少的阈值与在局部固定阈值水平下的短优化间隔相结合，使代理能够在进一步收紧之前适应和稳定每个接受带，从而导致奖励的迅速增加。(iii) 微调阶段（剧集 350–500）：阈值进一步收紧，同时仍然保持短固定阈值优化窗口，从而在不破坏学习过程的情况下实现控制精度。图 6. 仿真中 duel DQN 代理的训练进展。图表显示了 500 集期间的平滑累积奖励（蓝色）和平均束流大小偏差（橙色）。逐步收紧的课程阈值（虚线）有效地引导代理趋向于收敛。结果来自 10 次具有不同随机种子的独立完整训练运行。首先对每个训练轨迹应用 20 集的移动平均；实线曲线代表跨运行的平均值，阴影带表示 10 个平滑轨迹的标准差。表 II. 课程学习中使用的阶段性阈值计划。阶段 剧集（/100 集） I 0–150 1.0 0 1.0 II 150–350 1.0 0.7 0.3 III 350–500 0.3 0.2 0.1 为了进一步说明控制性能，图 7 展示了训练后单个验证剧集期间的详细束流演变。图 7. 单次校正剧集的代表性仿真。左图：垂直束流大小的演变。RL 代理（蓝色）迅速抑制初始误差并将束流大小稳定在目标值（δ），而未校正的束流（红色）由于动态干扰而表现出大的波动。中间：代理对六个偏斜四极杆采取的相应离散控制动作，显示出先进行积极校正然后进行微调的明显策略。右图：RL 校正前后全环周围的垂直分散分布及其差异（底部）。红色标记表示单元 01 的第二个弯曲磁铁处的束流大小观测点。比较清楚地突出了代理主动补偿动态误差的能力，其稳定性明显优于未控制的基线。至关重要的是，仿真结果确认所提出的策略成功解决了全局优化挑战。对比分析显示，使用课程学习的收敛剧集数与不使用课程学习的收敛剧集数（平均值的标准差超过 10 次独立运行）相比有所减少，代表了平均收敛剧集数的减少。为了量化课程学习的好处，收敛被定义为束流至少在规定的目标距离带内保持 570 步（最大剧集长度的 95%）的第一个训练剧集，并且这个条件维持了 3 个连续剧集。采用这个标准是因为平均距离的暂时减少并不一定表明控制性能稳定，而在目标带内的持续运行提供了更有效的成功收敛度量。离散动作 duel DQN 不仅稳定了局部垂直束流大小到 δ（这里使用的仿真目标作为晶格模型中的理想化低耦合验证案例），而且还抑制了整个环中的全局垂直分散，从而验证了第 II 节讨论的全局耦合控制，为机器上的实现提供了可靠的基线。这里，仿真环境捕捉了耦合校正任务的主导束流响应行为，尽管没有明确建模传感器噪声、控制延迟和磁铁滞后。最后，为了与传统校正进行定量比较，在相同的仿真环境中还评估了一个基于 SVD 的控制器。为六个偏斜四极杆构建了一个联合响应矩阵，结合了它们对局部垂直束流大小和全环周围垂直分散的响应。结果 SVD 校正受到与 DQN 相同的离散执行器约束。在相同的初始扰动和 600 步扰动序列下，DQN 的平均绝对束流大小误差为 δ，而 SVD 的误差为 δ’。V. 机器上实验结果在仿真验证之后，RL 校正框架在用户操作期间部署在 SSRF 存储环上。主要目标是验证代理在具有测量噪声的现实世界环境中学习有效控制策略的能力。A. 实验设置和训练DQN 代理通过 Python 接口与 SSRF 控制系统集成。它从诊断系统读取实时数据，包括来自干涉仪的垂直束流大小和在方程（3）中定义的基于 ORM 的分散代理，并向六个偏斜四极杆的电源发送离散增量指令。这个 ORM 是预先测量并在实验过程中保持固定的。至关重要的是，代理没有预先加载仿真权重。相反，它在实时机器上从零开始学习，利用了第 IV 节中确定的稳健超参数。这种方法测试了算法的快速适应性。图 8 描述了 200 集期间机器上训练过程的时间演变，清晰地划分了三个不同的操作阶段。相应的阶段性阈值设置总结在表 III 中。图 8. SSRF 上的机器上训练进展。图表显示了在实时操作期间记录的累积奖励（蓝色）和平均束流大小偏差（橙色）。尽管由于探索而最初出现波动，但代理在大约 100 集内收敛到了一个稳定的高奖励策略，这一过程受到课程阈值的指导（虚线）。表 III. 机器上课程学习中使用的阶段性阈值计划。阶段 剧集（/30 集） I 0–100 1.0 0 1.0 II 100–150 1.0 0.4 0.6 III 150–200 0.6 0.3 0.3 在机器上训练期间，每个剧集被限制在最多 300 个控制步骤之内，如果束流大小偏差或分散超出了规定的安全限制，则提前终止。预训练、增强和微调阶段的平均剧集长度分别为步、步和步。在测量的闭环期间，这些分别相当于大约 3.0、19.4 和 23.3 分钟每集。因此，完整的 200 集机器上训练活动相当于大约 30,000 个控制步骤，或 40 小时的束流时间。在第一阶段（预训练，剧集 0–100）期间，代理进行初始探索。虽然平均距离到目标的距离（橙色实线）显著减少，但累积奖励（蓝色实线）仍被抑制，表明代理尚未掌握获得高奖励所需的精度。过渡到第二阶段（增强，剧集 100–150）的标志是课程策略的激活。在这里，引入了基于物理信息的接受阈值（绿色虚线）并逐渐收紧。这一约束有效地指导了代理，导致累积奖励的增加。最后，在第三阶段（微调，剧集 150–200），阈值稳定在其最小值。代理实现了以持续高奖励和最小 rms 误差为特征的稳态性能，证明策略已成功收敛到亚微米级容差窗口内的稳健解决方案。B. 稳态稳定性训练完成后，代理在稳态条件下的性能进行了评估。图 9 展示了 4500 时间步（6 小时）内垂直束流大小和时间对应的控制动作的时间演变，验证了控制策略在收敛性、执行器保护和稳健性方面的有效性。周期时间对应于大约每步的时间有效闭环周期。这个周期由电源响应、束流大小监视器刷新时间和确保在机器响应稳定后进行观察所需的等待时间决定。最初，代理成功将垂直束流大小稳定在目标值的附近（δ）。这里，基线指的是插入设备耦合前馈仍然激活的正常 SSRF 操作，但没有 RL 校正。在可比的机器条件下，分别在 6 小时的评估窗口内，RL 反馈下的相应 rms 波动为 δ，而基线 SSRF 操作条件下的波动为 δ。残差与典型的短期未受扰动读回变化 δ 相当，表明测量到的闭环稳定性接近诊断噪声底限。控制策略的一个显著特点是偏斜四极杆激活的稀疏和离散性质。这种阶梯状行为证实了自适应死区机制（在第 IVA 节中描述）的成功部署，它防止了高频振颤，从而减轻了磁力电源的疲劳。此外，为了严格评估代理对动态晶格扰动的适应性，在某个步骤中故意改变了ID的配置，从而导致束流大小的变化。作为对外部扰动的响应，代理立即识别出状态变化，并重新优化了偏斜四极矩的强度，达到一个新的平衡状态。这种快速的补偿能力展示了该策略能够自主对抗ID引起的线性光学畸变，并在没有人为干预的情况下保持束流的稳定性。

图9. 束流大小稳定的实验验证。左图：RL代理将垂直束流大小（蓝色）紧密地维持在目标值（红色虚线）附近。中图：标准化的垂直色散变化保持最小。右图：偏斜四极矩操作的历史记录。代理能够有效地识别并应用必要的校正，同时长时间保持稳定的配置。该步骤对应于为测试而安排的ID移动。

选择使用离散动作空间而不是连续策略（例如，近端策略优化或软演员-评论家）是受到在线加速器操作严格限制的驱动。在真实机器上训练代理在束流时间方面成本极高。连续动作空间通常需要更多的样本来有效地探索控制输出的无限维度。通过将动作量化为离散增量，我们大幅减少了探索范围，使代理能够收敛到安全的策略。对于这里考虑的六偏斜四极矩任务，所得到的联合动作在模拟和在线操作中都是可行的。然而，随着独立控制的校正器数量的增加，联合动作空间也会相应扩大，对于规模更大的系统来说可能会变得不可行。在这种情况下，需要更结构化的控制方法，如分解式、分层式或模型辅助的方法，以提高可扩展性。

我们的稳态结果证实，借助死区机制，这种离散化不会影响用户实验所需的亚微米级稳定性。

C. 对目标变化的适应性

所提出的RL框架的一个关键优势是其操作灵活性。在日常用户操作中，存储环可能需要在不同耦合模式之间切换（例如，高亮度模式与时序模式），以满足不同的实验要求。这就需要一种能够跟踪动态目标的控制策略，而不能固定在一个设定点上。

为了验证这一能力，我们在主动输送束流的过程中将目标束流大小从18动态改变到某个值。如图10所示，代理立即对目标信号的变化做出了响应。虽然在设定点变化之前观察到短暂的瞬态波动——这归因于代理在新状态空间中探索梯度——但这些振荡被迅速抑制了。在没有任何人工干预或重新训练的情况下，策略自主调整了偏斜四极矩，以收敛到新的设定点。

图10. RL代理对目标束流大小变化的阶跃响应。当目标设定点从18增加到某个值（蓝色虚线）时，代理自主调整了磁铁以跟踪新的目标（红色线）。尽管初期有一些小的瞬态波动，束流大小迅速稳定在新值上。步骤330附近的峰值是由于实验过程中的手动ID移动引起的，代表了对外部扰动的响应，而不是名义上的稳态波动。

这种阶跃响应证实了学习到的策略捕捉到了耦合响应的物理本质。然而，值得注意的是，这种适应性在晶格光学的局部线性范围内（例如，几微米的调整范围）的扰动调整时最为有效。对于大规模的偏差（例如，将束流大小从18增加到某个值），所需的磁铁强度可能会超出动作的增量限制，或者将晶格推向一个显著不同的非线性区域。在这种情况下，建议的程序是首先重新配置晶格以接近新的目标，然后重启RL代理进行反馈校正。对于我们在操作中遇到的中等程度的光学变化，例如关机后重启，光学变化前后的测量响应矩阵几乎相同。在这些条件下，持续的在线训练使代理在大约30-50个回合内恢复了有用的性能，大约需要额外的18小时束流时间，而不需要新的模拟或超参数的重新优化，如图11所示。然而，对于完全不同的光学模式，这种可转移性就不能保证了。在这种情况下，可能需要重新建立和验证响应特性、目标设置和训练条件。同时，我们并不声称当前的基于DQN的框架能够解决在强或任意长期漂移下的持续学习问题。如果机器响应与最近的经验所代表的范围相差太远，基于回放的Q学习可能会变得不可靠。

图11. 在一次冬季关机重启后继续进行在线训练。代理在大约30-50个回合内恢复了有用的性能，这从累积奖励的增加和平均距离的减少可以看出。

VI. 结论

在这项工作中，我们开发并实验验证了一个用于存储环实时耦合校正的强化学习框架。通过将垂直束流大小和色散的全局最小化问题重新表述为一个序列决策问题，我们证明了对抗性DQN代理可以在无模型的情况下自主学习有效的控制策略，同时使用预先测量的基于ORM的色散代理作为观测的一部分。

这项研究的一个关键贡献是集成了高保真模拟，用于超参数优化和课程设计。这一策略有效地弥合了仿真与现实之间的差距，使得代理能够在物理机器上从零开始学习，并具有高稳定性和收敛速度。在SSRF上的实验结果证实，所提出的代理能够在微米级别稳定垂直束流大小，并在用户操作期间快速适应变化的目标约束。

与传统的基于响应矩阵的方法相比，RL方法提供了一种非侵入性的替代方案，可以自然地处理系统的非线性。未来的工作将把这个框架扩展到连续动作空间，以实现更平滑的控制，并探索多代理强化学习，以同时优化多个束流参数，为完全自主的加速器操作铺平道路。