RL-ABC:用于加速器束线控制的强化学习
《Computer Physics Communications》:RL-ABC: Reinforcement learning for accelerator beamline control
【字体:
大
中
小
】
时间:2026年09月21日
来源:Computer Physics Communications 3.9
编辑推荐:
摘要 粒子加速器束线优化是一个高维控制问题,传统上需要大量的专家干预。我们提出了 RLABC(加速器束线控制强化学习),这是一个开源 Python 框架,能够自动将标准的 Elegant 束线配置转换为强化学习环境。RLABC 通过基于 SDDS 的接口与广泛使用的 Eleg
摘要 粒子加速器束线优化是一个高维控制问题,传统上需要大量的专家干预。我们提出了 RLABC(加速器束线控制强化学习),这是一个开源 Python 框架,能够自动将标准的 Elegant 束线配置转换为强化学习环境。RLABC 通过基于 SDDS 的接口与广泛使用的 Elegant 束流动力学仿真代码集成,使研究人员能够以最小的强化学习特定开发工作量,将现代强化学习算法应用于束线优化。主要贡献是一种通用方法,用于将束线调谐公式化为有限时域决策过程:RLABC 自动预处理晶格文件,在每个可调元件之前插入诊断观察点,从束流统计信息、相关信息和孔径约束构建 57 维观测,并提供可配置的传输率优化奖励函数。该环境遵循 Gymnasium 接口,因此可以与连续控制强化学习算法耦合;本研究评估了 DDPG 并实现了一个可选的阶段性学习课程。在源自 VEPP-5 注入束流系统的测试束线(11 个四极磁铁和 4 个二极磁铁上的 37 个控制参数)上的验证表明,该框架成功实现了基于强化学习的优化,深度确定性策略梯度智能体达到了 70% 的粒子传输率。该框架的阶段性学习能力允许将复杂的优化问题分解为可管理的子问题,并为后续训练阶段提供可选的暖启动。完整的框架,包括配置文件和示例笔记本,作为开源软件提供,以促进采用和进一步研究。
程序摘要
程序标题:RLABC(加速器束线控制强化学习)
CPC 库程序文件链接:https://doi.org/10.17632/hnst584z46.1
开发者仓库链接:https://github.com/Anwar9Ibrahim/RL-ABC.git
许可条款:MIT
编程语言:Python 3.10
补充材料:Elegant 束流动力学仿真代码的示例晶格和仿真文件(.lte, .ele)、配置文件、预训练模型检查点和评估日志。
问题性质:
将强化学习应用于粒子加速器束线优化需要解决几个相互关联的挑战。束线调谐本质上是一个反馈控制过程,将其转化为强化学习需要仔细的马尔可夫决策过程公式化。智能体观测必须用适合神经网络的固定维度向量来总结相关的束流物理信息。系统必须与现有仿真基础设施集成,并且研究人员需要灵活性来实验不同的算法和配置。现有解决方案需要为每个束线进行大量的定制开发,限制了强化学习技术在加速器物理界的采用。
解决方法:
RLABC 提供了一个自动化流水线,用于将 Elegant 束线配置转换为强化学习环境。给定标准的 Elegant 晶格文件(.lte)和命令文件(.ele),RLABC 解析并预处理束线,在每个可调元件之前插入诊断观察点,构建图表示以高效查询元件关系,从束流统计信息、相关矩阵和孔径参数中提取固定的 57 维观测向量,并提供基于粒子传输率的可配置奖励函数。该环境实现了 Gymnasium 接口(OpenAI Gym 的维护后继者),以兼容标准的强化学习库(Stable-Baselines3)。阶段性学习策略支持基于课程的训练,逐步增加问题复杂性。
附加评论(包括限制和特殊功能):
RLABC 被设计为一个灵活的研究平台,而不是固定的优化工具。主要功能是:自动适应不同的束线布局;模块化架构允许实验替代的观测表示、奖励函数和强化学习算法;通过 SDDS 数据交换与 Elegant 集成;以及作为可选课程机制的阶段性学习支持。该框架要求外部前提条件为可用的 Elegant 仿真程序及其 SDDS 工具包的安装。该框架强调在潜在部署到真实硬件之前先在仿真中进行训练。计算成本主要由束流动力学仿真主导;单次仿真和完整回合的计时测量结果在第 [Test Setup] 节中报告。未来与加速仿真器的集成可能大幅减少训练时间。仓库包括配置文件、预训练模型检查点和文档,旨在供加速器物理学家和强化学习研究人员扩展使用。
引言
粒子加速器是重要的科学仪器,在基础物理、材料科学、医学应用和工业加工中发挥着核心作用 [1]、[2]、[3]、[4]。尽管种类繁多,所有粒子加速器都共享共同的子系统,包括束流源、传输和注入系统、加速结构以及诊断和控制系统。
本工作重点关注注入束流系统,即束线,负责将粒子束从源传输到主加速器。典型的束线由粒子源、射频加速腔、用于束流引导的二极磁铁、用于横向聚焦的四极磁铁、诊断系统(束流位置监测器、剖面监测器)和真空基础设施组成。束线调谐问题涉及优化磁铁参数,以在保持束流质量的同时最大化粒子传输率。
为了说明这一点,本工作考虑了一个测试束线,即 VEPP-5 注入束流系统的正电子传输段,该段包含 11 个四极磁铁(每个具有强度参数 K1 和可选的二极修正踢角 HKICK 和 VKICK)和 4 个二极磁铁(具有分数强度误差 FSE),产生一个 37 维连续参数空间。这些参数之间的强耦合,结合非线性束流动力学和孔径处的粒子损失,可能使传统优化方法耗时并可能导致次优结果。
传统上,束线调谐由专家操作员依靠深厚的加速器物理知识进行,或通过数学方法进行,例如单纯形算法 [5] 或贝叶斯优化 [6]。然而,单纯形算法通常对嘈杂、多维、耦合的优化问题效率低下,而贝叶斯优化虽然样本效率高,但在动态环境中可能表现不佳,并可能陷入局部最优。强化学习(RL)为顺序控制问题提供了一种替代范式,具有学习能够处理高维、耦合参数空间的策略的潜力 [7]。
强化学习已成功应用于包括机器人 [8]、[9]、自动驾驶 [10]、游戏 [11] 和现实世界决策 [12]、[13] 在内的各个领域。其处理高维空间、时间依赖性和非线性系统动态的能力使其非常适合加速器束线控制。
尽管有此潜力,但将强化学习应用于束线优化绝非易事。束线调谐是一个反馈过程,将其转化为强化学习需要明确定义状态、观测、动作、转移和奖励。智能体观测必须总结策略使用的束流信息,同时保持固定大小。整个系统需要与现有仿真工具无缝对接,并且研究人员需要在不从头重建环境的情况下灵活更换算法和配置。
我们引入 RLABC,加速器束线控制强化学习,一个开源 Python 框架,自动化将支持的 Elegant 束线配置转换为强化学习环境。RLABC 通过 SDDS(自描述数据集)文件与 Elegant 进行接口,Elegant 是一种广泛使用的加速器建模仿真代码 [14],提供了一个实用且可扩展的框架,使加速器物理界能够以最小的开销探索基于强化学习的方法。
在本文中,我们介绍了 RLABC 的设计和实现,描述了自动环境构建的方法论,并在源自 VEPP-5 注入束流系统的测试束线上验证了该框架 [15] - 俄罗斯新西伯利亚布德克尔核物理研究所(BINP)的电子 - 正电子注入束流系统。我们证明 RLABC 成功实现了基于强化学习的优化,达到了与现有方法相当的结果。
本文其余部分组织如下。第 2 节回顾了类似任务的最先进方法。第 3 节提供了强化学习和 Elegant 仿真程序的理论基础。第 4 节描述了 RLABC 的结构和实现。第 5 节呈现了实验结果,第 6 节以对未来工作的讨论作为结论。
部分片段 文献综述
机器学习的最新发展为自动化一些手动加速器调谐任务开辟了新途径。由于样本效率高且对嘈杂测量具有鲁棒性,贝叶斯优化作为一种广泛采用的框架脱颖而出,应用于束线调谐、实验设计和控制参数优化 [16]。Morita 等人 [17] 提出结合自编码器与贝叶斯优化来处理高维调谐问题,与相比提高了调谐速度。
强化学习 强化学习通过试错互动解决目标导向行为 [7]。在加速器束线控制等情境中,强化学习非常适用,因为调谐参数形成一个顺序过程,每次调整都会影响未来的束流状态,且结果取决于许多耦合参数的相互作用。
强化学习问题由智能体(决策组件)和环境(被控制的系统)组成。在每一步 t,智能体...
方法论 我们将束线优化公式化为使用强化学习求解的马尔可夫决策过程(MDP)。我们建立在图 1 所示的强化学习结构之上,其中智能体选择动作,环境通过执行这些动作、运行束线仿真并提供新的观测、奖励和回合结束信号作为反馈来响应。
束线调谐具有反馈特性:操作员观察诊断信息,调整磁铁设置,并观察响应。RLABC 公式化测试算法与真实束线模型我们在源自俄罗斯新西伯利亚 BINP 的 VEPP-5 注入束流系统上的测试束线评估 RLABC [15]。图 4 显示了整个设施,包括两个直线加速器(电子和正电子)、注入和提取通道以及阻尼环。我们用作测试束线的段是正电子传输通道的简化模型,仅处理水平面(省略垂直分散度)。图 5 显示了测试束线布局:11 个四极磁铁、4 个二极磁铁和一个射频腔,产生 37 个...
结论 我们提出了 RLABC,一个开源 Python 框架,自动化将启用 Elegant 的束线配置转换为强化学习环境。主要贡献是方法论层面的:一种通用方法,通过自动晶格预处理、固定的 57 维观测表示以及与广泛使用的 Elegant 仿真代码通过 SDDS 接口的集成,将束线调谐公式化为马尔可夫决策过程。
测试束线上的验证
写作过程中生成式人工智能及人工智能辅助技术的声明
在准备本工作期间,作者使用了 ChatGPT(OpenAI)和 Claude(Anthropic)以提高手稿的语言和可读性。在使用这些工具后,作者根据需要审查和编辑了内容,并对发表文章的内容负全部责任。
资金支持
该工作由俄罗斯联邦经济发展部提供的 AI 领域研究中心拨款支持,依据协议 000000C313925P4E0002 以及与 HSE 大学的协议 No. 139-15-2025-009。
CRediT 作者贡献声明
Anwar Ibrahim:初稿撰写、软件、概念化。Fedor Ratnikov:审阅与编辑、监督、概念化。Maxim Kaledin:审阅与编辑、软件、概念化。Alexey Petrenko:审阅与编辑、监督、资源、概念化。Denis Derkach:审阅与编辑、监督、资金获取、概念化。
利益冲突声明
作者声明没有已知的可能影响本文所述工作的竞争财务利益或个人关系。
Anwar Ibrahim|Fedor Ratnikov|Maxim Kaledin|Alexey Petrenko|Denis Derkach
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号