基于科学机器学习的托卡马克等离子体稳健降程轨迹预测与控制研究

为解决托卡马克装置等离子体电流降程阶段易发破裂的难题，研究团队通过神经状态空间模型（NSSM）结合强化学习（RL），利用少量实验数据（含仅5个高性能脉冲）成功预测等离子体动力学并设计出规避不稳定性限制的稳健轨迹。TCV实验表明该方法显著提升终止阶段的等离子体电流和储能控制性能，并首次实现预测优先的外推实验，为ITER和SPARC等装置提供了可靠的等离子体控制新范式。

　　

在追求可控核聚变能源的道路上，托卡马克装置面临着一个关键挑战：如何安全稳定地终止等离子体放电。等离子体电流降程（rampdown）阶段尤其危险，这一阶段容易加剧多种等离子体不稳定性，导致装置运行中断甚至设备损坏。对于ITER、SPARC等下一代燃烧等离子体装置，这个问题尤为紧迫——正如JET装置高性能实验所显示的，仅将等离子体电流从3MA增加到3.5MA，破裂率就从20%飙升至50%。

传统的基于第一性原理的模拟方法在处理高度瞬变的降程阶段时遇到巨大困难，许多物理量的变化难以用基本原理准确建模。先前的研究通常需要对约束模式转换等重要效应做出假设，而这些假设本身存在很大不确定性。虽然DIII-D实验尝试使用黑盒贝叶斯优化方法设计降程轨迹并取得一定成效，但这些实验都在低性能等离子体上进行，且缺乏预测性模型的支持。

在这项发表于《Nature Communications》的研究中，由Allen M. Wang领导的国际团队开发了一种创新方法，将科学机器学习（SciML）与物理原理相结合，为托卡马克配置可变装置（TCV）的降程阶段设计了稳健的控制策略。

研究人员主要采用了几项关键技术：一是神经状态空间模型（NSSM），该模型融合了物理方程与数据驱动模型，能够从有限的实验数据中学习等离子体动力学；二是强化学习（RL）算法，用于设计能够应对不确定性的稳健轨迹；三是大规模并行化技术，通过在单个A100 GPU上并行模拟约10^4条降程轨迹，实现了高效优化。实验数据来自TCV装置的442次放电，其中仅包含5个与高性能区域相关的不完整降程数据。

结果

实验概述

实验在2024年TCV集成控制高性能实验活动中进行。扁平等离子体在β_N>2.0的高性能状态下运行，接近密度极限，采用高拉长偏滤位形（K≈1.6，q₉₅≈4）。初始实验在I_p=140kA的基线高性能场景下进行，最终外推测试达到I_p=170kA。成功降程需要精细管理多个等离子体不稳定性极限，这些极限可能因等离子体轨迹的细节而加剧。

控制结果的统计显著性

由于实验时间和相关数据点的稀缺性，建立统计显著性通常很困难。本实验也面临这一挑战，降程实验仅涉及9次放电，其中2次专门用于调试遗留软件问题，数据库中仅有5次降程接近β_N>2的相关高性能区域。使用这5次放电作为对照组，定义两个测试集：一个包含调试放电，一个不包含。曼-惠特尼U检验显示，实验降程在等离子体终止时的W_tot有统计显著改善（p<0.05）。

NSSM预测的中等规模验证

NSSM被开发并训练用于预测表1所列的观测值随时间变化的动力学。模型的主要目标是预测与完成快速无破裂等离子体降程控制任务相关的关键量的动力学，以允许轨迹优化算法决定避免用户指定的与破裂相关的关键量限制的行动。

模型经历了两个训练阶段：初始训练阶段使用311次放电的训练数据集和131次放电的验证数据集。为了提高模型对相关场景的预测能力，仅通过训练44次I_p≤200kA的放电来微调模型的约束定标部分，所有其他模型权重被冻结。

通过设计对控制误差的稳健性来防止VDE

实验还明显强调了在优化降程轨迹时考虑控制误差的重要性。实验初始放电的降程设计没有考虑形状误差对垂直增长率γ_vgr的影响。这种不确定性在TCV#81751中产生了高度敏感的影响，最终导致垂直位移事件（VDE）。尽管在零控制误差下的γ_vgr是可容忍的，但高场侧（HFS）间隙g_HFS与计划值偏差的微小增加导致γ_vgr增加了一个数量级。

在#81751之后，将间隙误差的不确定性分布添加到RL训练环境中，以鼓励优化尽管存在这种控制误差仍能成功的轨迹。对这种不确定性的稳健性优化的积极影响在TCV#82875中实现，该放电在类似的HFS间隙值下经历了相似的控制误差，但没有出现γ_vgr的大幅增加。

外推测试的预测优先结果

学习的动力学模型不需要分布外远推来协助净能量托卡马克的控制和轨迹设计，因为它们的操作将涉及逐步向更高性能迈进。因此，它们只需要能够在小的外推下做出合理的预测，并从实验中快速学习，尽可能使用少量数据。

为了测试所开发方法在此类设置中的可行性，使用学习的动力学模型为外推测试场景设计轨迹，该场景的训练数据集中不存在TCV的任何降程数据，并生成了降程期间等离子体动力学分布的先验预测。

讨论

研究结果表明，所开发的等离子体动力学学习方法能够用适中的数据集预测高度瞬变的降程阶段，甚至能够对更高性能区域进行小的外推。该方法相对样本高效，仅需要相关高性能区域的5次放电，表明这可能是SPARC和ITER等未来托卡马克的可行方法。

所开发的用于设计稳健轨迹的RL方法在终止时的等离子体电流和储能方面产生了有希望的改进，增量重新训练提高了降程速度。这一结果代表了首批成功演示之一，表明能够设计对真实世界不确定性具有稳健性的托卡马克轨迹，历史上由于模拟的计算成本而不可行。

为了提高所开发方法对SPARC和ITER等装置的相关性，未来工作应该模拟更多物理现象，如杂质积累和NTM动力学，这两者都难以模拟，部分随机，并且被发现是JET破裂的重要贡献因素。

所开发的方法也充满全放电模拟的前景，正在进行的工作正在研究这一点。神经网络使用0维标量预测动力学剖面的能力，在本研究和先前研究中都得到了证明，表明数据驱动方法可能足以完成某些控制任务，而无需基于原理的输运模拟。

方法

神经状态空间模型

从数据中学习动态系统几十年来一直是控制设计的核心学科，包括飞机飞行控制和模拟，历史上称为系统辨识。然而，由于当时的计算限制，经典方法通常仅限于线性模型，通常以线性状态空间模型（SSM）的形式。

在现代深度学习时代，从数据中学习动态系统的想法从不同的角度被重新发现，随着神经微分方程（NDE）的出现，发现给定x的数据集，神经网络可以用作微分方程系统，通过微分方程求解器在时间上向前积分，然后伴随反向传播方法可以与自动微分结合使用来确定损失对网络参数的梯度。

训练数据分布

本工作中用于训练模型的数据集包括442次最近的有至少部分完成且具有足够诊断可用性的降程放电，使用Disruption and Event analysis framework for FUSion Experiments收集。初始训练阶段涉及训练311次放电数据，其余数据集用于验证。

奖励函数

奖励函数旨在平衡实现低等离子体电流和能量的优先级与破裂等离子体的风险，并由公式给出。奖励函数在达到目标状态或最大允许训练周期时间之前的每个时间步都处于活动状态。

不确定性模型

在实验现实中，等离子体动力学的时间演化是高度非线性的，并且存在相当数量的不确定性，如图8所示的两个相同场景放电所证明的，它们从截然不同的初始条件开始。

RL方法

标准RL问题涉及优化策略π将观测映射到动作。从这个角度来看，轨迹优化可以看作是一种策略优化，其中唯一的可观测值是时间。给定时间是唯一的可观测值，但并行训练环境中存在不同的物理条件，这些条件对策略是不可观测的，奖励最大化过程产生一个被设计成在不同条件下成功的轨迹。

部署到TCV

通过RL确定的形状轨迹通过重新缩放偏滤阶段的扁平顶部形状映射到最后闭合通量表面控制点，并在受限阶段使用TCV MGAMS算法中的解析公式。然后使用自由边界平衡代码FBT和放电准备算法MGAMS确定实现所需等离子体电流和形状轨迹的前馈线圈电流和电压，并将P_NBI轨迹编程到TCV监控控制系统SAMONE中。

该研究通过结合科学机器学习与强化学习的方法，成功解决了托卡马克等离子体降程阶段的控制难题，为未来聚变装置的可靠运行提供了重要技术支撑，特别是在处理不确定性和外推预测方面展现了显著优势。