《Machine Learning with Applications》：Uncertainty guided online ensemble for non-stationary data streams in fusion science
编辑推荐：
机器学习（ML）在下一代聚变装置的开发和运行中将扮演关键角色。聚变数据表现出分布漂移的非平稳行为，这源于实验演进和设备磨损。ML模型假设数据独立同分布（IID），当面对此类非平稳数据流时无法维持性能。在线学习技术已在其他领域得到应用，但在聚变领域尚未得到充分探
机器学习（ML）在下一代聚变装置的开发和运行中将扮演关键角色。聚变数据表现出分布漂移的非平稳行为，这源于实验演进和设备磨损。ML模型假设数据独立同分布（IID），当面对此类非平稳数据流时无法维持性能。在线学习技术已在其他领域得到应用，但在聚变领域尚未得到充分探索。本文研究了在线学习在DIII-D聚变装置环形场（TF）线圈偏转预测中对漂移数据流的连续适应能力。进一步解决了标准在线学习固有的短期性能下降问题，其根源在于预测时真实值不可用。为缓解此问题，研究人员提出了一种不确定性引导的在线集成框架。该方法利用深度高斯过程近似（DGPA）进行校准的不确定性估计，并使用这些不确定性度量来指导一个元算法，该算法聚合了在不同历史时间跨度上训练的学习器的预测。结果表明，与静态模型相比，在线学习将预测误差降低了80%。与标准的单模型在线学习相比，在线集成和所提出的不确定性引导集成分别将误差进一步降低了约6%和10%，同时提供校准的不确定性估计以支持运行决策。
随着对可控核聚变作为可行能源的追求，托卡马克（Tokamak）等聚变设施变得日益复杂，需要精确控制、实时监控和预测能力以优化性能并确保运行安全。传统的聚变研究严重依赖基于物理的建模，通常需要计算成本高昂且不易实时调整的高保真模拟。因此，基于数据驱动的方法——特别是基于机器学习（ML）的方法——将成为下一代聚变设备设计和运行的核心。ML正成为聚变研究和运行的变革性工具。通过将传感器数据与先进计算模型集成，ML能够建模复杂过程，支持诊断、预测、异常检测和决策支持等任务。
一个特别引人注目的应用是托卡马克中环形场（TF）线圈（也称为B线圈）的建模与监测。这些线圈负责产生等离子体约束所需的强磁场，在高场运行时承受极端的电磁力。在DIII-D托卡马克，校准实验揭示，在某些全磁场配置下，TF线圈的外腿会经历足以导致机械干扰和瞬态短路的侧向偏转。这些偏转对未粘合线圈匝之间的细微机械滑动、热膨胀以及不断变化的电磁负载分布都很敏感——这些都很难实时进行解析建模。传统的有限元仿真有助于确定允许的侧向载荷的上限，但这些模型不适合快速推理、自适应预测或融入实时数据。这为ML方法——特别是强调不确定性量化的方法——提供了一个机会，以快速、自适应的ML模型来增强或部分替代传统模型，从而支持与控制相关的决策。
ML通常假设训练数据与测试或推理数据集独立同分布（IID）。然而，在具有流式或非平稳数据的环境中，这一前提常常失效，例如聚变实验，数据分布可能随时间变化。在这些场景中，新数据样本可能与原始训练分布显著不同甚至无关，这些实例被称为分布外（OOD）样本。深度神经网络（DNNs）尽管能有效建模复杂系统，但在非平稳环境中的在线应用面临挑战，其局限性包括：（1）在新的OOD数据样本上产生不可靠的预测；（2）缺乏评估不确定性的机制，这使得确定预测何时可靠变得困难。DNN量化不确定性方面的新进展引入了集成技术、贝叶斯神经网络（BNNs）和深度分位数回归（DQR）等方法。这些方法缺乏显式的距离感知，限制了其在捕捉OOD不确定性方面的有效性。深度高斯过程近似（DGPA）已成为一种有前景的替代方案，通过设计提供内在能够建模OOD不确定性的单次推理预测。
此外，为了应对非平稳数据分布，在线学习已发展成为一种有前景的技术，能够用新数据持续适应ML模型。在线学习在聚变科学应用中基本上未被探索。因此，为了填补这一空白，研究人员开展了这项研究，以评估在线学习算法在通用原子公司DIII-D国家聚变装置TF线圈偏转预测中的应用。研究人员使用DGPA模型提供可靠的不确定性估计和预测。此外，研究人员利用DGPA模型的不确定性估计，实现不确定性引导的在线集成以进一步改进预测。
为解决静态代理模型在非平稳聚变环境中的局限性，这项工作引入了三个主要创新：1）领域特定的在线框架：虽然在线学习存在于通用工程（例如电网负荷预测）中，但这些方法并非针对托卡马克操作固有的大信噪比和突变状态转换而设计和评估。该框架首次弥合了高保真结构健康监测与实时等离子体参数之间的差距。2）基于不确定性的引导：研究人员提出了一种新颖的加权机制，其中集成优先级由深度高斯过程近似（DGPA）的潜在预测方差决定。这使得系统能够在学习器进入分布外区域之前对其进行降权，这是与传统基于误差的自适应滤波器相比的重大转变。3）多时间跨度记忆缓冲区：研究人员实施了一种分层数据保留策略，维护多个历史TF线圈数据“时间跨度”。该架构专门解决了聚变中的稳定性-可塑性困境：保留全局结构物理知识，同时快速适应特定放电的瞬态。
本研究利用来自DIII-D聚变装置的实验数据，该装置为研究TF线圈在电磁负载下的机械响应提供了独特机会。单次实验放电称为“shot”。数据包括九个等离子体输入变量，如B线圈电流、E线圈电流、输入等离子体电流以及六个磁场变量（pcf6a, pcf6b, pcf7a, pcf7b, pcf9a, pcf6b）。这些输入变量用于训练ML模型，该模型旨在产生25个偏转值之一（以毫米为单位的线圈外壁侧向移动）。在训练模型之前，对数据进行了预处理，移除了包含缺失值或异常值的shot，并应用了基于四分位距（IQR）和最小-最大值界限的双重标准过滤器，以识别并丢弃传感器卡顿产生的噪声数据。最终从1811个shot减少到1447个shot。模型采用滑动窗口方法，输入为100个时间点的变量窗口，输出为窗口最后一步的偏转值。在线学习部分采用了滑动窗口批量训练策略，使用不同大小的历史数据缓冲区（1、5、20、40、200个shot）对模型进行增量微调。集成学习部分，研究人员提出了一种不确定性引导的在线集成方法（算法1），该方法利用DGPA校准的不确定性作为每个模型预测误差的近似估计，对多个不同缓冲区大小训练的模型的预测进行加权平均。加权公式为所有模型预测的加权平均，权重与各自预测不确定性的倒数成正比。该方法的核心假设是，经过校准的DGPA模型的不确定性估计与实际预测误差强相关（皮尔逊相关系数为0.58），这在本研究的聚变数据中得到了验证。
研究结果部分首先评估了静态模型。该模型在IID数据（训练、验证、测试集）上表现出良好的泛化能力，回归误差特性（REC）曲线下面积（AOC）约为0.04，校准误差约为3%。然而，在面对未经更新的未来数据（模拟在线部署场景）时，性能显著下降，AOC升高至0.24，校准误差升至约22%，表明模型对分布外数据过于自信。接着，在线学习部分评估了在线学习的有效性。单模型在线学习（最佳缓冲区大小为5）与静态模型相比，将未来数据上的平均绝对误差（MAE）从约0.119降低至0.024，降幅达80%。同时，不确定性校准误差从约22%降低至7%，改善了68%。在线学习模型在连续适应新数据后，能保持稳定的性能和校准的置信度。在线集成部分比较了标准在线学习、朴素在线集成（平均预测）和所提出的不确定性引导在线集成。结果如表3所示，以标准单模型在线学习为基线，朴素集成将MAE降低了约5.92%，而不确定性引导集成将MAE降低了约10.24%。配对t检验（表4）显示所有比较方法之间的p值均远小于0.01，证实了性能提升的统计显著性。消融研究系统地评估了框架中每个组件的贡献。与单模型在线学习相比，固定缓冲区集成（缓冲区大小5）使MAE略微降低0.8%。将固定缓冲区集成替换为具有均匀权重的不同缓冲区集成（缓冲区大小1, 2, 5, 20, 50, 200），使MAE进一步降低5.4%，这有助于捕捉不同时间尺度的漂移。最后，用不确定性引导的权重替代均匀权重，使MAE额外降低了4.4%。不确定性校准误差在各集成方法间保持稳定。失败案例分析表明，当发生显著突变漂移导致所有集成模型都将样本视为OOD时，所有学习器均会预测失败并产生高不确定性，这验证了不确定性估计的可靠性。
讨论部分指出，虽然不确定性引导的在线集成优于单模型在线学习，但需要更多的计算和内存资源，存在性能与计算效率之间的权衡。该框架不仅限于集成不同缓冲区大小的相同架构模型，也适用于集成异构模型架构。不确定性估计方法也不仅限于DGPA，任何能显示预测不确定性与实际误差强相关性的技术均可集成。部署前景部分设想了将该框架发展为具有人在回路架构的高保真闭环数字孪生体。在每次放电前，科学家可将提议的参数输入数字孪生体以估计TF线圈偏转及其不确定性，若预测偏转超过可接受限度且不确定性低（高置信度），则可主动调整参数。当预测不确定性超过阈值时，应视为低置信度预测，操作员需依赖领域专业知识或物理模型。放电完成后，新获取的诊断数据通过在线学习机制更新数字孪生体内部状态。适应和推理时间评估显示，所有缓冲区模型的总适应时间为72.22±8.37秒（若并行训练，则取决于最慢模型，约50秒），单步推理时间为46.55±4.92毫秒，在DIII-D约10分钟的放电间隔内是可行的。实际挑战包括在计算资源受限环境中可能需要缩减集成规模或模型大小，以及处理传感器噪声突发和数据延迟问题。研究未涉及数据完整性验证、网络安全或恶意攻击防护等问题，这些是未来部署中需要考虑的方面。
结论部分总结，为了弥合ML开发与聚变应用中因非平稳数据流导致的长期部署之间的差距，研究人员提出了将在线学习应用于DIII-D托卡马克TF线圈偏转预测的方法。该方法利用DGPA模型提供可靠的伴随预测的不确定性估计。研究表明，在线学习将预测误差降低了80%，并将DGPA模型的不确定性校准提高了约68%。研究人员探索了朴素在线集成，并提出了一种新颖的不确定性引导在线集成方法，该方法利用不确定性估计智能地结合多个模型的预测。结果表明，所提出的不确定性引导在线集成方法优于标准在线学习，将平均绝对误差（MAE）降低了约10%。该方法采用不同缓冲区大小的集成，特别适用于预计会在不同时间尺度发生漂移的非平稳在线学习场景。未来，研究人员计划进一步改进基于不确定性的误差估计，将其他类型的模型（包括不同架构）纳入集成，并研究使用不同尺度的注意力机制来应对漂移。此外，研究人员打算在DIII-D装置部署该方法，以评估其实时性能。通过解决这些挑战并扩展该方法，研究人员期望为开发可靠且稳健的聚变应用ML模型做出重要贡献。
