基于物理原理的大语言模型，结合对比式时间嵌入技术，用于冷却剂丧失事故中的瞬态热工水力预测

《Energy》：Physics-informed large language model with contrastive temporal embedding for transient thermal-hydraulic prediction in loss-of-coolant accidents

　　摘要：在冷却剂丧失事故中进行可靠的瞬态评估对于保持核能系统的安全性与灵活性至关重要，但由于其背后的两相热工水力过程具有高度非线性、变化迅速且数值求解成本高昂，这一任务依然充满挑战。本研究提出了一种基于物理信息的大语言模型——PI-LLM，旨在利用有限的事故数据快速评估LOCA相关参数。该模型由三个互补组件构成：首先，一种基于后缀的对比嵌入策略将文本形式的物理先验与关键时间段相结合，使模型能够突出冷却剂丧失过程中的突发变化；其次，多尺度小波卷积神经网络可从压力、流量、空隙率、速度、密度及内能信号中提取耦合的趋势与瞬态特征；最后，一个自监督的信号到文本重建模块通过恢复被掩蔽的物理变量及其一阶时间变化来规范隐藏表示。此外，还将来自两流体六方程模型的物理信息残差纳入训练目标，以提高物理一致性。在多管道LOCA仿真数据集上的实验表明，PI-LLM的平均绝对误差为0.0027，均方根误差为0.0159，R2值为0.9984，性能优于PINN、KAN和Time-LLM等基准模型。消融实验与敏感性分析进一步证实，对比式时间对齐、多尺度频域提取以及自监督重建共同提升了模型在事故引发瞬态现象附近的准确性与稳定性。这些结果表明，PI-LLM可作为一种高效的替代工具，用于低碳核能系统中的实时热工水力评估与决策支持。

引言：核反应堆的安全运行是确保能源供应及推动可持续发展的关键因素之一。反应堆的稳定性与安全性对于绿色能源发展及环境保护而言至关重要。在各类潜在核事故中，冷却剂丧失事故因其严重后果及潜在的安全风险而备受关注[1]。在LOCA事故中，由于泄漏、管道破裂等原因导致反应堆冷却剂流失，进而使核心温度急剧上升，威胁到核反应堆的安全运行[2]。鉴于LOCA事故的突发性、复杂性及高风险特性，尽早预测事故场景下的关键参数以降低风险显得极为重要。LOCA场景的模拟涉及复杂的物理过程，包括传热、流体力学、相变以及热膨胀等多种耦合现象[3]。这些过程不仅受物理环境及运行条件变化的影响，还表现出高度非线性的动态特性[4]。在LOCA工况下，反应堆的冷却系统——包括管道系统、换热器及冷却剂——会呈现出复杂的物理性质。温度、压力及流速的变化可能导致水与蒸汽之间的相变、流速的快速波动以及冷却剂流动阻力的改变。这些相互作用使得系统具有高度耦合性且变化迅速，从而极大地增加了LOCA事件模拟及实时热工水力评估的难度与复杂性[5]。

传统的数值模拟方法，如有限元分析[6]和有限差分法[7]，已被广泛用于LOCA场景的研究。有限元分析能够处理多物理场问题中的复杂几何结构与非线性材料行为，而有限差分法则通过离散化的计算域来求解数值解。尽管这些方法在模拟某些基本物理现象方面效果良好，但在处理高维、复杂动态过程时，往往面临计算资源消耗大、计算时间长以及模型构建困难等问题。此外，传统数值方法在处理非线性多物理场耦合效应方面也存在局限性，尤其是在模拟突发瞬态事件或短时间尺度波动时，其准确性与适应性往往不足[8]。近年来，机器学习的进步为工程与能源领域的复杂非线性系统提供了有效的替代建模工具。金与徐的研究表明，神经网络在时间序列预测及价格预测任务中具有强大的非线性拟合能力[9]、[10]。高斯过程回归则为非线性系统提供了概率预测及不确定性感知的推理功能[11]、[12]。图模型技术，如结合向量误差校正模型的有向无环图，已被用于揭示复杂系统中的结构依赖关系与因果关联[13]、[14]。集成模型与复合模型则可通过整合多个模型或预测结果进一步提升预测的稳健性[15]、[16]。这些研究充分展现了机器学习在建模复杂非线性模式方面的巨大潜力。然而，大多数传统机器学习模型以数据驱动为主，通常不会明确纳入控制物理定律或特定领域的运行约束。因此，当应用于具有稀疏事故数据、高维热工水力变量以及快速变化的瞬态特性的LOCA场景时，其可靠性可能会下降[17]。正是这一局限性促使人们开发出了所提出的PI-LLM框架，该框架将大语言模型?时间表征能力与来自两流体六方程模型的物理信息残差约束相结合。

物理信息神经网络（PINNs）通过将控制方程残差、初始/边界条件以及数据不匹配等因素纳入训练目标，部分解决了这一问题。这样一来，物理定律就能对学习过程起到约束作用，提升神经网络预测的一致性。不过，标准的PINN架构在处理稀疏或极端LOCA条件下的长程时间依赖关系及突然的工况转变时，其表现可能仍较为有限，从而导致评估精度下降[18]。大语言模型则为解决这一问题提供了互补的建模能力[19]。与作为物理约束训练框架的PINNs不同，大语言模型原本是专为语言建模而开发的基于Transformer的预训练表示模型。在本研究中，大语言模型既不是作为独立的物理求解器使用，也不被视为对控制热工水力方程的替代品。相反，文本形式的物理先验、任务描述以及数值化的热工水力序列会被映射到类似令牌的表示空间中，随后利用大语言模型的核心结构来建模长程时间依赖关系以及由提示词引导的潜在特征。之后，再通过来自两流体六方程模型的PINN风格残差损失来确保物理一致性。基于上述区别，本研究提出了一种基于物理信息的大语言模型框架——PI-LLM，用于LOCA场景下的瞬态热工水力预测。该框架将大语言模型的表征能力与两相流物理约束相结合。具体而言，大语言模型组件从由提示词引导的热工水力序列中学习潜在的时间表征，而物理信息组件则利用守恒律残差对预测结果进行约束。这样的设计提升了在LOCA数据有限情况下的事故参数预测的准确性、稳定性及物理一致性。本研究的主要贡献如下：●提出了基于物理信息的大语言模型框架，并引入了一种基于后缀的对比嵌入方法，以增强模型理解关键时段的能力；●设计了一种多尺度小波卷积特征提取网络（MSW-CNN），用于捕捉短期波动与长期趋势，有效提升了模型在LOCA场景中不同时间尺度下的性能；●引入了一个基于自监督学习的信号到文本（S2T）模块，通过重建输入信号，该模块可减轻噪声的影响，并引导模型关注LOCA事件中的物理规律。

章节节选：物理学中的PINN：传统物理学中的数值模拟方法依赖于基于网格的技术，这类方法往往存在计算效率低且难以适应复杂系统的问题。随着机器学习的兴起，数据驱动算法通过从大型数据集中提取高级特征以实现物理推断，展现出了巨大潜力。近期关于神经网络[9]、[10]、高斯过程回归[11]、[12]、图模型技术[13]、[14]以及集成模型[15]、[16]的研究都取得了进展。

LOCA仿真与物理信息约束：建模工作始于为反应堆热工水力回路建立RELAP5节点化模型。在该模型中，主反应堆冷却系统及相关安全组件被表示为一维控制体积、连接点、管道、阀门、热结构以及随时间变化的边界条件。该节点化模型涵盖了压力容器、反应堆核心、完整回路、断开回路、加压器、蒸汽发生器、减压容器以及应急核心等部件。

方法：本研究提出了一种基于物理信息的大语言模型框架，用于LOCA场景下的瞬态热工水力预测。如图2所示，该框架利用大语言模型的核心结构来编码由热工水力序列经提示词引导产生的时间表征，同时引入来自两流体六方程模型的物理信息残差约束。整体的训练目标包括监督预测损失、物理残差损失以及SaCE对比损失。

模型训练与评估设置：模型训练与评估在配备有8块RTX 2080Ti GPU的专用深度学习服务器上进行。模型的训练周期最长可达1000轮，提前停止的阈值设定为10轮。训练过程中采用Adam优化器，初始学习率为0.001，批量大小为32。为了评估在线部署的成本，还会分别在单GPU和双GPU环境下进行推理效率测试。

预测得到的热工水力变量会与实际值进行比较……

讨论：为评估PI-LLM的计算效率，研究人员在测试集上记录了推理时间、硬件资源使用情况以及训练时间。壁钟时间表示完成所有测试样本预测所需的平均时间。如图13(a)所示，PI-LLM在单GPU上的推理时间为1.674秒，在双GPU上的推理时间为0.833秒，而相应的RELAP5仿真所需时间为293.1秒，由此可见PI-LLM的在线计算成本要低得多。图13(b)显示，PINN和KAN的推理时间也相对较短……

结论：为应对核反应堆冷却剂丧失事故中复杂非线性动态过程的参数预测难题，本研究提出了一种基于物理信息的大语言模型（PI-LLM）框架。该框架通过将大语言模型的建模能力与物理信息约束相结合，并融入对比学习、多尺度小波卷积以及自监督学习等关键技术，显著提升了预测的准确性……

CRediT作者贡献说明：吴国华：可视化、验证、形式分析、数据整理；余阳：原始稿撰写、验证、软件开发、方法设计、概念构思；谢宇飞：原始稿撰写、验证、软件开发、方法设计、数据整理、概念构思；王文林：审稿与编辑、方法设计、资金获取、形式分析、数据整理；卢洪兴：项目管理、调研、形式分析、数据整理。

数据可用性：本研究涉及的数据可向相应作者申请获取。

利益冲突声明：? 作者声明不存在任何可能影响本文研究工作的已知财务利益或个人关系。

致谢：本研究得到了深圳技术大学顶尖人才自然科学基金（项目编号GDRC202407）、深圳市科技计划项目（项目编号KCXFZ20240903092603005）、深圳市科技计划项目（项目编号KJZD20230923114117032）以及深圳市科技计划项目（项目编号JCYJ20241202124703004）的支持。

谢宇飞|余阳|吴国华|卢洪兴|王文林
中国广州510006，中山大学电子与信息技术学院