基于多智能体深度强化学习的压水堆自动启动智能设定值决策

《Energy》:Intelligent setpoint decision-making for PWR automatic startup based on multi-agent deep reinforcement learning

【字体: 大 中 小 】 时间:2026年09月21日 来源:Energy 10.1

编辑推荐:

   - 提出了一种用于压水堆(PWR)自动启动设定值决策的非侵入式深度强化学习(DRL)策略。- 针对多回路控制开发了三个独立的DDPG智能体。- 通过共享环境反馈实现了间接协调。- 所学习的策略表现出强大的泛化能力和主动扰动抑制能力。- 多智能体测试实现了积分时间平方误差(IT

  

- 提出了一种用于压水堆(PWR)自动启动设定值决策的非侵入式深度强化学习(DRL)策略。- 针对多回路控制开发了三个独立的DDPG智能体。- 通过共享环境反馈实现了间接协调。- 所学习的策略表现出强大的泛化能力和主动扰动抑制能力。- 多智能体测试实现了积分时间平方误差(ITSE)的降低。

**引言**

随着电网削峰需求的增长和核能应用的扩展,核电站(NPP)需要更高水平的自动化[1]、[2]。以华龙压水堆(HPR1000)为代表的压水堆(PWR)启动过程涉及数千个相互关联的操作、快速变化的工况以及子系统间的强耦合。这种复杂性对智能自动化提出了要求,然而当前的实际操作仍然依赖固定、预先设定程序的设定值轨迹。鉴于监管约束和重新认证成本,在持有执照的核电站中对经过安全认证的底层控制器进行修改实际上是不可行的。设定值决策提供了一种切实可行的解决方案:在不改变已验证的控制逻辑的前提下,实现实时自适应设定值优化。此类方案可直接叠加在现有的分布式控制系统(DCS)上,具有低侵入性和简便的工程部署优势。因此,本研究聚焦于智能设定值决策,将其作为实现核电站自主启动的一种可行的非侵入式途径。

目前功能子组所采用的设定值轨迹仍然主要依赖操作规程中预设的固定曲线,在应用于启动场景时存在三大局限性:

(1)各控制变量的设定值轨迹独立设计,忽略了启动期间强物理耦合关系。各自合理的设定值叠加后会对底层控制器产生相互矛盾的控制需求,导致振荡和安全越限。

(2)信息仅从设定值单向流向控制器。控制器只能在偏差已经发生后才做出反应,从根本上限制了主动性和时间最优调整能力。

(3)无论实际工况如何,每个设定值都遵循预定路径(如斜坡),无法在线重塑。

这三个局限性有一个共同的根源:当前的设定值规划是开环的、解耦的、静态的。即使底层控制器经过良好整定,整体启动性能仍受限于这种被动式设定值规划范式。这表明设定值规划而非底层控制才是根本性的性能瓶颈。因此,迫切需要一种能够在线生成和自适应调整的智能设定值决策方法。

已有若干研究探讨了设定值决策问题。早期的工作主要集中在离线轨迹优化或预计算规划上。Edwards等人首次提出了一种融合架构,将状态反馈与传统控制相结合,通过实时反馈动态调整设定值[4]。Zhang等人开发了一种离线-在线设定值优化方案,采用粒子群优化(PSO)方法,先离线预优化设定值轨迹,再根据实时运行工况在线部署[5]。这些方法在标称工况下能够提供合理的跟踪性能,但在发生扰动或非标称暂态时缺乏在线调整设定值的能力。为克服这一局限性,后续研究引入了基于规则逻辑或基于模型优化的在线自适应方法。Coban等人采用了一种分段生成机制,将专家经验与离线训练的神经网络相结合[6]。Wang等人设计了一种基于专家模糊逻辑的设定值切换策略,在暂态性能和稳态精度之间取得平衡[7]。Dong采用了一种基于模型预测控制(MPC)的双层方案,以解决高温气冷堆中的多变量耦合问题[8]。这些方法虽然能够实现动态设定值调整,但引入了新的依赖关系。无论是手动提取的专家规则还是精确的工厂模型,在宽范围PWR启动暂态中均难以获取。两条路线都无法解决强耦合和快速变化工况的问题。

当应用于核电站启动时,这些基于模型、基于规则或离线优化的方法面临根本性局限。它们对精确工厂模型或预计算轨迹的依赖阻碍了工程部署,并在设计包络之外削弱了性能。

此外,大多数现有研究关注稳态或小范围功率操纵,忽视了宽范围暂态、频繁工况变化和子系统强耦合等问题。这些局限性促使需要一种兼具在线自适应性、无模型操作和多回路协调能力的方法。

相比之下,深度强化学习(DRL)既不需要环境的数学模型也不需要先验专家知识。它纯粹通过环境交互来学习最优策略,使其成为一种极具前景的无模型、数据驱动方法,尤其适用于强耦合暂态过程[9]。其在复杂能源系统中的应用已引起越来越多的研究关注[10]、[11]、[12]、[13]。He等人提出了一种基于双深度Q学习的分布式运行策略,用于微电网中的社区电池储能,有效处理了并网和孤岛模式下的系统不确定性[14]。在核能领域,Degrave等人设计了一种基于DRL的托卡马克磁控制器,能够自主学习协调所有磁线圈,同时遵守物理和操作约束[15]。Lee等人开发了一种整合异步优势演员-评论家(A3C)模型与长短期记忆(LSTM)网络及基于规则的算法,在启动期间实现了增强的稳压器压力和水位控制[16]、[17]。Boubacar Kirgni将自适应动态规划(ADP)应用于PWR堆芯功率控制,证明了无需依赖系统模型即可实现鲁棒的扰动抑制[18]。尽管这些研究展示了DRL在单回路或稳态运行中的潜力,但在PWR启动期间实现的多回路协调设定值决策仍基本上未被探索。

为克服PWR启动期间固定设定值轨迹的局限性,本研究提出了一种基于DRL的智能设定值决策策略。主要贡献如下:

(1)提出了一种"离线训练—在线决策"的非侵入式两阶段应用框架。在核电站自动程序启动(NAPS)系统的功能子组控制层之上增加了一个智能决策模块。该非侵入式架构可以作为附加模块部署在现有DCS上,而无需修改安全认证的控制器。

(2)基于深度确定性策略梯度(DDPG)算法,为稳压器压力、平均冷却剂温度和蒸汽发生器(SG)水位三个核心控制回路开发了独立的单任务智能体。每个智能体在低维状态空间中运行,采用增量动作。混合奖励函数在跟踪精度、安全裕度和控制成本之间取得平衡。

(3)提出了一种基于共享环境反馈的间接多智能体协调机制。智能体通过被动适应和补偿耦合扰动来实现涌现式的智能体间协调。该设计减少了在NPP应用中集中式或基于通信的协调方案的工程复杂性。

本文其余部分组织如下:第2节阐述固定设定值瓶颈的建模。第3节介绍基于DRL的智能决策策略。第4节详细说明基于DDPG的智能体设计。第5节进行仿真结果与分析。第6节总结研究结论。

**片段:系统描述与问题陈述**

HPR1000是中国开发的第三代压水堆,采用对称三回路配置[19]。如图1所示,每个回路包含一个蒸汽发生器和一个主冷却剂泵,连接至反应堆压力容器。在正常运行条件下,一次侧冷却剂将热量从堆芯传递至蒸汽发生器,在其中加热二次侧给水以产生饱和蒸汽驱动汽轮发电机组。关键设计参数见表1[20]。

**片段:非侵入式基于DRL的设定值决策策略**

本节介绍设定值决策的总体策略。第3.1节介绍两阶段范式和非侵入式架构。第3.2节则详细阐述了解耦多智能体架构和间接协调机制。如图4所示的完整工作流程采用并行结构:三个独立智能体经过离线训练和性能验证后部署在线,最终对其协调效果进行评估。

**片段:用于设定值决策的DDPG智能体设计**

在第3节提出的策略和架构基础上,本节详细阐述DDPG智能体的算法实现。为将DDPG算法应用于PWR启动的智能设定值决策,需要设计若干关键组件:(1)安全探索约束;(2)引导策略学习的奖励函数;(3)具有适当超参数的网络架构;(4)结构化训练流程。这些方面将在第4.2–4.5节中加以讨论。

**片段:仿真结果与讨论**

在启动过程中,控制系统必须在不同运行条件下执行控制任务。训练好的智能体必须在离线训练期间未见的工况下表现出适应性,从而能够在各种运行条件下的任何控制任务中实现设定值决策。第2节所述的高保真HPR1000仿真平台用于所有训练和测试。为应对已识别的瓶颈,所提出的基于DRL的智能设定值……

**结论**

本研究提出了一种基于DRL的PWR核电站启动智能设定值决策策略,直接针对第2节中确定的三个瓶颈:协调困难、无法实现时间最优调整以及固定设定值轨迹缺乏适应性。该策略在高保真HPR1000仿真平台上进行了验证。主要结论总结如下:(1)所提出的"离线训练—在线决策"两阶段范式,……

**CRediT作者贡献声明**

Longhao Xiao:撰写—初稿,验证,软件,方法论,调查,数据整理。Peiwei Sun:撰写—审阅与编辑,方法论。Xinyu Wei:撰写—审阅与编辑。Qi Zhang:撰写—审阅与编辑,方法论,调查,数据整理。Xi Bai:方法论,调查。

**未引用参考文献**:[3]、[31]、[32]、[35]、[36]。

**利益冲突声明** ? 作者声明没有已知的可能影响本文所报告工作的经济利益冲突或个人关系。

**致谢**

本项目得到国家自然科学基金资助(批准号:12075181)。

Longhao Xiao | Qi Zhang | Xi Bai | Peiwei Sun | Xinyu Wei
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号