集成光伏-热泵系统的最优多智能体强化学习控制方法开发

《Energy and AI》：Development of an Optimal Multi-Agent Reinforcement Learning Control Method for an Integrated PVT–Heat Pump System

　　

耦合光伏-热（PVT）集热器、空气源热泵（AWHP）和分层蓄热的混合建筑系统可降低运行成本，但由于蓄热延迟、季节性非平稳性和子系统耦合而难以控制。研究人员将流量控制建模为一个无模型的多智能体强化学习（MARL）问题，采用集中式训练与分布式执行。三个智能体（PVT、AWHP、风机盘管回路）在参考办公楼的全年联合仿真中每60秒动作一次。奖励函数最小化按电价加权的能耗成本，并包含舒适度与约束惩罚；应用统一的安全边界和变化率限制。研究人员将近端策略优化（PPO；连续动作）和离散型Dueling DQN与监督式DNN及基于规则的控制器进行比较。PPO学习了平滑的、考虑蓄热的调节策略，倾向于内部流量设定点，保持分层，并减少安全干预。在全年的运行中，PPO提供了最佳经济性，实现了最短的投资回收期（15.4年）和最低的20年生命周期成本，优于Dueling DQN（16.0年）、监督式DNN（17.3年）和传统的非PVT/非蓄热参考系统（17.7年）。总体而言，PPO在保持舒适度和约束合规性的同时降低了按电价加权的运行成本，证明了在蓄热耦合建筑中对PVT充电、AWHP运行和FCU取热的定量优越协调能力。

**论文解读：基于多智能体强化学习的集成PVT-热泵系统最优控制方法**

**研究背景与问题**
建筑领域占全球最终能源消耗近30%及二氧化碳排放约26%，对可再生能源集成与高效技术的需求日益迫切。耦合光伏-热（PVT）集热器与空气源热泵（AWHP）的混合系统能同时产电与产热，并灵活响应动态建筑负荷，具有潜力。然而，此类系统的运行控制高度挑战：传统基于规则或固定设定点的控制策略针对峰值或稳态设计，无法适应季节性变化、使用模式及设备老化，导致系统冗余与运行成本高；监督学习方法（如深度神经网络DNN）受限于训练数据分布，对未见工况泛化差，且缺乏处理热惯性与蓄热延迟的物理可解释性；模型预测控制（MPC）依赖高保真模型与精准预测，模型误差会直接导致次优控制。因此，亟需一种能适应非线性、时变、耦合系统特性的控制方法。

**研究内容与结论**
研究人员提出了一个无模型的多智能体强化学习（MARL）控制框架，采用集中式训练与分布式执行（CTDE）架构，对韩国釜山一个参考中型办公楼的全年运行进行联合仿真，控制间隔为60秒。三个智能体分别负责PVT循环、AWHP循环和风机盘管（FCU）循环，输出连续流量设定点，通过统一安全包装（硬边界、变化率限制等）保护设备与分层。奖励函数最小化按电价加权的能耗成本，并包含舒适度偏差与约束违规惩罚。主控制器采用近端策略优化（PPO；连续动作），与离散动作的Dueling DQN、监督式DNN及基于规则控制器（RBC）进行比较。结果表明：PPO学习到平滑、蓄热感知的调节策略，偏好内部流量设定点，维持分层并减少安全干预；在全年度运行中，PPO实现最短投资回收期（15.4年）和最低20年生命周期成本（LCC），优于Dueling DQN（16.0年）、DNN（17.3年）和非PVT/非蓄热参考系统（17.7年），同时保持舒适度不变（PMV：供暖约-0.56，制冷约0.49）。该研究证明，分级、分层感知的MARL控制能在季节性非平稳性下超越离散RL与监督基线，改善长期经济性。论文发表在《Energy and AI》。

**关键技术方法**
1. **多智能体强化学习（MARL）框架**：采用集中式训练与分布式执行（CTDE），三个智能体（PVT、AWHP、FCU）共享同一植物级奖励，联合优化。
2. **近端策略优化（PPO）算法**：作为主控制器，通过剪裁代理目标与广义优势估计（GAE）稳定连续动作学习；对比算法包括离散动作的Dueling DQN、监督式前馈DNN和基于规则控制器。
3. **联合仿真环境**：基于韩国釜山典型气象年（TMY）数据，构建包含PVT场、AWHP（性能图模型）、双分层蓄热罐（垂直离散模型）、FCU回路及4R3C简化建筑热模型的中型办公室全年仿真，控制与植物计算步长均为60秒。
4. **经济性评估模型**：采用20年生命周期成本（LCC）和简单投资回收期（ROI）进行对比，所有控制器共享统一初始条件、电价与舒适度定义。

**研究结果**

**5.1 学习曲线与策略行为**
通过收敛稳定性、每集平均奖励及策略对关键驱动变量的响应，对比Dueling DQN与PPO。
- **PVT智能体**：Dueling DQN收敛快且获得更高终期奖励（约10720 vs 9623）；但PPO在低入口温度时增大流量以增强取热，而Dueling DQN在高入口温度时仍保持高流量，强调蓄热充电；所有控制器随辐照度增大流量，但Dueling DQN在约0.9 kW·m^-2以上开始限制流以防止PV过热。
- **AWHP智能体**：PPO在供暖与制冷模式均稳定收敛并获得更优终期奖励（供暖-5888.5 vs -6324.6；制冷-5353.0 vs -5989.8）；PPO在供暖侧低负荷侧温度时增大流量，但在极低温度（<32°C）时减少流量以避免过高扬程，与Dueling DQN的保护策略一致；在源侧温度高于约18°C时，PPO转至低流量策略。
- **FCU智能体**：PPO在约20,000集后稳定，终期奖励优于Dueling DQN（供暖14225 vs 13102；制冷12488 vs 11675）；PPO随EWT_FCU和区域温度平滑调节流量，接近设定点时逐渐减小，减少超调与短循环；Dueling DQN响应平坦且波动大。

**5.2 智能体流量分布与子系统响应**
通过全年数据分布（中位数、IQR、均值、标准差、偏度）统计各控制器操作变量与关键性能指标。
- **PVT循环**：PPO平均流量30.13 L·min^-1，低于DNN（38.30）和Dueling DQN（38.26）；电效率约16.05%，热效率22.5%，均与对照相当，表明PPO以更低流量维持产率，偏好内部设定点。
- **AWHP循环**：Dueling DQN流量聚集于边界（供暖最低20 L·min^-1，制冷最高50 L·min^-1），COP无提升；PPO采用中段流量（供暖平均29.2，制冷平均40.2 L·min^-1），COP在供暖2.19（+1.9% vs DQN）、制冷2.83（接近DQN/DNN）。
- **FCU循环**：PPO以更低或适中流量实现相近舒适度（PMV约-0.56/0.49），减少泵耗与变化率干预。

**5.3 经济评估**
基于20年LCC与简单回收期对比。参考系统无PVT/蓄热，回收期17.7年。PPO实现最短回收期15.4年，优于Dueling DQN（16.0年）、DNN（17.3年）及参考系统。PPO的LCC最低，归因于其蓄热感知的协调策略提高了热/电收益并降低了运行成本。分解显示PPO运行成本更低，有用能收入更高。

**总结与讨论**
该研究开发了一个可复现的连续动作CTDE MARL控制框架，用于蓄热耦合的混合可再生能源暖通系统。主要贡献在于：分级、分层感知的PPO调节在季节性非平稳性下优于离散RL与监督基线，同时保持舒适度并改善长期经济性。PPO学习到的策略从边界切换转向内部流量设定点，减少泵耗与安全干预，维持分层。展望部分指出，当前证据局限于单一参考地点与固定仿真栈，未包含预测前瞻。未来工作应加入天气/电价预测与显式多目标奖励，在多个建筑、气候与设备配置下验证，评估高保真模型下的可扩展性与训练成本，并探索混合MPC-RL或约束满足层以增强硬安全约束保证。研究结论翻译：本研究评估了连续动作无模型MARL控制用于蓄热耦合PVT-AWHP-FCU系统，在全年度60秒控制间隔下表现。PPO实现最短回收期15.4年，较Dueling DQN（-3.8%）、DNN（≈-11%）和传统参考（≈-13%）均改善，同时保持舒适度。学习策略从边界切换转为内部流量设定点，PVT平均流量降低约21%，FCU供暖降低约32-35%、制冷约18% vs DQN；AWHP避免边界饱和，COP在供暖提升1.9% vs DQN。计算需求方面，离线训练为主要成本，部署时每个PPO智能体仅需60秒一次轻量前向传播；可通过表征学习、并行化等方法应对更高保真度模型。