面向船舶综合电力系统能量管理的模式感知安全强化学习框架

《Journal of Marine Science and Engineering》:Energy Management for Ship Integrated Power Systems via Mode-Aware Safe Reinforcement Learning

【字体: 大 中 小 】 时间:2026年09月22日 来源:Journal of Marine Science and Engineering 3.2

编辑推荐:

  船舶综合电力系统(IPS)的能量管理需要在严格的运行约束下对柴油发电机、电池储能和岸电进行实时调度。现有深度强化学习(DRL)方法在经济性上具有竞争力,但无法保证训练或部署期间设备约束得到满足。本文提出MA-SRL,一种面向船舶IPS的安全强化学习框架,该框架

  
船舶综合电力系统(IPS)的能量管理需要在严格的运行约束下对柴油发电机、电池储能和岸电进行实时调度。现有深度强化学习(DRL)方法在经济性上具有竞争力,但无法保证训练或部署期间设备约束得到满足。本文提出MA-SRL,一种面向船舶IPS的安全强化学习框架,该框架将执行层安全投影层(SPL)与训练阶段的李雅普诺夫(Lyapunov)策略更新相结合。SPL在执行前将每个原始动作投影到当前模式的可行集上(只要该集合非空),并将偏离量量化为约束代价信号,该信号驱动模式相关约束马尔可夫决策过程(MD-CMDP),使可行性对学习器可观测。李雅普诺夫更新旨在通过训练期间的预算条件控制期望折扣约束代价。在标称场景下,该信号驱动原始策略接近可行集,相比DRL基线将约束违反降低2.2–6.0倍,成本降低7.7–16.9%,并在风暴条件下保持最低的约束违反。相同的架构和设置在第二艘船舶、电站、航线和运行剖面上复现,在所有对比方法中取得最低成本和最低约束违反,并在单发电机损失事故下维持最低的航程距离亏欠和未满足负荷。

论文解读

一、研究背景与问题

国际航运约占全球温室气体排放总量的2.5%,国际海事组织(IMO)的碳强度指标(CII)和现有船舶能效指数(EEXI)等监管框架正推动海事行业大规模脱碳。船舶电气化已成为关键技术路径:现代船舶逐步采用综合电力系统(IPS),全电船舶(AES)将推进、酒店和辅助负荷整合到共享电网上。典型IPS由柴油发电机(DG)、电池储能系统(ESS)和港口作业期间的岸电组成。能量管理系统(EMS)必须实时协调这些资产以最小化燃料消耗和排放,同时满足严格的运行约束。
船舶EMS问题区别于常规电力调度的核心挑战在于:一次航行包含离散的航行模式——港口操纵(HM)、公海巡航(OS)和泊岸冷铁(CI)——每种模式对DG和ESS施加不同的负荷分布和允许运行范围。在各模式内,DG启停与ESS充放电决策通过瞬时功率平衡方程紧密耦合,任何动作同时传播约束至所有设备。此外,ESS荷电状态(SOC)必须在整个航行中保持在安全界限内以保护电池寿命。这些模式依赖且跨设备的约束使实时船舶EMS成为具有挑战性的优化问题。
现有方法存在三方面局限:其一,基于DRL的船舶EMS方法主要优化经济性能,安全性处理多为间接方式,缺乏将执行层修正、显式约束代价反馈和训练期安全策略更新统一起来的机制;其二,微电网领域的安全DRL方法虽然嵌入了重要安全机制,但其公式化通常基于相对稳定的约束结构,未针对跨运行阶段显式可行集转换进行设计;其三,同时解决模式感知约束问题建模、通过动作投影实现执行期可行性以及训练期约束代价控制的统一框架尚未在船舶IPS能量管理领域建立。

二、研究内容与核心方法

针对上述问题,研究人员提出MA-SRL框架,一种面向船舶IPS能量管理的安全强化学习框架,将执行层动作投影与训练期约束代价控制相结合,在模式依赖可行集下运行。该框架由三个耦合组件构成:模式相关约束马尔可夫决策过程(MD-CMDP)、安全投影层(SPL)和李雅普诺夫(Lyapunov)安全策略优化。
MD-CMDP将可行集和代价信号按航行模式索引,使其在港口操纵、公海巡航和冷铁之间切换时发生结构性变化。SPL作为混合整数二次规划(MIQP),在执行前将每个原始策略动作投影到当前航行模式的可行集上,并返回修正动作和违反度量作为训练代价信号。李雅普诺夫策略更新通过预算条件控制期望折扣约束代价,将每个训练步骤限制在安全策略集内,并额外要求接受的更新保持在运行成本余量内。
实验基于巴塞罗那—帕尔马—伊维萨—马翁渡轮走廊,每个回合代表该航线24小时运行窗口,共48个半小时决策步。环境数据采用ECMWF ERA5再分析资料,标称场景使用2016–2025年11月平静天气数据,风暴场景由特拉蒙塔纳(Tramontana)事件驱动。所有策略仅在标称条件下训练,风暴场景仅用于评估迁移性能。对比方法包括MA-SRL、SRL(模式感知消融)、SPL-λ(自适应拉格朗日惩罚)、PPO+SPL、SAC、PPO、DDPG以及规则基EMS和MPC两种传统控制器。

三、主要研究结果

训练收敛与约束违反分析。 训练收敛追踪奖励、燃料成本和约束违反信号(CVS)三项指标。MA-SRL在奖励收敛至约62的最高平台,燃料成本稳定在约7300欧元的水平,CVS保持在约4的稳定低位。无约束基线CVS升至约18至24,SPL-λ收敛至约9,SRL稳定在约6。原始违反分解显示,MA-SRL将SOC和岸电违反降至零,剩余爬坡和功率平衡残差远低于所有基线,不可行步数从SRL的8步降至5步。
24小时调度案例研究。 标称航次中,MA-SRL协调DG、ESS和岸电,在两次中途港口停靠期间岸电承担大部分酒店负荷并支持ESS充电,SOC始终保持在安全范围内。风暴航次中,策略在扰动航行段适度降速以减轻推进需求,并在每次推进段前主动建立储能储备,SOC以更宽裕的余量远离下限。
对比结果。 标称场景下,MA-SRL同时取得最低运行成本和最低CVS。相比SAC、PPO和DDPG,成本高出13%至16.9%,CVS高出数倍。MPC和规则基EMS成本最高,分别高出8.9%和10.1%。风暴场景下,MA-SRL不再是最低成本(SAC达到可比成本),但保持所有方法中最低的CVS。配对统计检验表明,标称场景下成本和CVS优势对所有对比方法均显著。
第二艘船舶与航线复现。 在挪威沿海运营的维京能源号(Viking Energy)平台供应船上复现相同架构和设置,该船使用液化天然气发电机组,航线为蒙斯塔德基地至两座平台间的供应轮转。MA-SRL在两个场景中均为九种方法中成本最低者,标称6502欧元、风暴9456欧元,并保持最低CVS和最低距离亏欠。CVS排序完全复现渡轮结果:MA-SRL最低,SRL次之,SPL-λ随后,无约束基线和PPO+SPL高出四至八倍。

四、讨论与结论

研究结论表明,MA-SRL通过将执行层投影与训练期约束代价控制相结合,在模式依赖可行集下实现了安全高效的船舶IPS能量管理。SPL确保执行动作满足当前模式约束,李雅普诺夫更新将原始策略保持在低违反区域,两者协同使策略在保持可行性的同时实现经济优化。模式感知贡献显著:移除模式感知使标称成本增加4.5%、CVS从4.0升至6.0。该框架在第二艘船舶、不同电站配置、海域和运行模式下成功复现,验证了其泛化能力。SPL投影MIQP求解平均耗时毫秒级,远低于30分钟调度间隔,满足实时部署要求。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号