《Energies》：Deep Reinforcement Learning-Based Energy and Power Management for Ships: A Perspective Review of Methods and Applications
编辑推荐：
能量与功率管理系统（EMS/PMS）对电动推进船舶至关重要，影响推进性能、燃料消耗、排放和部件寿命。随着船载电力系统集成异构能源资源并面临非线性、不确定的负载需求和多源交互，深度强化学习（DRL）已成为船载EMS/PMS中有前景的自适应序贯决策工具。本研究视角
能量与功率管理系统（EMS/PMS）对电动推进船舶至关重要，影响推进性能、燃料消耗、排放和部件寿命。随着船载电力系统集成异构能源资源并面临非线性、不确定的负载需求和多源交互，深度强化学习（DRL）已成为船载EMS/PMS中有前景的自适应序贯决策工具。本研究视角通过包含功率调度、能量协调和运行策略的分层决策框架回顾了DRL研究。大多数研究集中于实时功率调度，而新兴研究通过多源合作、多目标运行、退化感知和不确定性处理来解决能量协调问题。然而，尽管运行策略在速度控制、航线感知规划、预测运行和航次调度中具有重要作用，但其仍未被充分探索。研究人员认为，未来的船载EMS/PMS应在所有三个决策层采用集成的分层DRL框架，利用DRL在动态环境中序贯策略学习的优势，并支持多时间尺度决策。研究人员阐明了当前研究趋势，识别了差距，并概述了面向下一代电动推进船舶自适应、可靠和自主船载EMS/PMS的未来方向。
**论文解读文章**
**研究背景与问题**
随着国际海事组织（IMO）温室气体减排战略和能效法规的严格实施，海事行业正加速向低碳、高效推进系统转型。传统化石燃料推进系统逐渐被电气化和混合动力船载电力系统取代，这类系统集成了柴油发电机（DG）、燃气轮机发电机（GTG）、燃料电池（FC）、储能系统（ESS）、可再生能源和岸电。然而，船载电力系统作为孤立或移动微电网，面临时变负载、非线性效率、不确定航况和冲突目标等挑战，使得能量与功率管理系统（EMS/PMS）的优化问题呈现高维、非线性和多目标特性。现有方法如基于规则的控制、启发式调度、模型预测控制（MPC）、动态规划（DP）和等效消耗最小化策略（ECMS）虽提供基础，但受限于预定义逻辑或需要精确数学模型且在线计算负担高。深度强化学习（DRL）通过与环境交互学习序贯控制策略，展现出适应不确定性和非线性的潜力，但现有DRL研究在船载EMS/PMS中的应用分散于发电机调度、ESS充放电控制、FC/电池功率分配等独立任务，缺乏集成视角。为此，研究人员开展本综述，旨在通过分层决策框架重新诠释DRL研究，识别差距并提出未来方向。论文发表在《Energies》。
**关键技术方法**
研究人员通过文献检索（关键词组合包括“shipboard EMS”“shipboard PMS”“deep reinforcement learning”等）筛选相关研究，基于分层决策框架将DRL研究分为功率调度、能量协调和运行策略三个决策层，并从马尔可夫决策过程（MDP）制定、DRL算法结构、目标与奖励设计及验证方法等方面进行方法论分析。
**研究结果**
**功率调度（Power Dispatch）**
功率调度是最基础的执行层，关注实时源级输出控制，如发电机功率、FC输出、ESS充放电功率及功率分配比。通过分析Shang等（2023）提出的DQN（深度Q网络）调度策略、Guo等（2023）的DDPG（深度确定性策略梯度）方法以及Ahmadi等（2023）的零排放渡轮连续功率流优化，研究人员得出结论：功率调度是当前最活跃的研究层，因状态、动作和奖励定义清晰（负载需求、源输出、SOC、燃料消耗等），但仅涉及短期执行控制，缺乏高层决策。
**能量协调（Energy Coordination）**
能量协调是介于功率调度与运行策略之间的中间层，关注多源资源的协同利用、优先级管理和系统级性能提升。通过分析Reddy等（2024）的健康感知FC/电池能量与排放管理、Li等（2026）的TD3（双延迟深度确定性策略梯度）甲醇发动机-电池协调以及Fan等（2024）的LSTM（长短期记忆网络）增强DRL氢混合船研究，研究人员得出结论：能量协调扩展了功率调度，涵盖源优先级、退化感知、排放降低和不确定性鲁棒性，但仍未完全解决速度规划、航线选择等航次级决策。
**运行策略（Operational Strategy）**
运行策略是最高的决策层，涉及航次级规划，如航行速度、航线条件、任务调度和法规合规。通过分析Shang等（2024）的IMPALA-RND多任务DRL联合优化发电与航次调度、Xiao等（2023）的DQN知识蒸馏压缩算法以及Alshareef和Alghanmi（2024）的法规感知船舶运行优化，研究人员得出结论：运行策略与未来自主船舶运行最相关，但面临长时域奖励设计、稀疏反馈、真实航次数据需求和高维不确定性等挑战，是当前最不成熟的研究层。
**总结讨论与结论翻译**
讨论部分总结了研究趋势：大多数DRL研究集中于功率调度层，近期向能量协调扩展，而运行策略层仍未被充分探索。研究差距包括：真实世界验证不足、泛化性与可扩展性差、安全与可靠性要求未充分解决、可解释性不足、多时间尺度集成决策不成熟。未来方向应优先发展集成分层DRL框架，连接三个决策层；加强真实验证（如硬件在环测试、实船试点）；集成预测与数据驱动方法；开发安全感知、鲁棒和健康感知DRL；增强可解释性与人机协作；利用数字孪生进行生命周期验证；建立基准数据集和评估协议。实际部署需考虑实时执行、系统集成、安全备份、法规合规、数据管理与网络安全及经济可行性。
翻译研究结论部分：
本文系统性地回顾了基于深度强化学习（DRL）的船载能量与功率管理系统（EMS/PMS）研究，并将其重构为三个决策层：功率调度、能量协调和运行策略。超越传统的以算法为中心的分类，这一分层视角阐明了DRL如何应用于船载能量与功率管理以及该领域如何演变。综述揭示，大多数研究集中于功率调度，近期向能量协调扩展。相比之下，运行策略仍未被充分探索，尽管其在连接EMS/PMS与速度控制、航线感知规划、预测运行和航次调度方面具有重要性。核心启示是，这三个决策层不应被独立处理。未来的基于DRL的船载EMS/PMS应是一个集成的分层决策框架，其中运行策略提供航次级规划和预测指导，能量协调管理多源能量流和运行优先级，功率调度在系统约束下执行实时功率分配。该结构非常适合DRL，因其在动态环境中进行序贯策略学习，并支持跨短期、中期和长期操作的多时间尺度决策。为实现这一转变，未来研究应超越孤立的算法比较，解决真实世界验证、泛化性、安全性保障、可解释性、法规合规和工业部署需求。因此，DRL应从独立的控制方法演变为与现有船载EMS/PMS、保护系统、操作人员和数字基础设施协同工作的实用智能层。从方法论角度，本综述强调，基于DRL的船载EMS/PMS的有效性不仅取决于学习算法的选择，还取决于MDP和奖励函数的制定。MDP制定正趋于整合更丰富的运行上下文和预测信息，DRL算法从基于值的方法向连续控制和分层架构发展，奖励设计则从纯经济目标转向多目标制定，共同考虑运行成本、排放、部件退化、运行约束和航次级性能。总体而言，DRL在支持自适应、预测和自主船载EMS/PMS方面具有强大潜力，但其实际价值在于将实时调度、多源能量协调和航次级运行策略整合为一个连贯、可靠的船载决策系统。所提出的分层视角为推进下一代绿色和自主船舶能量管理技术提供了基础。
