《International Journal of Hydrogen Energy》：Energy management for hydrogen refueling stations: A synergistic approach of cascade compression architecture and deep reinforcement learning
编辑推荐：
本研究面向加氢站（HRS）能量管理，提出了一种将宏观经济调度与微观热力学控制直接耦合的协同框架。在物理层面，设计了一个三级级联压缩（CC）架构以替代传统单级压缩系统，旨在缓解压缩过程中显著的热力学能量浪费。基于该CC架构，将变频驱动（VSD）、智能旁路控制（I
本研究面向加氢站（HRS）能量管理，提出了一种将宏观经济调度与微观热力学控制直接耦合的协同框架。在物理层面，设计了一个三级级联压缩（CC）架构以替代传统单级压缩系统，旨在缓解压缩过程中显著的热力学能量浪费。基于该CC架构，将变频驱动（VSD）、智能旁路控制（IBC）、动态中间冷却（DI）和自适应压力控制（APC）四种工业优化技术协同集成于压缩系统中。在算法层面，研究人员通过对比实验从多种深度强化学习（DRL）算法中确定了深度确定性策略梯度（DDPG）算法，并为其设计了6维连续动作空间与11维状态空间，以实现对HRS各组分的高效协调。定量评估表明，三级基础架构相较于单级基线将平均利润提高了22.4%；在DRL控制下，三级CC系统在朴素三级配置的基础上额外获得了41.6%的利润增长。全因子消融研究显示，四种技术的完全协同（L4）较朴素基线（L0）将系统利润提高了75.7%。此外，完整的6维DRL控制策略较基于规则的基线实现了20.7%的独立利润增长。
随着绿色能源产业的发展和碳中和目标的推进，氢燃料电池电动汽车（FCEV）因环保、续驶里程长和加注快速等优势而受到广泛关注，全球FCEV市场以超过23%的速率增长。加氢站（HRS）作为将氢源加工为所需压力氢气并服务FCEV用户的关键基础设施，通常包含氢气生产、压缩、储存和加注四个环节。受氢气体积密度低的物理限制，压缩过程是HRS中最关键且最耗能的环节。传统单级压缩系统将氢气从约2 bar直接加压至约700 bar，在HRS总运行能耗中占比可高达48%，且极高的压力比会指数级升高出口温度，造成大量热力学耗散和潜在部件损坏。过去HRS利用率低，该问题不突出；而今FCEV保有量增加导致运行负荷显著上升，提高压缩效率以降低HRS成本成为迫切需求。现有能量管理研究多将压缩机简化为线性功率负荷，忽视部分负荷下压缩效率退化等非线性热力学惩罚；同时，鲜有研究将多级级联压缩架构与多种工业优化技术进行协同集成；此外，多级压缩与动态物理参数的协调导致控制空间维度急剧上升，传统规则控制难以充分挖掘节能潜力。
针对上述空白，研究人员提出了一种将宏观经济学调度与微观热力学控制直接耦合的HRS能量管理框架。物理层面，设计了三级级联压缩（CC）架构，将压力路径设为2 bar→35 bar→500 bar→700 bar，替代传统单级压缩；并在该架构中协同集成了变频驱动（VSD）、智能旁路控制（IBC）、动态中间冷却（DI）和自适应压力控制（APC）四种工业技术。算法层面，研究人员在六种深度强化学习（DRL）算法中进行对比实验，最终选取深度确定性策略梯度（DDPG）算法，并设计了6维连续动作空间和11维状态空间，以同时协调电解槽、燃料电池等宏观功率调度和压缩机组的微观参数设置。主要结论包括：三级基础架构相较单级基线平均利润提高22.4%；DRL控制下的三级CC系统在朴素三级配置基础上利润额外提高41.6%；四种技术完全协同（L4）较朴素基线（L0）利润提高75.7%；完整6维DRL控制较基于规则的利润导向基线提高20.7%的利润。
关键技术与方法方面，研究人员采用了以下主要技术手段。首先，针对三级级联压缩系统建立热力学模型，基于理想气体等熵方程计算压缩功率、出口温度和热负荷；其次，集成四种工业技术，其中VSD通过负载率动态映射等熵效率，IBC利用旁路比例实现被动输气，DI在安全范围内动态调节中间冷却温度，APC依据FCEV队列平均SOC调整末级压力并满足SAE J2601协议；再次，将HRS能量管理问题建模为马尔可夫决策过程（MDP），状态向量含11维变量，动作向量含6维连续变量，奖励函数综合收入、购电成本和惩罚项；最后，采用DDPG算法进行训练，并与PPO、A2C、REINFORCE、SAC、TD3等其他算法比较。实验数据中，市场与气象数据来自Tian等人的历史数据集（15分钟分辨率），FCEV到达需求由非齐次泊松过程合成。
研究结果分为四个部分。在级联架构部分，研究人员对比了1级、2级、3级朴素配置和3级Smart配置，发现随着压缩级数增加，平均每回合利润稳步上升：2级朴素较1级基线利润提高13.0%，3级朴素较2级提高8.3%。将完整DRL智能体和四种工业技术集成到3级Smart配置后，平均奖励达到-21.2，平均利润较1级朴素基线提高约73.3%，较3级朴素提高41.6%。这表明三级CC架构本身能提升系统利润，而结合工业技术后可进一步提升。在技术协同部分，通过对四种技术进行全因子消融设计（共16组，分为L0至L4五个层级），发现L0平均奖励最低（-70.5），从L1到L3奖励逐级上升，L4达到最高（-16.3）。在L1单技术阶段，DI带来最高利润提升，较L0提高25.0%；最优双技术组合（VSD+DI）较基线提高44.7%；最优三技术组合（VSD+DI+IBC）提高62.6%；L4全协同达到峰值，平均利润提高75.7%，并分别较L1、L2、L3最优配置高出40.6%、21.4%、8.1%。移除DI、VSD、IBC、APC造成的利润损失分别为16.6%、
