基于软演员-评论家算法的直流微电网混合储能系统复合滑模控制参数自适应方法

《Journal of Energy Storage》：Soft actor–critic-based parameter adaptation for composite sliding mode control of hybrid energy storage systems in direct current microgrids

　　

### 主要贡献

- 一种将复合滑模控制（CSMC）与非线性扰动观测器（NDO）相结合的协同控制框架，用于直流（DC）微电网。
- 在SCALEXIO HIL平台上对SAC辅助参数自适应进行实时硬件在环（HIL）验证。
- 一种分层奖励方案，兼顾暂态鲁棒性与稳态精度。
- 一种去中心化策略，实现基于频率的自主功率分配。

### 引言

随着可再生能源并网需求和能效最大化需求的日益增长，全球能源格局正在经历根本性变革。近期研究强调了可再生能源集成与储能利用在提升能效和系统灵活性方面的重要性[1]。相关研究进一步探讨了能源集成与系统级优化，以改善能源系统的高效运行[2]、[3]。在此背景下，直流（DC）微电网因其精简的功率变换流程、较低的传输损耗以及与现代电子负载的天然兼容性而成为一种优选架构[4]、[5]。然而，直流微电网的可靠性在很大程度上取决于其母线电压的鲁棒调节。这一目标面临两大主要挑战：可再生能源出力的间歇性以及恒功率负载（CPL）的广泛普及[6]。CPL具有负增量阻抗特性，能够在电压波动时持续汲取恒定功率，从而严重削弱系统阻尼。这种行为会导致大信号稳定性问题，其缓解难度远大于传统的小信号扰动[7]。

为抑制功率波动并确保系统稳定，混合储能系统（HESS）——通常由高密度蓄电池与高功率密度超级电容器组成——变得不可或缺[8]。然而，HESS的有效性依赖于先进的控制策略。这些策略必须能够动态协调异构储能单元之间的功率分配，同时针对CPL引发的扰动和外部干扰维持鲁棒的母线电压调节。近期的电池-超级电容器（SC）研究探讨了在以变流器为主的条件下协调电压支撑与功率管理[9]、[10]、[11]，分布式储能功率分配也在直流微电网互联变流器中得到验证[12]。

可再生能源出力与负载不确定性下的微电网运行催生了鲁棒且自适应的调度策略[13]、[14]。然而，这些系统级协调研究并未直接解决CPL供电直流微电网中变流器级的大信号母线电压调节以及电池-超级电容器动态分配问题。

关于包含HESS和CPL的直流微电网控制策略的现有文献，大致可分为集中式、分布式和去中心化架构。针对直流微电网中的储能系统，已研究分布式协调[15]和去中心化控制[16]。分布式能量管理方法进一步考虑了非理想通信和边缘辅助协调在多能系统中的应用[17]、[18]。分布式方案在本地控制器之间交换信息，动态事件触发协议可在网络约束下减少通信需求，同时保持分布式电压/频率恢复能力[19]。分布式最优控制也已扩展应用于互联的交流/直流微电网群组[20]。因此，仅依赖本地测量的去中心化策略因其内在可靠性和简洁性而备受关注。在该领域内，下垂控制是一种广泛用于功率分配的解决方案[21]。然而，传统下垂结构的线性特性使其无法处理由CPL引发的大信号非线性扰动。此类扰动可能导致系统显著偏离其标称工作点，进而引发不稳定。对于即插即用式的HESS运行，剩余的挑战在于：当异构储能单元被添加或移除时，如何在不依赖集中式重新整定的情况下保持母线电压调节和可预测的功率分配关系。鉴于线性下垂控制在大偏差工况下的局限性，模型驱动的非线性方法提供了重要的理论基础。基于观测器的复合反步控制[22]和改良反步滑模控制（SMC）[23]为HESS和直流微电网调节提供了系统化设计方案。大信号研究涉及船舶直流微电网中的电池动态特性、动态微电网重构以及级联变流器系统[24]、[25]、[26]。补充性工作考察了SMC中的开关行为[27]以及面向为CPL供电的光伏-风电-HESS直流微电网的基于观测器的超螺旋控制[28]。非线性扰动观测器（NDO）可估计集总不确定性以实现补偿，而复合滑模控制（CSMC）将该估计值与鲁棒反馈律相结合。在HESS协调层面，模型预测控制（MPC）提供了去中心化稳定化以及电池-超级电容器协调方案[29]。基于观测器的自主SMC和基于扰动观测器的积分SMC将扰动估计与非线性变流器调节相结合[30]、[31]。复合SMC也被设计用于应对未知CPL的变流器控制[32]。自适应及鲁棒自适应复合方案将此方向扩展至降压和升压变流器应用[33]、[34]。对于固定参数实现方案，控制器设置必须覆盖较宽的运行范围：在轻微扰动下，按最坏情况调参可能过于保守，而较不保守的设置则在工况大幅变化时可能提供不足的安全裕度。

为增加自适应能力，深度强化学习（DRL）提供了一种广泛的数据驱动决策方法。在电力电子控制领域，深度确定性策略梯度（DDPG）和双延迟深度确定性策略梯度（TD3）方法已被应用于逆变器和多输入多输出DC-DC变流器[35]、[36]。在该更广泛的类别中，本文框架所采用的具体算法为软演员-评论家（SAC）。SAC也被用于具备预测感知的风电-储能调度[37]以及功率变流器的预测控制[38]。其他基于学习的研究涉及为CPL供电的变流器和直流微电网的大信号稳定化及参数自配置[39]、[40]。一项近期的基于学习的变流器研究采用最大熵SAC演员-评论家框架实现主动扰动抑制控制[41]。在本工作中，SAC演员在网络进行离线训练。部署时，使用固定的网络权重推断所选控制器参数的有界增量。因此，SAC的输出是一个监督调度信号，而非变流器的占空比。

现有研究分别解决了模型驱动的母线调节、电池-超级电容器功率分配和基于学习的参数调整问题，但这些功能通常是独立开发的。剩余的差距在于：在一个CPL供电的HESS架构中协调实现这些功能，该架构包含NDO-CSMC电压控制环、有界SAC参数调度和无需通信的电池-超级电容器功率分配。因此，本研究旨在调节直流母线电压、抑制CPL引发的扰动效应，并协调动态功率分配，同时保留基于模型的占空比控制律。

本文的主要贡献如下。

1. 开发了一种NDO辅助的复合滑模控制架构，用于CPL供电的HESS微电网中的大信号直流母线调节。通过将扰动重构嵌入基于模型的非线性控制环，所提出的结构能够补偿集总功率扰动，而无需单纯依赖保守的高切换增益。

2. 通过将虚拟电阻和虚拟电容与本地重构的功率信息相结合，建立了一种无需通信的电池-超级电容器协调机制。由此产生的频率分离分配策略将慢速和快速功率分量分别分配给电池和超级电容器，并在异构多单元HESS配置中保持规定的分配关系，且无需单元间通信。

3. 引入了一种离线训练的SAC监督调度器，用于在线自适应调整所选CSMC增益，同时保持固定的网络权重和基础的基于模型的占空比控制律。分层奖励方案在强暂态修正与低稳态控制负担之间取得平衡，SCALEXIO HIL测试验证了所生成的监督调度过程的实时执行能力。

### 论文结构

本文的组织如下：第2节介绍模型与控制目标；第3节开发NDO-CSMC和去中心化分配律；第4节介绍基于SAC的参数调度；第5节报告数值仿真和HIL验证结果；第6节讨论适用范围与局限性；第7节总结全文。

### 系统建模与问题描述

集成混合储能系统的直流微电网拓扑如图1所示。HESS由电池和超级电容器（SC）单元组成，与光伏（PV）阵列和风力涡轮机等可再生能源协同工作。直流母线为各类负载供电，主要可分为阻性负载和CPL。CPL具有负增量阻抗特性，无论母线电压如何波动，均汲取恒定功率。典型的例子包括精密仪器...

### 鲁棒复合控制器设计

本节提出一种CSMC算法，以应对CPL引发的稳定性挑战。所提出的框架协同集成了基线滑模控制器与NDO，以确保针对大信号扰动的鲁棒性能。

### 分层控制架构

控制架构如图3所示，包含一个基于模型的控制层和一个监督参数调度层。NDO-CSMC层生成变流器的占空比，并提供定理1中建立的固定参数稳定性特性。SAC策略作为监督参数调度器，根据测量的系统状态生成所选控制器参数的有界更新量。这种安排保留了基于模型的控制律，同时引入了...

### 仿真与HIL验证结果

为评估所提方法在动态响应、参考跟踪和抗大信号扰动鲁棒性方面的性能，进行了时域仿真。采用所提控制器的直流微电网拓扑遵循图1，详细系统参数列于表2。数值评估在MATLAB R2024a中实现，涵盖CPL阶跃变化、源侧扰动、参数不确定性和HESS功率分配条件。

所有三个场景均采用...

### 主要结果解读与对比

图4、图5、图6、图7、图8、图9、图10中的结果展示了四个功能层在不同时间尺度上的贡献。如图4所示，NDO跟踪了CPL引发的主导集总扰动，使CSMC能够抵消不稳定的负载效应，而无需单纯依赖保守的高切换增益。图5中的参数轨迹表明，离线训练的SAC策略在...时通过在线推断改变所选的控制器设置。

### 结论

本文提出了一种用于采用HESS的直流微电网的新型协同控制框架，有效解决了由CPL引发的不稳定性问题。通过将基于NDO的CSMC与深度强化学习（DRL）智能体相结合，所提出的方法有效地调和了大信号鲁棒性与动态自适应之间的内在矛盾。基于模型的NDO-CSMC层提供集总扰动估计与补偿以及直流母线电压调节，而一种无需通信的...

### CRediT作者贡献声明

**Yang Jun**：撰写——审阅与编辑，撰写——初稿撰写，方法论，资金获取，概念构思。

**Lv Chunpeng**：撰写——审阅与编辑，撰写——初稿撰写，可视化，验证，方法论。

**Liu Yingman**：撰写——审阅与编辑，可视化，验证，软件。

**Wang Shunjiang**：撰写——审阅与编辑，软件，资源。

### 利益冲突声明

作者声明不存在已知的利益冲突或个人关系可能影响本文所报告的工作。

Yang Jun | Lv Chunpeng | Liu Yingman | Wang Shunjiang