基于现实世界最优条件的、预定时间的分布式协作控制方法,用于直流微电网中的有源负载

《Neurocomputing》:Optimal IRL-based prescribed-time distributed cooperative control for active loads in DC microgrids

【字体: 大 中 小 】 时间:2026年05月07日 来源:Neurocomputing 6.5

编辑推荐:

  **论文标题:** 直流微电网中互联有源负载系统的预定时间分布式最优协作控制问题研究 **作者:** 费腾(Fei Teng)、王英春(Yingchun Wang)、刘阳(Yang Liu)、杨东升(Dongsheng Yang) **单位:** 东北大学信息科学与工程学

  **论文标题:** 直流微电网中互联有源负载系统的预定时间分布式最优协作控制问题研究
**作者:** 费腾(Fei Teng)、王英春(Yingchun Wang)、刘阳(Yang Liu)、杨东升(Dongsheng Yang)
**单位:** 东北大学信息科学与工程学院,中国辽宁沈阳,110819

**摘要:**
本文研究了直流微电网中主动负载系统的分布式最优控制问题。首先,基于多玩家差分图博弈构建了一个分布式框架,以实现分布式最优协作控制,从而实现有源负载之间的协调能量调节和电压恢复。其次,通过在线离策略积分强化学习(IRL)算法求解耦合的哈密顿-雅可比(HJ)方程,使得系统能够在不依赖系统动态的情况下收敛到纳什均衡。此外,还开发了一种基于邻域状态估计的动态事件触发机制和预定时间最优协作控制器,以实现系统的预定时间收敛,而无需连续的邻域信息,同时降低了通信需求。由于无法获得精确的最优值函数,为每个玩家设计了一个评论家神经网络(NN),通过求解耦合的HJ方程来近似最优值函数,从而实现实际上的最优控制。最后,对直流微电网中的有源负载系统进行了仿真研究,验证了所提出方法的有效性,证明了该方法在电力扰动下能够改善系统的动态调节和电压恢复性能。

**引言:**
直流微电网作为一种高效的现代配电系统解决方案正在兴起,因为它们与光伏和储能等基于直流的分布式电源具有天然的兼容性[1]。由于其固有的低惯性,当受到负载切换和可再生能源间歇性等电力扰动时,母线电压容易发生剧烈波动,这对系统稳定性构成重大威胁[2]。功率缓冲器通过电容器中储存的能量快速补偿短期负载变化,从而提高电力系统的稳定性[3]。因此,在负载侧引入具有功率缓冲能力的有源负载是提高直流微电网动态稳定性和电能质量的关键技术。这项研究受到了广泛关注,并取得了许多重要成果,详见[4]、[5]、[6]及其他引用文献。参考文献[4]为每个有源负载提出了一个博弈论性能函数,以确保其对本地和邻近负载的突然变化做出响应。参考文献[5]引入了一种分布式在线最优反馈控制策略,以优化方式稳定孤立直流微电网中的有源负载。参考文献[6]使用ADP算法解决了直流微电网中功率缓冲器的分布式控制问题,仅利用相关子系统的本地状态信息,无需全局系统状态知识。上述关于直流微电网中有源负载最优控制的研究要么是集中式的,要么是分散式的,每个有源负载都受限于本地状态信息,因此其全局优化性能有限,特别是对于由多个互连有源负载组成的大规模直流微电网。

许多网络控制系统,特别是微电网中有源负载的分布式控制系统[7],必须考虑计算资源和网络带宽的限制,这些限制会对通信效率和控制性能产生不利影响。事件触发机制通过仅在需要时分配通信资源,为这些挑战提供了有效的解决方案[8]、[9]。已经提出了几种重要的事件触发方法,如[10]、[11]、[12]。对于直流微电网,参考文献[13]提出了一种分布式事件触发动态平均共识机制,以节省网络带宽资源。参考文献[14]研究了在数据包丢失和传输延迟情况下不稳定微电网系统的事件触发有源负载控制方法。此外,参考文献[15]为多有源负载直流微电网系统的最优控制问题开发了一种自触发控制机制,减少了系统的通信和计算资源消耗。在上述研究中,主要关注的是减少功率缓冲器之间的不必要的状态信息传输,而忽略了系统瞬态收敛时间的精确调节。这导致微电网系统在响应负载扰动时的恢复速度不可预测,无法满足具有严格时间限制的关键应用的要求。快速且可预测的响应是系统韧性和可靠性的体现,这也是本文的目标之一。

在大型协作系统中,建立众多互连单元之间的可靠、高效和灵活的协调是一个重大挑战。在这种背景下,多智能体系统理论提供了一个强大的范式[16]、[17]。在直流微电网中,每个有源负载可以被视为具有决策能力的智能体。然而,由于每个智能体都旨在优化自身的性能,其决策会通过电网耦合影响其他智能体的状态,从而导致智能体之间的动态竞争和协作。
在没有协调的情况下,单个智能体的局部最优策略难以实现系统的整体最优。参考文献[18]提出的差分图博弈理论为解决此类问题提供了有效方法,并受到了广泛关注。它已被应用于四旋翼无人机群的形成跟踪控制[19]、自主船舶转向系统[20]以及孤立微电网的电压同步系统[21]。参考文献[22]将差分图博弈应用于多区域电力系统的LFC问题,维持系统内的功率平衡和频率稳定性。目前关于直流微电网中有源负载互连系统优化控制的研究仍然有限,更不用说通过协作控制实现全局优化了,这可能会影响系统的实时响应能力。在多智能体差分博弈框架内,张等人[23]和Mazouchi等人[24]使用神经网络(NN)近似哈密顿-雅可比(HJ)方程的解,有效解决了非线性、适应性和复杂性问题。

自适应动态规划(ADP)作为一种最优控制方法可以实现无模型控制[25],并在工业领域得到了广泛研究[26]、[27]。参考文献[28]研究了一种具有预定性能约束的强化学习(RL)最优控制方法,通过NN近似HJ方程。为了减少模型网络引起的不必要误差,王和穆[29]提出了积分强化学习(IRL)算法,用于车辆系统的巡航控制,以实现多个车辆系统的协同优化。尽管ADP为近似最优控制策略提供了有效框架,但其瞬态性能难以保证。在直流微电网等实际系统中,稳态最优性和瞬态行为都至关重要。最近,系统达到稳态之前的瞬态收敛行为受到了广泛关注,包括预定性能控制、固定时间控制和预定时间控制[30]、[31]、[32]。对于预定性能,参考文献[30]提出了一种具有预定性能控制的层次化安全RL方案,提高了四旋翼跟踪领导车辆的准确性。对于固定时间控制,参考文献[32]开发了一种固定时间并发学习算法,以确保系统在固定时间内收敛到有界区域。

**本文动机:**
受上述讨论的启发,本文通过多玩家差分图博弈框架研究了直流微电网中互联有源负载系统的预定时间分布式最优协作控制问题,并开发了一种IRL方法来获得无模型最优解。主要贡献包括:
1. 与现有的集中式和分散式有源负载控制方案不同,这些方案依赖于全局信息或仅限于局部优化,本文为直流微电网中的互联有源负载开发了一个分布式协作最优控制框架。该系统被构建为一个多玩家差分图博弈,从而将分布式协作控制问题转化为寻求纳什均衡的问题,并通过局部信息交换实现全局最优。
2. 为了解决对精确系统模型的依赖性和求解耦合HJ方程的难度,开发了一种在线离策略IRL算法。在此学习框架下,设计了一个评论家NN来近似时变价值函数,以避免直接求解由多玩家耦合引起的高维非线性偏微分方程(PDE)。
3. 为了确保直流微电网中的快速瞬态性能并减少通信负担,设计了一种基于邻域状态估计的预定时间协作最优控制器和动态事件触发机制。与依赖连续可用邻域信息的现有方法[22]、[33]不同,所提出的方法消除了对连续通信的需求,同时保证了收敛性能。

**论文结构:**
第2部分基于图论构建了有源负载系统的分布式协作控制框架,并介绍了预定时间知识。第3部分介绍了多玩家差分图博弈,并开发了在线离策略IRL算法以推导最优控制。第4部分设计了基于NN的实现方法和基于动态事件触发机制的预定时间控制器。第5部分报告了数值仿真结果,以证明所提方法的有效性。最后,第6部分得出了结论。

**符号说明:**
上标“-1”表示矩阵的逆。 表示负(正)定矩阵。 表示矩阵的转置。 表示向量范数或矩阵范数。 表示梯度运算符。 运算符表示列向量,运算符表示块对角矩阵。 表示最小特征值。

**图示例:**
考虑一个直流微电网,其通信拓扑由n个节点组成,表示为一个有向图G,其中N表示节点集,每个节点代表一个有源负载,E表示边集。每条边表示从一个有源负载到另一个有源负载的有向通信通道。邻接矩阵A为A = [e_ij],其中e_ij表示从节点i到节点j的边(i ≠ j)。如果存在从节点i到节点j的有向边,则A[i][j] = 1,否则A[i][j] = 0。节点i的邻居节点集N_i由N_i = {v ∈ N | e_ij ∈ E}定义,N表示图中除节点i之外的所有节点。

**差分图博弈的耦合HJ方程:**
由于直流微电网中的电气耦合和基于图的信息交换,每个有源负载的控制会影响其邻居的跟踪性能,这反映在耦合误差动态(5)中。因此,分布式协作控制问题被构建为一个多玩家差分图博弈,其中每个有源负载在考虑邻居交互的同时优化其局部索引。

**具有动态事件触发机制的预定时间最优控制:**
为了减少通信负担,采用了一种事件触发策略,使得每个玩家仅在离散的触发时刻传输其状态。值得注意的是,一些现有的事件触发方法依赖于事件间隔期间连续可用的邻域信息,这在严格的通信限制下限制了它们的实用性。本文重建了其邻域系统的状态信息,并评估了邻域跟踪误差。

**仿真:**
为了验证所提方法的有效性,考虑了一个包含3个有源负载的48节点直流微电网,其通信拓扑如图3所示,其中0表示领导节点。电路配置和参数在[35]中给出。当负载比例λ=1时,输出电阻R从88变为60,导致等效电阻R1、R2和R3发生变化。具体来说,R1从18.218变为12.2,R2从3.947变为3.894,R3从6.58变为6.52。

**结论:**
研究了直流微电网中互联有源负载的分布式最优控制问题。建立了一个分布式有源负载模型,并开发了一个基于多玩家差分图博弈的控制框架,以实现分布式协作最优控制,以及有源负载之间的协调能量调节和电压恢复。此外,设计了一种在线离策略IRL算法来独立于系统动态求解耦合的HJ方程。

**作者贡献声明:**
费腾(Fei Teng):撰写——原始草案,软件实现。
王英春(Yingchun Wang):监督,资金获取。
刘阳(Yang Liu):撰写——审阅与编辑。
杨东升(Dongsheng Yang):验证,形式分析。

**利益冲突声明:**
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

**致谢:**
本研究部分得到了中国国家自然科学基金(项目编号62573103)的支持,部分得到了中国国家重点研发计划(项目编号2022YFB4100800)的支持。

**作者简介:**
费腾(Fei Teng)2002年出生于中国山东。2024年获得鲁东师范学院学士学位,目前在中国沈阳的东北大学信息科学与工程学院攻读硕士学位。她的研究兴趣包括微电网优化控制、强化学习、多智能体系统和事件触发控制。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号