具有动态约束的多簇聚合游戏的分布式在线学习
《Neurocomputing》:Distributed online learning for multi-cluster aggregative games with dynamic constraints
【字体:
大
中
小
】
时间:2026年04月21日
来源:Neurocomputing 6.5
编辑推荐:
莫立波|张欣|王臻|郑远志
北京五济大学系统科学研究所,北京,101149,中国
摘要
本文研究了多簇聚合游戏框架中的分布式在线学习机制。在同一簇内,玩家合作以优化他们的共同目标,而不同的簇可以被视为参与非合作游戏的虚拟玩家,以最小化各自的簇成本函数。每个玩家的成本
莫立波|张欣|王臻|郑远志
北京五济大学系统科学研究所,北京,101149,中国
摘要
本文研究了多簇聚合游戏框架中的分布式在线学习机制。在同一簇内,玩家合作以优化他们的共同目标,而不同的簇可以被视为参与非合作游戏的虚拟玩家,以最小化各自的簇成本函数。每个玩家的成本函数受到其自身决策和所有玩家全局决策形成的聚合项的影响。此外,每个簇的局部约束会随时间变化。本文介绍了互联的全局和簇内时变通信网络,提高了玩家之间的信息交换效率。提出了一种基于投影梯度下降方法和共识跟踪协议的离散时间策略来寻找纳什均衡。所提出的算法确保在每个时间点,玩家的决策都保持在相应的时变约束集范围内。此外,同一簇内的决策达成共识并收敛到纳什均衡。单向豪斯多夫距离被用来衡量簇约束的变化,并建立了一个累积约束集变化的次线性上界来描述这些变化的模式。理论分析为这种在线多簇聚合游戏提供了动态遗憾的次线性上界。最后,在智能电网应用上的仿真实验验证了算法的性能。
引言
近年来,关于通信网络中玩家或代理之间的竞争与合作的研究非常广泛。例如,在分布式非合作游戏中,每个玩家策略性地调整其决策以降低自身成本,同时引导整个系统朝向纳什均衡(NE)或广义纳什均衡(GNE)[1][2][3][4][5][6][7]。分布式优化理论研究代理如何协作以最小化所有代理的总成本[8][9][10][11][12][13]。具有多个簇的非合作游戏模型允许合作与竞争共存[14][15][16][17][18][19][20][21][22]。它从簇的角度分析了多代理行为:簇内的个体合作最小化他们的集体成本,而每个簇作为一个虚拟玩家参与非合作游戏,每个个体是实际决策者,即簇内合作优化和簇间非合作游戏。一个典型的例子是智能电网[23],其中微电网优化内部能源分配,同时在集中式电厂设定的电价方面相互竞争。这种多簇游戏框架也可以应用于其他领域,如医疗网络[24]、电力管理[25]等。
在动态环境中,玩家的资源或技术可能随时间变化。时变成本函数或约束通常只在做出决策后才会显现[12][13][26][27][28][29]。这样的在线设置增加了博弈论分析的复杂性,目前关于分布式在线多簇游戏的研究很少[19][30][31][32]。在Xu等人的研究中[19],时变成本函数是未知且非凸的。玩家仅在其自身簇内进行通信,并可以监控其他簇中玩家的决策。[30]在双层无向通信网络下结合了时变成本函数和时变耦合不等式约束,其中簇内的优化取决于全局游戏中的决策。基于双层网络结构,Yu等人的工作[31]研究了不平衡的有向图和静态局部约束。另一项研究[32]也考察了时变不等式约束,并使用延迟算法进一步分析了多簇游戏。与直接监控的方法[14][15][18][19]相比,采用双层网络结构[22][30][31][32]更好地反映了分布式算法的特性。然而,要求玩家在两个网络层上进行通信可能导致冗余或复杂性——例如,同一簇内的两个玩家可能只交换一种类型的信息,或者以不同的权重交换两种类型的信息。基于这些观察,本文采用了允许同一簇内的玩家通过连接路径以相同权重传输多种类型信息的通信机制,从而提高了网络效率。
在线聚合游戏是一类非合作游戏,其中玩家的单变成本函数由私人决策和受所有参与者集体决策影响的聚合项共同决定[2][26][27]。在多簇框架内分析聚合游戏更符合实际情况,其中竞争与合作同时存在。在现实世界中,个体不仅参与竞争性互动,还表现出与同一簇内其他成员的合作行为,这在简化的博弈论模型中常常被忽视。例如,在电力市场中,个别用户的过度用电会增加整个簇的总成本,从而间接增加每个用户的成本。因此,同一簇内的个体必须合作以最小化整个簇的成本。同样,在物联网的资源分配中,传感器节点也表现出优化和竞争的共存,即节点合作提高资源利用效率,同时为有限的资源而竞争。尽管多簇聚合游戏具有广泛的适用性,但相关研究仍然相对较少[35]。 [35]分析了离线多簇聚合游戏,并为一阶和二阶积分器型系统开发了连续时间算法来寻找纳什均衡,主要考虑了簇内形成的聚合函数。受到我们对现实世界应用中时变和动态特性的观察,本研究将框架扩展到更一般的在线多簇聚合游戏设置。所研究的聚合项由所有簇玩家的决策共同决定。与[31]不同,其中簇内的决策可能不一致,本文确保同一簇内的玩家通过簇内互动[18][20][22][33][34]达成决策共识,即通过簇内决策共识约束。本文对簇内决策和全局聚合项的双重一致性要求对分布式在线算法和连接网络提出了挑战。我们设计了离散时间投影梯度下降和共识跟踪算法来寻找纳什均衡并估计聚合项,这些方法广泛应用于博弈和优化算法中。
在在线设置中,玩家的约束集可能随时间演变,主要分为局部约束和时变耦合不等式约束[19][30]。 [19][30]研究了具有时变耦合不等式约束的在线多簇游戏,分别提出了使用投影梯度下降的在线耐延迟GNE学习算法和在线原始-对偶动态镜像下降算法。与耦合约束[7][13]不同,[7]探讨了在线游戏和优化中的时变局部约束,其中一个假设捕捉了多样的约束变化模式。不同簇之间的资源技术是异构的,并且经历了动态演变。这本质上需要分析其约束集的动态变化。本研究考察了在线多簇聚合游戏框架,其中每个簇的局部约束随时间演变。我们的主要贡献如下:
(1) 本文建立了一个更通用的在线多簇聚合游戏框架。与只考虑玩家之间竞争关系的在线聚合游戏[26][27]相比,本文引入了一个同时存在竞争和合作的多簇框架,适用于大规模多代理系统,并提供了一个互联的双层网络来传输簇内和簇间信息。
(2) 与仅考虑静态局部约束的在线多簇游戏[13][30]不同,本文中簇的局部约束随时间演变。引入了单向豪斯多夫距离来衡量约束集的变化,其累积值受次线性上界的限制。此外,算法中使用投影算子确保更新后的决策始终在时变约束集范围内,从而避免约束违规。
本文的结构如下所述。第2节介绍了理论基础,包括在线多簇聚合游戏、图论和问题表述。第3节发展了所提出的算法并推导了主要理论结果。第4节通过智能电网模拟验证了算法的有效性。第5节给出了最终结论。
符号说明:整数集表示为 , 和 。 和 用于表示单位矩阵和所有元素都为一的列向量。 表示 维向量空间。让 , 和 分别表示克罗内克积、标准欧几里得范数和内积。我们使用 和 来表示对角矩阵和列向量,其中 , ,是对角矩阵的对角元素。 和 分别表示 关于两个变量 和 的局部梯度。
**部分摘录**
**初步内容和问题描述**
本节提供了一些基础,包括在线多簇聚合游戏理论和通信框架。
**主要结果**
在在线多簇聚合游戏中,我们假设每个玩家在做出决策时只能访问其私有信息,例如 , 和 。此外,玩家无法直接了解全局信息,如 和 。为了解决问题(1),我们采用了投影梯度下降方法来寻找纳什均衡,其中步长是非递增的,并且决策变量在每个时间点都被投影以防止违反相应的时变约束。
**数值模拟**
考虑智能电网系统中的需求响应管理场景,有三种不同类型的电力消费簇,每个簇中有五个参与者。簇1包括住宅用户,簇2由商业用户组成,簇3包括工业用户。不同簇的电力消费约束受到它们各自簇类型的影响。图2描述了三种时变通信网络。
**结论**
本文研究了具有时变约束的在线多簇聚合游戏中寻找纳什均衡的问题。玩家被分成多个簇,他们的时变成本函数受到全局决策形成的聚合项的影响。采用了通信网络,其中簇内网络基于全局网络构建,从而提高了玩家之间的信息交换效率。基于CRediT的算法...
**作者贡献声明**
莫立波:撰写 – 审核与编辑,撰写 – 原稿,方法论,资金获取,概念化。
张欣:撰写 – 审核与编辑,撰写 – 原稿,验证,方法论。
王臻:撰写 – 审核与编辑,验证,概念化。
郑远志:可视化,方法论,调查。
**利益冲突声明**
作者声明他们没有已知的竞争财务利益或个人关系可能会影响本文报告的工作。
**致谢**
本研究得到了国家自然科学基金(62473009)的支持。
莫立波于2003年在中国石河子大学数学与应用数学系获得理学学士学位,2010年在中国北航大学数学与系统科学学院获得纯数学博士学位。目前,他是中国北京五济大学系统科学研究所的教授。他的研究兴趣包括随机系统、多代理系统的协调控制和分布式...
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号