一种基于图(Graph)的多智能体(Multi-Agent)方法:利用强化学习(Reinforcement Learning)进行风电场流场控制(Wind Farm Flow Control)

《Renewable Energy》:A graph-based multi-agent approach for Wind Farm Flow Control using reinforcement learning

【字体: 大 中 小 】 时间:2026年05月21日 来源:Renewable Energy 9.1

编辑推荐:

  随着风力机发电,其从气流中提取能量并产生尾流(wake),即机舱后方速度较慢且湍流度较高的区域。这些尾流会遮挡下游风力机,导致功率降低。风电场流场控制(Wind Farm Flow Control, WFFC)优化了风场内所有风力机的设置,以实现场级目标,例如

  
随着风力机发电,其从气流中提取能量并产生尾流(wake),即机舱后方速度较慢且湍流度较高的区域。这些尾流会遮挡下游风力机,导致功率降低。风电场流场控制(Wind Farm Flow Control, WFFC)优化了风场内所有风力机的设置,以实现场级目标,例如最大化总发电量。尾流转向(wake steering)是一种流行的WFFC技术,其中上游风力机进行偏航(yaw)以使转子与来流风错位,从而将其尾流偏转远离下游邻近风力机。在此,研究人员开发了一种新方法,将强化学习(Reinforcement Learning, RL)算法与图神经网络(Graph Neural Network, GNN)相结合,以得到一个针对尾流转向优化的风力机级智能体(agent)。在一系列风向下的九台风力机风场上训练后,该智能体在该风场上实施了成功的尾流转向,在四种风向下获得了超过10%的场功率增益。使用图神经网络意味着该智能体可以应用于不同的布局,并且在46台风力机的风场上比贪婪控制(greedy control)获得了12%的场功率增益。研究人员使用此方法训练的智能体,与同期工作中针对特定风场的智能体在三种布局上进行对比,在显著降低总体训练时间的情况下,获得了相当的场功率增益。
论文解读:基于图神经网络与强化学习的风电场流场控制多智能体方法
本研究发表于《Renewable Energy》。随着风能作为首要可再生能源技术的持续发展,其装机容量逐年增长,截至2024年约占可再生能源总装机容量的四分之一。风电场通常采用网格模式布局以提高面积利用率,但当风力机从环境风流中提取能量时,会在机舱下游产生数个转子直径(约15或20倍)的低速流动区域,即尾流(wake)。上游风力机的尾流会影响下游邻近风力机,使其在更慢、更湍流的来流中运行,从而导致功率降低(假设风速低于额定风速),并可能因疲劳载荷累积更多损伤。
在运行控制中,标准“贪婪”(greedy)控制定期调整各风力机的控制参数以确保各自最大化其功率生成,而不考虑周围风力机,此时偏航偏移(yaw offset,即机舱与来流风之间的夹角)保持在0°,即风力机正对来流,这虽是个体积优化场景,却往往牺牲了下游风力机的功率生产。风电场流场控制(Wind Farm Flow Control, WFFC)则优化所有风力机的控制参数,以实现场级目标(如最大化总功率或跟随电网需求信号)。主要技术包括轴向诱导控制(Axial Induction Control, AIC,通过发电机扭矩或叶片桨距优化轴向诱导因子)和尾流转向(wake steering,故意错列上游风力机以偏转尾流)。现有WFFC方法多基于推导方程、粒子群优化或进化优化等“白盒”方法,且多考虑固定布局和恒定流动条件。因此,学术界日益关注更灵活、可适应多变风况且能应用于多种风场布局的WFFC方法,其中强化学习(Reinforcement Learning, RL)因能在复杂环境中实现长期目标而成为热门选择。
然而,多数现有研究聚焦于使用单个智能体(agent)控制整个风场,这限制了其仅适用于单一布局。为突破此限制,本研究旨在创建可应用于不同风电场布局的RL智能体训练方法,以适应风场内部因风力机不可用或风向变化带来的布局变异,从而无需昂贵的计算再训练即可快速测试WFFC效果。
研究人员采用的关键技术方法包括:构建基于图(Graph)的多智能体深度确定性策略梯度(Graph Multi-Agent DDPG, GMAD)算法,将风力机作为图神经网络(Graph Neural Network, GNN)的节点,通过消息传递(message passing)机制处理节点(风力机)间的连接信息;采用长时仿真(LongSim)稳态求解器作为RL训练环境;利用九台风力机风场进行训练,并在不同布局(46台及多款布局)和风向下进行测试;对比策略包括贪婪控制及同期研究中的独立近端策略优化(Independent Proximal Policy Optimisation, IPPO)风场特定智能体。
研究结果如下:
引言(Introduction)部分指出,多智能体RL(MARL)算法(如DQN、PPO、DDPG)已用于WFFC的功率最大化、减损及电网调频等,且有研究通过图论分组策略降低状态与动作空间。GNN因擅长建模互连对象系统,已用于风场功率和载荷预测的监督学习模型,但较少与DRL结合用于WFFC。Kadoche等人及Huo等人的研究虽结合了GNN与RL,但前者智能体需每台风力机独特训练,后者虽具复用性但聚焦轴向诱导控制。
方法(Methods)部分描述,训练RL智能体的两个关键组件是环境(此处为LongSim稳态求解器)和算法(详述的GMAD)。GMAD算法结合了GNN与DDPG,其执行者(actor)由GNN建模,而评价者(critic)保持为标准深度神经网络(Deep Neural Network, DNN)。设置(Setup)部分涵盖了风场配置、马尔可夫决策过程(Markov Decision Process, MDP)设置、边生成方法及GMAD智能体的网络架构与评估指标。
结果(Results)部分表明,研究人员首先从已有DDPG稳态和动态风况WFFC研究超参数出发,进行超参数调优以确定合适训练配置,并保持网络架构较小以防过拟合,智能体在九台风力机风场上训练。结果显示,训练后的智能体在该九台风力机风场上实施尾流转向成功,在四种风向下较基线获得10%的风场功率提升。由于采用GNN,该智能体可迁移至不同布局,在46台风力机风场上较贪婪控制获得12%风场功率增益。此外,与同期研究中针对特定风场训练的IPPO智能体相比,GMAD方法训练的智慧体在三种布局上取得了相当的功率增益,且大幅减少了总体训练时间。
结论(Conclusions)部分总结,研究人员开发了结合图神经网络与DDPG强化学习技术的GMAD算法。与构建全场级智能体或为每台风力机训练独特智能体的相关 work 不同,此处训练的智能体可应用于任何风场布局中的风力机。GMAD包含执行者与评价者网络,其独特之处在于执行者通过GNN建模,而评价者仍为标准DNN。该方法的优势在于训练好的智能体可快速部署于多种不同布局,适应风力机可用性的变化,并处理环境风向的大幅变化,这种灵活性是成功风电场控制的关键。
讨论部分强调,这是已知首次训练出无需额外优化即可在多种风场布局上成功实施尾流转向的智能体,代表了WFFC领域的先进水平。该方法通过图结构捕捉风力机间的尾流影响关系,利用多智能体强化学习实现分散式执行(每台风力机作为一个智能体),在保持控制效果的同时显著提升泛化能力与训练效率,对未来风电场集群化、规模化运行中的流场协同控制具有重要实用意义。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号