《Renewable Energy》：From Yaw to 3D Wake Steering: A Cooperative Multi-Agent Reinforcement Learning Approach for Wind Farm Power–Aerodynamic-Load-Proxy Trade-Offs
编辑推荐：
•协同偏航-倾斜控制实现了三维尾流引导。•在六个场景中对比了匹配的仅偏航、仅倾斜和联合控制策略。•在S6场景中，联合控制的功率增益为3.296%，气动载荷代理减少13.416%。•灵敏度测试量化了奖励权重、尾流模型和倾斜边界的影响。引言在全球能源转型向可持续发展推进的背景下，
- •
协同偏航-倾斜控制实现了三维尾流引导。
- •
在六个场景中对比了匹配的仅偏航、仅倾斜和联合控制策略。
- •
在S6场景中，联合控制的功率增益为3.296%，气动载荷代理减少13.416%。
- •
灵敏度测试量化了奖励权重、尾流模型和倾斜边界的影响。
引言
在全球能源转型向可持续发展推进的背景下，风能已成为电网脱碳的基石之一[1]。在风电场开发中，紧凑的机组布局可降低资本和运营成本，但不可避免地导致机组间的气动干扰，即"尾流效应"。上游机组在提取能量后，会形成下游风速降低、湍流增强的区域[2]、[3]。这一现象不仅降低了风电场的总功率输出，还增加了下游机组关键部件的疲劳载荷[4]、[5]、[6]、[7]。因此，有效缓解尾流效应以优化场级功率输出，已成为提升风电场整体经济可行性的核心挑战，如图1a所示。
尾流引导技术，尤其是通过水平偏航控制实现的尾流引导，已展现出一种前景策略[8]、[9]，如图1b所示。通过有意使上游转子与风向错开，可将尾流向侧向偏转，使下游机组能在较高风速的来流区域运行。Gebraad等人证明，偏航控制可带来3–8%的功率增益。然而，该方法本质上仅限于对尾流轨迹进行二维操纵[10]，无法影响尾流的垂直结构，例如其中心线高度、剪切剖面或恢复率，而这些在复杂地形或垂直风剪切条件下起着关键作用[11]、[12]、[13]。因此，仅偏航控制往往无法充分利用风电场的气动潜力，尤其是在非理想大气条件下[14]、[15]。更广泛地说，对垂直轴机组聚风装置的数值研究也表明，三维来流塑形如何改变机组性能[16]。因此，如图1c所示，利用倾斜控制实现垂直尾流引导，代表了提升风电场级性能的下一前沿[13]、[17]。
Zhao等人[19]报道，对于两台叶片的下游来流式机组，机舱倾斜控制相比偏航控制，在部分结构响应指标上实现了大幅降低。这些结果与本研究不能直接比较，因为Zhao等人考察的是结构响应量并采用了不同的倾斜范围，而本研究使用三叶片参考机组的综合气动载荷代理。
然而，实现协调偏航-倾斜控制的全部潜力引入了显著复杂性。首先，偏航和倾斜表现出强非线性气动耦合[20]。调整其中一个会影响另一个的入流角、推力分布和尾流发展，使解耦或基于规则的策略次优。其次，控制策略必须在时变风速和风向下动态平衡相互竞争的多个目标，即在最大化场级功率的同时限制所采用的气动载荷代理[21]、[22]、[23]。第三，上游机组的控制动作直接影响下游机组的运行条件，这需要一个整体的全场协调策略，而非孤立的贪婪决策[24]、[25]。
传统的基于模型的方法，如模型预测控制（MPC），难以满足这些需求。它们严重依赖高保真尾流模型，例如稳态流量偏转与诱导模型（FLORIS）[26]或高斯型模型[27]，而这些模型往往无法准确捕捉瞬态动力学、大气湍流或三维尾流相互作用。实际工况下的模型失配可能导致性能退化[28]、[29]。此外，将倾斜纳入现有MPC框架会显著增加计算负担，因为动作空间扩展且耦合更紧，使大规模风电场的实时实现不切实际[30]、[31]。
为克服这些挑战，数据驱动控制方法，尤其是深度强化学习（DRL），提供了一个引人注目的替代方案[25]、[32]。DRL智能体通过与环境交互学习最优策略，无需显式系统模型，并天然处理高维非线性动力学。基于稀疏风速测量的物理信息重建同样证明了恢复动态偏航-尾流演化的可行性[33]。对于多机组系统，多智能体强化学习（MARL）进一步实现了集中训练、分散执行（CTDE）[34]、[35]。该框架允许每台机组自主行动，同时学习有利于集体的协作行为。Mole等人成功将强化学习应用于协作动态偏航控制[36]。然而，基于MARL的研究大多聚焦于单自由度执行机构，通常为偏航，对倾斜的协调利用以实现三维尾流操纵关注较少。在匹配控制设置下，MARL框架内偏航-倾斜协调的潜力相较之下评估有限。
本文通过开发一个定制的多智能体孪生延迟深度确定性策略梯度（MATD3）三维（3D）尾流控制框架来填补这一空白，其中独立的偏航和倾斜智能体在共同的工程模型环境中学习协作控制策略。该框架在六个规定风况下与匹配的仅偏航和仅倾斜策略进行评估：
- 1.
设计了一个多目标奖励函数。在训练过程中，该函数同时评估风电场的功率增益和所采用的气动载荷代理，引导智能体平衡这两个目标。
- 2.
将倾斜角引入为协作控制变量。通过结合倾斜和偏航控制，该框架在FLORIS环境中实现了尾流的横向和垂直调制。
- 3.
在动态环境中进行智能决策。所提出的框架在六个规定风况下自适应调整其控制动作，揭示了场景依赖的控制行为。
本文其余部分组织如下：第2节介绍本研究使用的风机、尾流和风况模型。第3节详细介绍MARL控制框架的设计与实现。第4节展示并分析各种风况下的仿真结果。最后，第5节总结全文并讨论未来研究方向。
章节摘要
尾流模型
本研究采用开源工具FLORIS中实现的经验高斯（EG）尾流模型。EG模型是一种经实测数据校准的工程型高斯亏损公式，因其计算成本低且精度合理，被广泛应用于风电场控制研究。其核心算法已通过多组现场测量验证[37]，赋予该模型很强的科学和工程可信度。由于采用相同的FLORIS
基于强化学习的控制框架
本节提出了一个基于MARL的协作风电场控制框架，通过协调偏航和模型级转子平面倾斜，以研究协同尾流引导及其引起的功率-气动载荷代理权衡。该框架使用两个智能体：一个生成偏航指令，另一个生成倾斜指令。两个智能体共享相同的环境观测信息并做出协调决策。
案例研究与结果分析
本节在六个风况下对比3D联合控制与仅偏航和仅倾斜控制的性能和控制行为。分析首先考察场级功率、气动载荷代理和控制动作的时间历程，然后比较各场景的全窗口功率增益和气动载荷代理降低幅度。时序图中观察到的局部差异描述了短窗口控制器行为，并不一定意味着正向
结论
本研究提出了一个用于协同偏航-倾斜风电场控制的定制多智能体孪生延迟深度确定性策略梯度（MATD3）框架。通过协调风机偏航和倾斜动作，该框架在动态来流条件下实现了水平和垂直方向的联合尾流引导。奖励函数平衡场级功率增益与气动载荷代理降低，其中代理基于CCBlade/BEM计算的综合气动力得出。在基于FLORIS的
CRediT作者贡献声明
张博文：监督，项目管理，方法论。徐悦恒：撰写——审阅与编辑，验证。王龙艳：撰写——审阅与编辑，软件，资源，项目管理，方法论。方宇：撰写——初稿，软件，资源，方法论。罗昭辉：撰写——审阅与编辑，方法论。孟帆：验证，监督
利益冲突声明
? 作者声明他们没有已知的竞争性经济利益或个人关系，这些关系可能被认为会影响本文所述工作的成果。
致谢
本研究由国家自然科学基金（12002137）、江苏省博士后科学基金会（2021K110B）、江苏大学高层次人才研究基金（项目编号：20JDG065）、江苏省研究生研究与实践创新计划（项目编号：26CXJH7285）资助。
王龙艳|方宇|张博文|徐悦恒|罗昭辉|孟帆
