基于贝叶斯优化的改进Twin-Delayed deep deterministic policy gradient (ITD3) 最大功率点跟踪控制策略及其在变速PMSG-WECS功率提取中的应用

《Energy Conversion and Management-X》：An intelligent MPPT control strategy using an improved Twin-Delayed deep deterministic policy gradient algorithm for a variable speed wind energy conversion system

　　

研究人员提出一种采用改进Twin-Delayed deep deterministic policy gradient (ITD3)算法的智能最大功率点跟踪(MPPT)控制策略，用于变速风能转换系统(WECS)。提出ITD3 MPPT算法以最大化永磁同步发电机风能转换系统(PMSG-WECS)的功率提取效率。通过贝叶斯优化(Bayesian optimization, BO)对ITD3算法的超参数进行动态优化。ITD3 MPPT算法既不需要详细的系统模型，也不需要完整的状态测量。在低湍流和高湍流风况下对智能MPPT策略进行比较评估。ITD3 MPPT算法优于所测试的其他MPPT控制机制。

研究背景方面，可再生能源快速增长已成为全球可持续能源系统转型的重点，风能转换系统（wind energy conversion system，WECS）因经济性和可扩展性受到关注，永磁同步发电机（permanent magnet synchronous generator，PMSG）负责将旋转机械能转换为电能，其控制器的重要任务是在变化风速下实现最大功率点跟踪（maximum power point tracking，MPPT）。传统MPPT方法如叶尖速比（tip speed ratio，TSR）、最优转矩控制（optimal torque control，OTC）、功率信号反馈（power signal feedback，PSF）和极值搜索控制（extreme search control，ESC）实现简单，但在快速风速变化和WECS随机不确定性下性能受限；自抗扰控制（active disturbance rejection control，ADRC）、模型预测控制（model predictive control，MPC）和滑模控制（sliding-mode control，SMC）等先进方法中，MPC和SMC依赖准确系统模型，ADRC需仔细调节多个参数。强化学习（reinforcement learning，RL）可无需显式数学模型优化控制策略，但Q-learning依赖状态与动作空间离散化，快速波动风速下易收敛慢或次优；深度Q网络（deep Q-network，DQN）难以处理连续动作和高维场景；深度确定性策略梯度（deep deterministic policy gradient，DDPG）可处理连续动作，但存在Q值高估和策略次优问题；双延迟深度确定性策略梯度（twin-delayed deep deterministic policy gradient，TD3）可缓解高估，但现有实现中超参数多采用启发式或随机调优，选择不当会导致性能次优或训练不稳定。贝叶斯优化（Bayesian optimization，BO）适合昂贵函数全局优化，因此研究人员提出将BO集成于TD3框架的改进TD3（improved TD3，ITD3）MPPT算法，以智能优化超参数并提升动态跟踪性能、缩短调节时间、提高风能转换效率并减小输出功率波动。

研究人员开展了ITD3 MPPT算法设计与验证研究：ITD3智能体学习从瞬时运行工况到最优运行点的确定性映射，并利用BO优化actor与critic学习率、折扣因子、探索噪声和回放缓冲区等超参数；随后在PMSG-WECS模型中采用低湍流、高湍流和阶跃变化风速场景进行仿真，并与DDPG、DQN、Q-learning和级联前馈神经网络（cascade-forward neural network，CFNN）MPPT控制器比较。结果表明ITD3在调节时间、风能转换效率和输出功率稳定性方面均优于对比方法，说明将无模型深度强化学习与自动超参数优化结合可用于变速PMSG-WECS的最大功率提取，并具有降低人工调参依赖和提升控制鲁棒性的意义。

关键技术方法（不超过250字）：研究无样本队列，训练与验证数据来自MATLAB/Simulink构建的5 kW、1500 r/min PMSG-WECS仿真模型及随机风速曲线。主要方法为：建立风力机、PMSG、背靠背电压源变流器和电网模型；机侧变流器（machine-side converter，MSC）采用比例积分（proportional-integral，PI）速度外环与有限控制集模型预测控制（finite control set model predictive control，FCS-MPC）电流内环，网侧变流器（grid-side converter，GSC）采用分数阶比例积分（fractional-order proportional-integral，FOPI）直流电压外环与FCS-MPC电流内环；构建ITD3 MPPT，将TD3与BO结合，以高斯过程代理和期望改进采集函数优化超参数；以ω_e、P_e为状态、Δω_e为动作、含阈值δ的功率增量奖励训练500回合；在低湍流、高湍流和阶跃风速下与DQN、DDPG、Q-learning、CFNN对比，统计平均跟踪效率（η_avg）、均方误差（MSE）、平均绝对误差（MAE）、标准差（Std. Dev）和执行时间。

研究结果方面，4.1 低湍流随机风速条件下的性能评估（Performance evaluation under low-turbulent stochastic wind speed conditions）：通过约9–12 m/s低湍流随机风速下的PMSG-WECS仿真对比，ITD3使转子转速（ω_m）更接近参考转速（ω_mr）且跟踪误差小于2%，维持最佳叶尖速比（λ_opt），功率系数（C_P）最高达0.4789并接近C_P,max=0.48；累计能量约506 Wh，高于DDPG、DQN、Q-learning和CFNN的445、444、442和403 Wh，分别提升13.71%、13.96%、14.48%和26.56%；其MSE、MAE和Std. Dev最小，正文报告最高功率跟踪效率达97.8%。4.2 高湍流风速条件下的性能评估（Performance evaluation under high-turbulent wind conditions）：通过平均风速11 m/s的高湍流仿真对比，ITD3更准确跟踪ω_mr，C_P均值分别比DDPG、DQN、Q-learning、CFNN高7.30%、10.80%、15.60%和20.80%；累计能量518 Wh，高于455、452、447和423 Wh，提升13.85%、14.60%、15.88%和22.46%；其MSE、MAE和Std. Dev最低；网侧FOPI与PI的直流母线电压跟踪误差分别为5.10%和20.40%，FOPI抑制波动并维持功率平衡。4.3 阶跃变化风速条件下的性能评估（Performance evaluation under a step change in wind speed conditions）：通过8→10→7→12→9 m/s、每20 s阶跃的风速仿真，ITD3比对比算法实现更快更精确的ω_m跟踪，并保持C_P和λ接近最优值；电磁转矩（T_e）准确跟踪参考，电功率（P_e）最高；累计能量400 Wh，高于321、300、288和285 Wh，提升24.61%、33.33%、38.89%和40.35%；性能指标最佳，η_avg达95.6%，平均跟踪时间0.2241 s。4.4 计算负担（Computational burden）：通过执行时间测试，ITD3在线推理仅0.05 ms，低于控制周期，且快于DDPG的0.11 ms、DQN的0.26 ms、Q-learning的0.35 ms和CFNN的0.47 ms；FCS-MPC用于MSC和GSC分别为0.015 ms和0.029 ms；因ITD3训练离线，训练耗时不影响在线应用，0.05 ms仅为训练后actor网络单次前向执行时间，表明其适合实时PMSG-WECS应用。4.5 局限性与实验验证计划（Limitations and experimental verification plan）：通过仿真验证研究得出ITD3性能结论，但讨论指出研究缺乏实验验证，结论均来自5 kW、1500 r/min PMSG-WECS数值/模型仿真；计划实验平台包括直流电机模拟风力机、5 kW PMSG、三相IGBT逆变器、直流母线、六脉冲IGBT可控整流器和电网模拟器，并将算法编译为C代码部署至TMS320F28335 DSC，以PWM控制IGBT两电平背靠背变流器，并用示波器或数据存储分析波形。

讨论部分进一步承认ITD3需离线预训练，未来需开发基于实时数据的在线训练机制以应对环境差异。研究结论部分翻译如下：研究人员实施ITD3 MPPT算法以最大化PMSG-WECS能量生成，并将ITD3与BO优化技术结合进行动态超参数微调，以减少手动调参时间与工作量并提升ITD3模型性能；ITD3智能体使用最优超参数在合适仿真环境中离线训练，从而降低该技术的沉重计算负担。ITD3较DQN、DDPG和TD3的平均奖励增长率分别提高26.14%、19.27%和9.65%，累计奖励曲线下面积分别改善30.17%、21.41%和10.30%，置信区间收敛速度分别加快36.14%、27.90%和13.15%，并实现更快收敛、更高稳态奖励和更好稳定性。MATLAB/Simulink仿真表明ITD3优于DDPG、DQN、Q-learning和CFNN，可最大化功率提取、减少超调并加快调节时间；在低湍流、高湍流和阶跃风速场景中累计能量多收集13.3–28.75%；在线执行时间0.05 ms，明显短于PMSG-WECS常用10–20 ms采样周期。尽管ITD3需离线预训练，未来工作将发展利用实时数据的在线训练机制，以持续学习和自适应改进控制策略，缓解环境失配并增强ITD3 MPPT算法鲁棒性。