基于专家引导DDPG算法的混合动力联合收割机新型能量管理策略研究

为解决传统联合收割机高能耗、低效率问题，研究人员创新提出"增程器+多分布驱动"混合动力架构，并设计融合专家先验知识的EG-DDPG能量管理策略。实验表明该策略训练周期缩短26.7%，油耗降低6.4%，同时保障作业质量，为农业机械电动化提供新思路。

　　

传统联合收割机作为高能耗农业机械，长期面临单柴油机驱动效率低、传动链复杂导致能耗高等痛点。尽管电动化是解决污染排放的有效途径，但受限于电池技术，纯电方案难以满足高强度农作业需求。在此背景下，混合动力系统成为理想选择，然而现有汽车领域的强化学习(RL)能量管理策略(EMS)难以适应收割机多源动力系统("增程器+多分布驱动")和复杂工况的挑战。

江苏大学团队在《Computers and Electronics in Agriculture》发表研究，创新性地提出"增程器+多分布驱动"混合动力联合收割机(HECH)架构，并开发专家引导深度确定性策略梯度(EG-DDPG)算法。该研究通过动态规划(DP)离线求解典型工况生成专家示范数据集，预填充经验回放缓冲区；在训练阶段结合自适应采样技术，将收割质量约束纳入奖励函数，实现燃油经济性与作业质量的平衡优化。

关键技术方法
研究采用Matlab搭建模型，在配备Intel i9-14900HX的GPU加速计算机上实施算法。通过构建典型田间循环工况作为测试数据，对比分析EG-DDPG与传统DDPG策略性能。算法部署包含环境建模、奖励函数设计、智能体编程三部分，采用1Hz仿真步频，通过马尔可夫决策过程(MDP)实现系统交互。

研究结果
功率系统结构
取消传统皮带链条传动，为切割台、脱粒滚筒等作业部件配置独立电机驱动，能源系统由锂电池组和增程器组成，显著提升传动效率并降低故障率。

EG-DDPG策略设计
在预训练阶段通过DP求解状态-动作数据集构建高质量专家模型；训练阶段引入自适应采样技术，将谷物损失率作为约束条件纳入EMS。实验显示该策略有效解决传统RL存在的Q值高估、参数调优困难等问题。

验证结果
EG-DDPG较传统DDPG训练周期缩短26.7%，油耗降低6.4%。在电池电量充足时，增程器可完全关闭；当电量低于阈值时，系统能智能切换至最佳工作区间。收获质量约束的引入使谷物损失率稳定在行业标准以内。

结论与意义
该研究首次将专家先验知识与深度强化学习(DRL)结合应用于农业机械EMS领域，提出的EG-DDPG策略在收敛速度和全局最优性方面表现突出。创新性的"增程器+多分布驱动"架构为农机电动化提供新范式，而将作业质量纳入优化目标的做法拓展了EMS设计维度。研究成果获得国家自然科学基金等项目支持，为农业机械节能减排和智能化发展提供重要理论支撑。未来研究可进一步探索多智能体协同控制策略在复杂农机系统中的应用。