知识插入式课程强化学习用于电动飞行器高效监督控制综合

《Green Energy and Intelligent Transportation》：Knowledge-Interposed Curriculum Reinforcement Learning for Efficient Supervisory Control Synthesis in Electric Flying Vehicles

　　

· 用于电动飞行器能量控制的大语言模型（LLM）增强课程强化学习（RL）。
· 一种具有权重调制与目标驱动学习的四象限课程框架。
· 热身启动策略缓解了学习控制策略的收敛困难。
· 将电池荷电状态（SOC）调节提高了49%，并将收敛速度提升了15%以上。

随着地面交通拥堵、环境恶化等问题日益严重，城市空中交通（UAM）成为突破地面路网容量瓶颈的新兴运输模式，而电动垂直起降（eVTOL）飞行器是UAM的核心载具。然而，当前电池能量密度限制使得纯电推进在中长距离和高频任务中面临航程与有效载荷瓶颈，因此燃料电池-电池混合动力系统因其高比能量、零碳排放和良好的扩展性受到广泛关注。在该系统中，能量监督控制（ESC）是保障系统效率、安全性和可靠运行的核心。相较于地面混合动力汽车，飞行汽车ESC具有多运行模式（地面行驶、垂直起降、巡航等）、多能源强耦合、功率需求剧烈变化等复杂特征，传统基于规则和基于优化/模型预测控制（MPC）的能量管理策略（EMS）在适应性、实时性和可扩展性上存在明显不足。近年来，深度强化学习（DRL）因其无需精确系统模型、可直接学习状态到控制动作的映射而成为研究热点，但在燃料电池飞行汽车这类安全攸关系统中，端到端DRL训练面临冷启动随机探索、样本效率低、安全约束难以满足以及多目标奖励冲突等关键挑战。为此，研究人员提出了一种大语言模型（LLM）引导的具有热身启动的课程强化学习框架（CL-LSAC），以解决多模态运行条件下燃料电池飞行汽车EMS的高维探索、样本低效和多目标冲突问题。

研究人员以软演员-评论家（SAC）算法作为基础DRL控制智能体，负责连续功率分配控制。首先将能量管理问题建模为受约束的马尔可夫决策过程（MDP），状态向量包括当前SOC、瞬时功率需求、运行模式标志以及上一时刻燃料电池功率；动作定义为燃料电池功率变化率的归一化连续变量。随后，利用LLM（GPT-4o-mini）作为离线高层知识引导模块，将安全SOC范围、高效燃料电池工作区、功率变化约束和任务阶段特征等专家先验转化为粗略示范轨迹，用于预填充经验回放缓冲区，并进一步直接注入到策略网络的参数初始化中，从而缓解DRL初期随机探索的风险。与此同时，构造了四象限课程学习策略，包括静态权重调制（如stability_first、efficiency_first）、静态目标容差（如proximal_curriculum）、动态权重调制（如learning_progress）和动态目标容差（如self_paced），以逐步协调SOC维持、氢耗优化和燃料电池功率波动抑制等多个冲突目标，避免固定奖励权重引起的训练不稳定或策略陷入局部最优。研究在基于高保真准静态混合动力飞行器模型的仿真环境中进行，并采用硬件在环（HIL）测试平台验证实时执行能力。仿真使用了包含地面滑行、垂直起飞、巡航、垂直降落和着陆的完整UAM任务剖面，并与MPC、等效消耗最小化策略（ECMS）、规则控制、无课程SAC、受约束TD3以及仅LLM热身等基线进行了对比。

在结果方面，论文首先分析了策略崩溃现象。无课程引导的标准SAC智能体将燃料电池输出持续钳制在最大功率160 kW，导致电池SOC过充至1.0；无引导TD3智能体则产生高频抖动，平均输出超过63 kW，同样造成SOC饱和。相比之下，仅使用LLM热身启动的基线能完成任务并将SOC维持在0.5341，但调节精度不够，说明专家初始化是避免策略崩溃的必要前提，而单一初始化不足以实现最优控制。在训练动态与泛化分析中，静态课程如efficiency_first收敛到-64.59的次优奖励，无法适应重新引入的SOC约束；动态课程learning_progress以-1.81的最终奖励表现出优势；self_paced课程通过性能门控机制实现平滑单调收敛，获得最高渐近精度。在作动器应力与平滑性分析中，权重型课程（如efficiency_first）往往出现“虚假平滑”，即以恒定低功率怠速来规避振动惩罚，实际上忽略了负载跟踪；目标型课程（如proximal_curriculum和self_paced）则通过高增益控制严格维持SOC在[0.4, 0.8]包络内，其较高的振动成本属于主动调节的必要代价。在策略物理语义解释中，安全指标显示self_paced达到100%包络符合（0%越界时间），最大SOC偏差0.100，CVaR₉₅为0.071；热力学效率分析表明self_paced避免了5 kW怠速和160 kW饱和的极端操作，将运行点集中在20–60 kW高效区，学会了负载平抑策略，利用电池作为高频缓冲，使燃料电池工作在准稳态。Pareto最优性分析显示，在氢耗与SOC RMSE双目标空间中，self_paced位于最优膝点，以约2.47 kg氢耗实现SOC RMSE为0.0198，相比燃料最优策略将SOC跟踪误差降低90%，同时避免了SOC_first策略的巨大燃料惩罚。在硬件在环验证中，针对2,176步UAM任务剖面，无课程基线在任务结束时SOC降至0.3570，面临严重深度放电风险；而课程引导策略最终SOC保持在0.50以上。其中SOC-first课程在重瞬态爬升和着陆时段主动将燃料电池调度至160 kW上限475步，确保最小SOC不低于0.3750，同时将平均功率波动率从0.57 kW/步降至0.39 kW/步，降低了31.5%的瞬态机械应力，有利于延长燃料电池堆寿命。

论文讨论部分强调，LLM热身启动建立了一个物理可行的安全下限，防止了完全随机的策略崩溃；但仅依赖初始化还达不到航空级精度，必须通过课程学习逐步塑造优化轨迹。动态目标容差型课程，尤其是self_paced方法，在训练过程中自动调节各目标的容差阈值，使任务难度始终处于智能体的“最近发展区”，从而实现了平稳收敛和最优的Pareto权衡。研究结论可翻译为：本文针对混合动力电动飞行器，提出了课程学习框架下的多目标DRL控制策略。利用SAC算法结合CL实现结构化训练，逐步优化燃料消耗、SOC保持和部件耐久性，从而防止了标准无引导RL中常见的策略崩溃与梯度冲突；将LLM推理先验融入初始化显著提高了样本效率，克服了连续控制任务初期的不稳定性；与标准SAC和静态课程方法相比，动态课程策略的平均最终奖励约高出5倍，且目标设定调制方法在SOC控制精度上将偏差降低了三倍。未来研究将进一步优化硬件在环平台上的机载执行时序特性，并增强对真实飞行包线中时变气动和对抗条件的适应性。该成果发表在《Green Energy and Intelligent Transportation》。