考虑发动机启停响应特性的混合电空陆两用车辆分层能量管理策略

《Journal of Cleaner Production》：Hierarchical energy management strategy for hybrid electric air-ground vehicles considering engine start-stop response characteristics

　　

•构建了适用于空地两用载具的差异化双涡轮轴混合动力系统。
•开发了一种考虑发动机启停延迟的分级能量管理策略（EMS）。
•提出了一种带有双策略网络的改进 TD3 算法，用于处理混合动作空间。
•油耗仅比全局最优值高出 1.05%，减少了排放。

引言
全球能源危机和环境污染正推动交通行业向低碳电气化转型（Jia et al., 2026）。空地两用载具能够在地面和空中模式下运行，已成为未来智能交通系统的重要发展方向，有望缓解城市交通拥堵并提高区域出行效率。城市空中交通（UAM）概念的兴起进一步加速了其发展，电动垂直起降（eVTOL）原型机正逐渐进入市场（Rajashekara et al., 2016; Kasliwal et al., 2019; Marzouk, 2022）。然而，当前电池有限的能量密度限制了纯电动推进系统的续航能力。因此，混合动力电气推进系统成为长航时任务的重要解决方案。其中，“燃气涡轮 + 电池”配置特别适合空地两用载具的动力系统设计，因为它结合了技术成熟度高、功率重量比高和长续航能力，同时也为减少油耗和碳排放提供了可行途径（Wei et al., 2021; Yang et al., 2023a）。

关于混合动力构型设计，现有的空地两用载具动力系统大致可分为两类：单涡轮轴混合动力构型（Bai et al., 2022; Wang et al., 2022a）和双涡轮轴混合动力构型（Zhang et al., 2026; Yang et al., 2023b）。单涡轮轴构型结构简单，但受限于单一功率水平，导致在低功率地面运行场景下效率不足。双涡轮轴构型提供更具灵活性的功率输出和更强的冗余能力；然而，现有研究采用相同功率等级的发动机，在地面和空中双模式运行中仍存在进一步提高效率的空间。此外，大多数研究将发动机视为理想的静态电源，而涡轮轴发动机在启停转换过程中存在固有延迟，在此期间无法提供有效功率输出（Sheng et al., 2020）。这一过程不仅影响功率分配的实时性能，还会产生额外的油耗。因此，在能量管理策略中明确考虑启停特性是降低油耗和排放、提高系统整体经济性的必要前提。

尽管专门针对空地两用载具的能量管理策略研究相对有限，但混合动力电动汽车、燃料电池电动汽车和更多电动飞机领域的进展提供了宝贵的参考。现有的能量管理策略（EMS）方法大致分为三类：基于规则的方法、基于优化的方法和基于学习的方法。基于规则的方法具有良好的实时性能，但适应性有限（Liu et al., 2020; Lu et al., 2023）。基于优化的方法，如动态规划（DP）、模型预测控制（MPC）和群体优化算法（SOA），实现了卓越的控制性能（Liu et al., 2024a, 2024b; Zheng et al., 2024; Yang et al., 2023c; Wang et al., 2025a; Zhao et al., 2025）。然而，高昂的计算成本和依赖于驾驶条件的先验知识限制了它们在实时实施中的适用性。作为机器学习的重要分支，强化学习通过持续的智能体 - 环境交互自适应地优化控制策略，在处理复杂多目标能量管理问题方面显示出显著优势。早期研究主要采用离散动作框架，其中动作空间枚举自然适应发动机启停控制等离散决策，完全离散化的方法也可用于处理混合动作空间。Q 学习（Xu et al., 2021; Yang et al., 2023d）、深度 Q 网络（DQN）（Wang et al., 2022b, 2024）以及引入双网络结构以缓解 Q 值高估的双重深度 Q 网络（DDQN）（Shi et al., 2024; Guo et al., 2022）已广泛应用于混合动力 EMS 中。然而，离散化动作空间存在精度损失和维数灾难，无法满足连续功率分配的准确性要求。

为了满足连续功率分配的精度要求，连续动作算法逐渐成为主流研究方法。深度确定性策略梯度（DDPG）算法将 Actor-Critic 框架引入连续动作空间（Zhang et al., 2024; Jia et al., 2025），而孪生延迟深度确定性策略梯度（TD3）通过双评论家网络和延迟策略更新进一步抑制动作价值高估，在连续 EMS 任务中展现出卓越的收敛稳定性（Li et al., 2024; Wang et al., 2025b; Zhou et al., 2024）。与 TD3 同期发展的软演员 - 评论家（SAC）算法通过熵正则化鼓励策略随机性，在增强策略鲁棒性方面表现出优异的性能（Wang et al., 2025c; He et al., 2024）。针对不同 EMS 需求，这些算法可以进一步扩展以处理涉及离散 - 连续混合动作空间的具体场景。例如，Gong 等人（2024）提出了 PDQN-TD3 算法，实现了离合器接合和连续功率分配的同时优化。Xu 等人（混合整数最优控制通过强化）提出了结合 Actor-Critic 与 Q 学习的 HARL 算法来处理混合动作空间，与 DP 基准相比油耗差距仅为 4.69%。Liang 等人（2024）将 SAC 与 Gumbel-Softmax 结合，实现了双电机电动公交车离散运行模式和连续扭矩分配的同时优化。尽管如此，这些混合动作方法仍存在一定的局限性。就应用场景而言，离散动作和连续动作是弱耦合的。此外，它们本质上叠加了两个算法，引入了额外的计算复杂性。

然而，空地两用载具的地面驾驶和空中飞行双模式运行，使得其能量管理问题比纯地面或单一空中场景复杂得多。地面阶段主导的是低且频繁波动的功率需求，而空中阶段需要高且持续的功率输出，容纳如此宽的功率范围使得涡轮轴发动机的启停决策不可避免。当功率被视为连续动作时，将启停命令纳入控制框架便产生了离散 - 连续混合动作问题。当应用传统强化学习算法时，离散启停变量的急剧切换使得动作值不光滑，策略梯度在启停边界附近不连续，导致单策略网络振荡并产生功率波动。现有的混合动作方法大多是针对离散动作与连续功率分配弱耦合的场景开发的。它们通常也是在相对简单的地面条件下验证的。此外，组合多个算法增加了计算复杂性，使其难以直接应用于强耦合的空地场景。此外，涡轮轴发动机在启停事件中会消耗额外的燃油。因此，仅依赖当前状态的强化学习策略在动态负载变化下可能会触发不必要的启停操作或过度的电池补偿。这增加了实现经济能量管理的难度。

针对上述问题，本文提出了一种差异化双涡轮轴混合动力构型，并开发了一种明确考虑发动机启停延迟特性的分级能量管理策略。与结合两种异构算法的现有混合动作方法不同，所提出的策略从内部改进了 TD3 算法。上层建立短期功率预测模型，提供前瞻信息以指导下层提高燃油经济性。下层将离散启停动作重构为连续形式，并引入双策略网络选择机制以及 softmax 加权融合，直接抑制启停关键区域的策略振荡，实现连续功率分配和发动机启停操作的协调控制。本工作的主要贡献总结如下：
(1) 建立了包含启停延迟特性的差异化双涡轮轴混合动力模型，该模型区分了两台发动机的功率等级和任务分配，并明确建模了启停过渡期及相关额外油耗。
(2) 设计了一种基于长短期记忆（LSTM）网络的功率预测模型，该模型采用带有注意力机制的编码器 - 解码器架构。通过预测输出与多个 LSTM 隐藏状态之间的交互融合历史序列的关键信息，该模型增强了长视域预测能力，并为下层能量管理提供了短期功率前瞻。
(3) 提出了一种改进的 TD3 算法，该算法将离散启停动作重构为连续形式，并引入带有 softmax 加权融合的双策略网络选择机制，通过软仲裁和稳定价值估计来抑制策略振荡，从而实现更平滑的功率分配。

章节片段
基本构型
如图 1 所示，双涡轮轴混合动力电动空地两用载具由两套涡轮轴发动机 - 发电机装置、直流母线、电池组和分布式电动机系统组成，能够实现空中飞行和地面驾驶模式之间的切换，从而实现垂直起降、水平巡航和地面驾驶的综合能力。两套发动机 - 发电机装置和电池组向直流母线供电，以驱动旋翼电机和轮毂电机，以及

考虑发动机动态响应特性的分级能量管理策略
双涡轮轴混合动力电动空地两用载具的连续功率分配和发动机启停决策相互耦合，涡轮轴发动机固有的启停延迟特性进一步使控制问题复杂化，使得传统深度强化学习（DRL）控制框架难以平衡全局经济性和实时响应性。为此，本文提出了一种分级能量管理策略。上层执行短期

仿真设置与评估指标
为了评估所提出的分级能量管理策略在集成空地运行条件下的适用性，建立了一个典型的空地混合任务剖面（如图 8 所示）进行仿真测试和分析。该任务模拟了一个由两段空中飞行段和三段地面驾驶段组成的城市交通场景，总持续时间为 6000 秒。从出发点开始，空地两用载具进入搜索与救援

结论
本文解决了双涡轮轴混合动力电动空地两用载具的能量管理问题。建立了一个包含启停延迟特性的差异化双涡轮轴混合动力模型，并提出了一种分级能量管理策略。上层基于 LSTM-Attention-LSTM 模型实现短期功率预测，而基于改进 TD3 算法构建的下层实现了连续功率

CRediT 作者贡献声明
Yukun Shen：写作 – 审阅与编辑，写作 – 原稿撰写。Chunyan Wang：数据管理，概念构思。Zhongkai Luan：资金获取，形式分析。Wanzhong Zhao：方法论，调查。Jianhao Zhou：软件。

利益冲突声明
作者声明他们不存在已知可能影响本文所报告工作的竞争经济利益或个人关系。

致谢
本研究受江苏省重大科技项目（编号：BG2024039）支持。

Yukun Shen|Chunyan Wang|Zhongkai Luan|Wanzhong Zhao|Jianhao Zhou