通信与执行器故障下鲁棒车辆编队控制的知识引导强化学习

《ADVANCED ENGINEERING INFORMATICS》：Knowledge-guided reinforcement learning for robust vehicle platoon control under communication and actuator failures

　　

## 摘要

网联与自动驾驶车队（CAV，Connected and Automated Vehicle）编队控制是一项知识密集型工程任务，需要将领域专业知识与自适应决策相结合，在真实运行环境的不确定性下实现多目标优化。本文提出了一种基于近端策略优化（PPO，Proximal Policy Optimization）的分层知识引导深度强化学习（DRL，Deep Reinforcement Learning）框架，用于实现可靠且自适应的编队协调。该框架采用具备形式化稳定性保证的鲁棒一致性控制器，以应对通信时延、执行器饱和、部分失效以及外部扰动等实际挑战。本文开发了一种控制误差敏感的图注意力网络（CEGAT，Control-Error-sensitive Graph Attention Network），可根据通信可用性与跟踪误差幅度自适应地加权车际信息。由稳定性分析得出的领域知识，通过渐进式策略引导与连续奖励整形被系统性地嵌入学习过程；同时，一种基于固定证明型线性矩阵不等式（LMI，Linear Matrix Inequality）的筛选机制，可确保所学习的控制参数在部署前满足形式化稳定性条件。该框架基于 OpenACC 数据库中的多个自然驾驶数据集进行了验证。定量评估表明，知识引导相较非引导学习使训练时间缩短一半，相较最先进方法将跟踪误差降低最多 32%，并在速度跟踪精度上较商用自适应巡航控制（ACC）系统提升超过 57%。大量异构交通实验进一步证实，该方法在人类驾驶车辆（HDV）比例高达 62.5% 时仍保持鲁棒性能，对 HDV 布设位置不敏感，并可扩展至 16 辆车的编队规模，验证了该框架在真实混合交通环境中自动驾驶车辆协调的普适性。

## 引言

网联与自动驾驶车辆（CAV）的快速发展，通过提升安全性、提高交通效率与降低环境影响，正在重塑现代交通系统 [1], [2]。车辆编队（vehicle platooning）通过车对车（V2V，vehicle-to-vehicle）通信协调多辆车以紧密队形行驶，已成为该背景下的关键使能技术 [3], [4]。通过协同控制实现的车际紧密耦合，能够降低空气动力学阻力与燃油消耗，提升道路通行能力，并改善驾驶舒适性 [5]。

尽管具备上述优势，车辆编队在实际交通中的部署仍十分困难。通信网络会引入时延与链路间歇性中断，从而削弱协同性能 [6]。物理饱和约束与潜在的部分失效限制了车辆执行器可实现的控制能力 [7]。路面不平、气动效应与交通交互会产生外部扰动，进一步干扰编队动力学 [8]。当这些退化因素同时发生时，所形成的控制问题既要求理论严谨性，又要求实际适应性。

为在统一框架内应对上述挑战，必须克服三项根本性难点。第一，控制器应在执行器故障、输入饱和、通信时延与外部扰动联合作用下，保持可证明的闭环特性——而现有方法通常将这些因素分别处理。第二，控制架构应能够适应动态变化的通信拓扑与时变交通条件，而非依赖固定参数。第三，系统必须在不损害汽车应用中至关重要的运行约束的前提下，优化跟踪精度、能效与乘坐舒适感等多个相互冲突的目标。

传统控制方法，包括协同自适应巡航控制（CACC）[9], [10]、基于一致性的算法 [7] 与模型预测控制（MPC）[11], [12], [13]，提供了成熟的理论框架与可证明的稳定性界限。然而，这些方法依赖无法适应运行条件变化的固定控制参数，限制了其在多样交通场景下的最优性。相比之下，深度强化学习（DRL）为复杂多目标优化提供了强大的自适应能力 [14], [15], [16]，但存在收敛缓慢、样本复杂度高，以及最为关键的学习与部署期间可证明性有限等问题 [17], [18]。这种适应性与可靠性之间的张力，推动了对融合两种范式优势的混合架构的兴趣日益增长 [19], [20], [21]。

为弥合上述差距，本文提出了一种用于鲁棒且自适应车辆编队控制的框架，称为"知识引导型控制误差敏感图注意力网络与近端策略优化"（CEGAT-PPO）。所提方法结合基于图注意力的 DRL、鲁棒一致性控制理论与领域知识集成，以在所建模的运行条件下改进自适应编队协调。主要贡献总结如下：

**(1)** 开发了一种鲁棒一致性控制算法，在统一理论框架内同时处理执行器故障、输入饱和、通信时延与外部扰动。在所采用的模型假设下，通过依赖时延的 Lyapunov–Krasovskii 方法，建立了闭环编队的渐近一致性稳定性。此外，设计了一个积分滑模（ISM）补偿层以抑制有界外部扰动，并对其一致最终有界性给出了形式化证明。执行器故障与饱和非线性被合并处理，采用扇形有界方法加以刻画，避免了对每种退化因素进行单独分析的需要。

**(2)** 提出了一种 CEGAT-PPO 架构，将图神经网络与近端策略优化相结合，以在链路失效情况下处理动态通信拓扑。误差敏感的图注意力机制可同时捕捉实时拓扑变化与跟踪误差幅度，动态地优先处理偏差较大的车辆信息。当通信链路失效时，图结构通过屏蔽相应的注意力权重自动适配，从而在本文所考察的通信场景下，为自适应增益生成提供拓扑感知的状态表示。

**(3)** 提出了一种知识引导学习策略，通过两种互补机制将稳定性分析所得领域知识整合入 DRL 训练过程：一是带有指数衰减的渐进式策略引导项，将初始探索约束在已预先验证的稳定工作点附近；二是连续的知识引导奖励分量，在训练全程维持与领域知识的一致性。自适应双噪声探索策略进一步结合由价值函数调节的状态依赖噪声与由偏离知识引导程度校准的动作依赖噪声，从而在探索广度与知识一致性之间取得平衡。

**(4)** 将基于固定证明型线性矩阵不等式（LMI）的稳定性筛选机制集成到 DRL 框架中，用于在实施前依据所采用的充分稳定性条件评估候选控制增益。违反容许性判据的增益，将被系统双重验证流程所得的知识引导预设值自动替代——该流程结合 LMI 可行性分析与基于仿真的性能验证。在此工作所考虑的假设下，该筛选—回退设计将自适应学习与基于模型的证明耦合在一起。

本文其余部分组织如下。第 2 节回顾车辆编队控制相关文献。第 3 节介绍系统模型，并开发鲁棒一致性控制算法及相应的稳定性分析。第 4 节呈现知识引导的 CEGAT-PPO 框架，包括图注意力架构、知识引导学习机制、双噪声探索策略与复杂度分析。第 5 节通过基于真实数据的数值仿真评估所提方法的有效性与鲁棒性。第 6 节总结全文，讨论贡献、局限性与未来研究方向。

## 文献综述（节选）

车辆编队控制在过去几十年一直是持续的研究热点。该领域经历了从经典基于模型的方法，到学习驱动方法，再到最近试图兼取两种范式互补优势之长的混合架构的方法论演进。本节系统性地综述相关文献，沿三条主线展开：经典控制方法、基于 DRL 的方法。

## 系统描述（节选）

本研究考察在通信约束、执行器故障与外部扰动条件下运行的车辆编队纵向控制问题。如图 1 所示，编队由一辆领航车（索引为车辆 0）和 N 辆跟随车（索引为车辆 1、2、…、N）组成。车际通信拓扑通过图论建模，其中车辆表示为节点，信息交换链路表示为边。该编队……

## 分层控制框架（节选）

本节介绍构建于第 3 节一致性控制器与稳定性条件之上的上层学习框架。其设计目标并非用黑箱式加速策略取代基于模型的控制器，而是让 DRL 自适应调整一致性增益，同时使下层控制器保留物理结构与容许性约束。如图 2 所示，该框架分为两层。上层采用 CEGAT-PPO 编码当前编队状态并……

## 仿真实验（节选）

所提知识引导型 CEGAT-PPO 控制策略，通过基于真实交通数据的广泛仿真进行了全面评估。实验验证涵盖五个递进阶段。首先，确立评估指标与实验配置。其次，分析训练过程与收敛特性，以验证知识引导学习机制的有效性。第三，将该算法与最先进方法进行比较……

## 结论

本文提出了一种用于车辆编队控制的分层控制框架，将知识引导的深度强化学习与鲁棒一致性控制理论相集成。所开发的鲁棒一致性控制器可同时处理执行器故障、输入饱和、通信时延与外部扰动，并通过依赖时延的 Lyapunov–Krasovskii 方法，在所采用的模型假设下建立了渐近一致性稳定性。控制误差敏感的……

## CRediT 作者贡献声明

- **Zekai Lv**：原稿撰写、可视化、验证、方法学、概念化设计
- **Jianzhong Chen**：审阅与编辑、监督、方法学、概念化设计
- **Junhong Xie**：审阅与编辑、验证、方法学
- **Zhihe Xu**：审阅与编辑、验证

## 利益冲突声明

作者声明不存在已知的可能影响本文所报告工作的竞争性经济利益或个人关系。

## 致谢

本工作受广东省基础与应用基础研究基金资助（项目编号：2025A1515011092）。

Zekai Lv | Jianzhong Chen | Junhong Xie | Zhihe Xu