《Engineering Applications of Artificial Intelligence》：Resilient control of cloud-based intelligent connected vehicle under hybrid cyber attacks: A physics-guided reinforcement learning control approach
编辑推荐：
基于云平台的车载控制技术在混合型网络攻击与极端驾驶工况耦合作用时，轨迹跟踪精度与行驶稳定性仍面临挑战。现有方法多针对孤立攻击场景或单一控制目标设计，难以有效应对通信中断、虚假数据注入与激进车辆动力学之间的耦合效应。为此，本研究提出一种面向混合型网络攻击下基于云
基于云平台的车载控制技术在混合型网络攻击与极端驾驶工况耦合作用时，轨迹跟踪精度与行驶稳定性仍面临挑战。现有方法多针对孤立攻击场景或单一控制目标设计，难以有效应对通信中断、虚假数据注入与激进车辆动力学之间的耦合效应。为此，本研究提出一种面向混合型网络攻击下基于云平台的智能网联汽车的物理引导强化学习控制框架。具体而言，建立了含混合型网络攻击的Takagi-Sugeno（T-S）模糊车辆动力学模型，并设计了攻击感知事件触发机制（Attack-Aware Event Triggering Mechanism, AETM），为攻击诱导的通信不确定性提供了面向控制的表示方法。进一步开发了多目标动态输出反馈控制器，以联合保证轨迹跟踪性能、横向稳定性与侧倾稳定性。此外，将模糊规则知识与专家控制指导嵌入强化学习架构，构建物理引导控制器，以提升攻击扰动条件下的探索安全性与策略学习效果。进一步设计了基于差动制动的美轮胎力分配策略以实现期望横摆力矩。通过仿真与云硬件在环（Cloud-based Hardware-in-the-Loop, C-HiL）实验对所提方法进行验证。结果表明，与基于深度确定性策略梯度（Deep Deterministic Policy Gradient, DDPG）的控制器及模糊控制器相比，所提基于双延迟深度确定性策略梯度（Twin Delayed Deep Deterministic Policy Gradient, TD3）的控制器分别将横向位移误差降低了21.2%和58.7%，将航向角误差降低了34.5%和61.7%。此外，该控制器更有效地抑制了攻击诱导的控制振荡。
智能网联汽车（Intelligent Connected Vehicles, ICVs）被视为下一代自主交通系统的关键形态，通过集成无线通信、云计算与协同控制技术，实现车辆、路侧基础设施与交通环境之间的实时交互。基于云平台的智能网联汽车（Cloud-based Intelligent Connected Vehicles, CICVs）因在感知、决策与控制任务中可通过车路通信（Vehicle-to-Infrastructure, V2I）及边缘-云资源进行协同，而为高级别自动驾驶提供重要支撑。然而，V2I通信链路的开放性与不确定性使CICV面临网络安全威胁：拒绝服务（Denial of Service, DoS）攻击可能中断控制与感知数据的及时传输，虚假数据注入（False Data Injection, FDI）攻击可能篡改传输信号，导致控制性能下降甚至失稳。在极端驾驶条件下，轨迹跟踪、横摆稳定性与侧倾稳定性强耦合，对通信退化的容忍度显著降低，因此开发混合型网络攻击下的CICV弹性控制方法对提升车辆动力学安全与网络安全至关重要。
现有车辆系统安全控制研究已取得重要进展，但仍存在局限性：多数方法基于线性化车辆模型构建，难以捕捉极端工况下横向与侧倾动力学的强非线性变化；现有研究多聚焦于跟踪性能或单一稳定目标，而激进驾驶条件下需协调处理轨迹跟踪、横摆稳定性与侧倾稳定性；传统鲁棒或基于规则的控制器依赖固定控制律，对快速变化的车辆动力学与攻击模式适应性有限。这些局限促使研究人员开发具有更强学习能力、在线适应性与泛化能力的智能弹性控制方法。
T-S模糊框架为处理非线性车辆动力学同时保持控制器合成的可处理性提供了有效工具。极端驾驶条件下，前后侧偏刚度、侧倾刚度及侧倾阻尼等关键动态参数呈现显著非线性时变特性，传统线性模型难以满足控制-oriented精确建模需求。T-S模糊建模通过隶属函数对多个局部线性子系统进行插值，可有效刻画横向、横摆与侧倾动力学的耦合演化。该框架亦适用于描述受网络攻击、时延、概率不确定性和严重参数变化的系统，因此适用于构建混合型网络攻击下CICV的车辆动力学模型。
通信高效且攻击感知的信息传输对安全云控至关重要。事件触发机制被广泛认可为减少冗余传输、缓解网络负担、提高受限通信资源利用效率的有效手段。动态事件触发机制引入辅助动态变量在线调整触发阈值，在不确定网络环境中提供更大灵活性与适应性。将攻击感知事件触发机制（AETM）引入CICV控制回路，不仅有利于降低通信负载，还可通过减少DoS攻击场景下的不必要传输来缓解网络拥塞。
强化学习（Reinforcement Learning, RL）已成为提升攻击扰动和不确定环境下控制适应性的有前景方法。深度确定性策略梯度（DDPG）和双延迟深度确定性策略梯度（TD3）因可直接优化连续转向动作而特别适合车辆控制。TD3通过双评论家、延迟策略更新和目标策略平滑来减轻值过估计和训练不稳定性。然而，纯数据驱动的RL方法存在可解释性不足、探索阶段安全保证薄弱、先验物理知识利用有限等问题，可能限制其在安全关键车辆控制任务中的可靠性。物理引导强化学习将物理知识嵌入学习过程，相比纯RL方法提高了控制安全性与可靠性，但针对混合型网络攻击下CICV的物理引导RL控制研究仍较缺乏。
本研究开展的研究工作及主要结论如下：
**研究背景与问题分析**
研究人员首先建立了耦合横向-横摆-侧倾车辆动力学模型，对控制通道中的DoS/FDI攻击以及反馈通道中的FDI攻击进行统一描述，并在此建模框架内开展动态性能评估及可达集与可控域分析。为研究车辆控制过程中的参数不确定性特征，研究人员进行了速度跟踪控制仿真，结果显示实际车速无法完美跟踪期望车速，证实了真实速度响应中存在不确定性。随后在不同车速下开展双车道变换（Double-Lane-Change, DLC）轨迹跟踪仿真。
**T-S模糊建模与攻击感知事件触发机制设计**
为捕捉极端驾驶条件下强车辆非线性与混合型网络攻击的耦合效应，研究人员建立了T-S模糊车辆动力学模型，整合动态不确定性与攻击诱导的通信扰动。进一步设计了攻击感知事件触发机制（AETM），以自适应调节退化网络条件下的信息传输，实现对网络退化的实时感知与动态补偿。该机制在降低通信负载的同时，通过减少DoS攻击场景下的不必要传输来缓解网络拥塞。
**多目标动态输出反馈控制器设计**
在T-S模糊框架内，研究人员设计了多目标动态输出反馈控制器，以联合保证极端驾驶条件和网络攻击扰动下的轨迹跟踪性能、横向稳定性与侧倾稳定性。该控制器是后续物理引导强化学习架构的基础组成部分。
**物理引导强化学习控制方法**
研究人员开发了物理引导强化学习控制方法，将T-S模糊知识与专家控制策略嵌入学习架构，以改善混合型网络攻击下的策略收敛性、控制平滑性和适应性。模糊规则知识提供了车辆动力学的结构化信息，专家控制指导则约束了探索空间，提升了学习安全性。进一步设计了基于差动制动的美轮胎力分配策略以生成期望横摆力矩，将上层控制器的控制指令转化为可执行的制动压力分配。
**仿真与云硬件在环实验验证**
通过仿真验证了模糊车辆动力学模型的准确性、AETM的有效性，以及模糊控制器和强化学习控制器的性能。进一步建立了C-HiL实验平台以验证所提控制器的实际实现效果。与基于DDPG的控制器和模糊控制器相比，基于TD3的控制器在横向位移误差和航向角误差方面均表现出显著优势，且更有效地抑制了攻击诱导的控制振荡。
**研究意义**
本研究提出的弹性控制框架集成了物理控制与强化学习，为混合型网络攻击下CICV的安全控制提供了系统解决方案。该方法在保障极端条件下多目标控制性能的同时，通过物理知识的嵌入提升了学习过程的安全性和可解释性，对推动智能网联汽车网络安全与动力学安全的协同具有重要意义。论文发表在《Engineering Applications of Artificial Intelligence》。
**关键技术方法**
研究人员使用的主要技术方法包括：建立T-S模糊车辆动力学模型以刻画非线性动力学与混合型网络攻击耦合效应；设计攻击感知事件触发机制（AETM）实现通信资源优化与攻击感知；提出多目标动态输出反馈控制器联合保证轨迹跟踪、横向稳定与侧倾稳定；开发物理引导强化学习控制方法，将T-S模糊规则知识与专家控制策略嵌入TD3架构；设计基于差动制动的美轮胎力分配策略实现期望横摆力矩；通过MATLAB/Simulink仿真平台开展数值仿真，并搭建云硬件在环（C-HiL）实验平台进行实验验证。
**研究结果**
研究人员在T-S模糊建模与混合型网络攻击分析部分，通过速度跟踪控制仿真和双车道变换（DLC）轨迹跟踪仿真，验证了车辆参数不确定性及非线性特征的存在，为T-S模糊建模提供了数据支撑，建立了含混合型网络攻击的T-S模糊车辆动力学模型。
在弹性控制策略设计部分，研究人员设计了AETM通信策略，基于该策略开发了动态输出反馈控制器与物理引导强化学习控制器，并设计了基于差动制动的美轮胎力分配策略。物理引导强化学习控制器通过嵌入T-S模糊知识和专家控制策略，改善了策略收敛性、控制平滑性和攻击适应性。
在仿真与云硬件在环实验部分，研究人员验证了模糊车辆动力学模型的准确性、AETM的有效性，以及模糊控制器和强化学习控制器的性能。C-HiL实验平台验证了所提控制器的实际可实现性。结果表明，所提基于TD3的物理引导控制器相比DDPG基控制器和模糊控制器，横向位移误差分别降低21.2%和58.7%，航向角误差分别降低34.5%和61.7%，且更有效抑制了攻击诱导的控制振荡。
**讨论与结论**
本研究提出了一种物理引导强化学习控制策略，以解决极端驾驶条件下强非线性动力学与混合型网络攻击耦合导致的车辆控制系统性能退化问题。首先，建立了T-S模糊车辆动力学模型，整合了物理层动态不确定性与通信层攻击扰动，设计了AETM以实现对网络退化的实时感知与动态补偿。其次，设计了多目标动态输出反馈控制器和物理引导强化学习控制器，联合保证了轨迹跟踪性能、横向稳定性与侧倾稳定性，并通过基于差动制动的美轮胎力分配策略实现期望横摆力矩。仿真和C-HiL实验验证了所提方法的优越性。后续研究可考虑更复杂的攻击场景和实车验证。
