《Green Energy and Intelligent Transportation》：Reinforcement Learning Based Model Predictive Path Integral Control for Automated Electric Vehicles Under Slippery Curved Road Conditions
编辑推荐：
在滑溜极端条件下驾驶对自动驾驶电动汽车（AEVs）构成巨大挑战，原因是轮胎-道路摩擦显著降低以及纵向与横向车辆动力学之间的强耦合。传统模型预测控制（MPC）方案的性能严重依赖于精确的车辆动力学模型和精心调整的代价函数，这两者在滑溜弯道条件下都难以实现。为应对这
在滑溜极端条件下驾驶对自动驾驶电动汽车（AEVs）构成巨大挑战，原因是轮胎-道路摩擦显著降低以及纵向与横向车辆动力学之间的强耦合。传统模型预测控制（MPC）方案的性能严重依赖于精确的车辆动力学模型和精心调整的代价函数，这两者在滑溜弯道条件下都难以实现。为应对这些挑战，研究人员首先构建了一种混合车辆运动模型，该模型将基于物理的车辆动力学模型与1-Lipschitz残差神经网络相结合，提高了在不确定道路条件下的预测精度和适应性。基于该混合模型，开发了一种MPPI控制器，其中采用演员-评论家网络自适应调整阶段代价权重因子，同时使用时序差分（TD）学习算法从选定的MPPI rollout轨迹中学习终端代价。通过这种方式，在统一的MPPI框架内联合处理了短视界控制性能与长期代价优化。与无模型强化学习方法相比，所提出的控制器通过将学习机制嵌入预测控制rollout中，而非直接将学习到的动作应用于车辆，从而保留了高物理可解释性并增强了安全感知。大量仿真结果证明了所提出的RL-HMPPI控制器在滑溜极端道路条件下的有效性和优越性。
**论文解读：基于强化学习的混合模型预测路径积分控制用于滑溜弯道下自动驾驶电动汽车**
**1. 研究背景与问题**
在滑溜弯道等极端条件下，自动驾驶电动汽车（AEVs）面临轮胎-道路摩擦系数显著降低（通常低于0.4）以及纵向与横向动力学强耦合的严峻挑战，导致传统模型预测控制（MPC）方案性能严重下降。MPC依赖精确的车辆动力学模型和手动调参的代价函数，而在低摩擦、强非线性区域，精确建模与实时求解均极为困难。模型预测路径积分（MPPI）控制虽通过采样策略缓解了模型依赖，但存在短视界误差累积和固定代价函数适应性不足的问题。强化学习（RL）方法虽能直接学习最优策略，但缺乏物理可解释性和安全约束保证，且泛化能力受限。因此，亟需一种融合物理模型与数据驱动、兼顾短期响应与长期优化的混合控制框架。该论文发表在《Green Energy and Intelligent Transportation》。
**2. 研究人员开展的研究与结论**
研究人员提出一种基于强化学习的混合模型预测路径积分（RL-HMPPI）控制框架。该框架首先构建混合车辆运动模型，将基于物理的动力学模型与1-Lipschitz残差神经网络结合，以提升预测精度与鲁棒性；然后基于该模型开发MPPI控制器，并嵌入演员-评论家网络自适应调整阶段代价权重，同时采用时序差分（TD）学习算法从MPPI rollout轨迹中学习终端代价，实现短视界控制性能与长期代价优化的联合优化。仿真结果表明，在滑溜弯道条件下，所提RL-HMPPI控制器在双车道变换（DLC）和封闭滑溜弯道（CSC）场景中，最大轮廓误差分别降低67.74%和46.83%，最大横摆角速度分别降低28.57%和9.52%，且保持了物理可解释性与安全约束满足。
**3. 主要关键技术与方法概述（不超过250字）**
1. **混合车辆运动模型构建**：基于物理的车辆动力学模型（八自由度，含Dugoff轮胎模型线性化）与1-Lipschitz残差神经网络（四层全连接MLP，隐层维度128-64-64-64，谱归一化约束|W
l|
2≤1）结合，残差网络仅学习横向速度v
y和横摆角速度γ的未建模动态。训练数据来源于真实车辆在雪地测试轨道采集的3,339,741×4样本（含双车道变换、单车道变换、J-turn、环形驾驶），验证集为19,891×4样本（蛇形驾驶）。
2. **MPPI控制器**：预测时域N=20，采样数M=256，温度参数λ=2，控制扰动服从零均值高斯分布。
3. **演员-评论家网络**：基于Soft Actor-Critic（SAC）框架，奖励函数包含轮廓误差减小、行驶速度激励及横摆角速度/侧偏角安全惩罚（softplus函数），演员输出经sigmoid线性缩放至预设上下界。
4. **TD学习终端代价**：通过触发机制（基于跟踪性能指标与信号时序逻辑鲁棒性度量）筛选满足性能阈值的rollout轨迹，提取末端L步状态-动作对，使用TD(0)更新学习值函数V(x)作为终端代价。
**4. 研究结果**
**4.1 混合数据驱动模型验证（Section 5.1）**
通过对比1-Lipschitz残差网络与常规深度残差网络在验证集上的预测误差，发现1-Lipschitz网络在输入噪声（标准差0.02~0.5）下，横向速度与横摆角速度的预测误差均更低且方差更小。例如，噪声标准差为0.5时，横向速度预测误差从0.76 m/s降至0.62 m/s（提升18.4%），横摆角速度预测误差从0.35 rad/s降至0.32 rad/s，归因于Lipschitz约束限制了输入扰动对模型输出的放大。
**4.2 实现设置与可重复性（Section 5.2）**
提供了RL-HMPPI与基线MPPI（固定权重Q=[25,5,3,1.5,0.5,0.01]）的详细参数，包括预测时域、采样数、温度参数、演员-评论家网络结构（轻量MLP，ELU激活，层归一化）及训练超参数（学习率3×10
-4，熵温度系数η=0.99，训练约1600回合）。
**4.3 运动控制器性能验证（Section 5.3）**
在CarSim-Simulink联合仿真平台（道路附着系数μ=0.32，轮胎245/45 R19，车速可达15 m/s）上测试：
- **双车道变换（DLC）条件**：RL-HMPPI的路径跟踪误差（轮廓误差、滞后误差）显著小于NMPPI（MPPI）基线，横摆角速度与前轮转向角均保持在安全界限内，自适应权重因子中轮廓误差权重为主导。
- **封闭滑溜弯道（CSC）条件**：RL-HMPPI的轮廓误差降低46.83%（最大0.67 m vs 1.26 m），横摆角速度最大降低9.52%（0.19 rad/s vs 0.21 rad/s），奖励函数平滑上升，表明学习模块在保持约束满足的前提下提升了跟踪性能。
**5. 总结讨论与结论**
**讨论部分总结**：所提RL-HMPPI框架通过将学习机制嵌入MPPI代价结构而非直接生成控制动作，保留了物理可解释性与安全约束处理能力。演员-评论家网络自适应调整阶段代价权重，TD学习提供终端代价长期导向，二者协同解决了短视界控制与长期优化间的权衡。仿真验证了在滑溜弯道条件下安全稳定的高性能运动控制。
**结论部分翻译**：本文提出了一种基于强化学习的混合模型预测路径积分控制框架，该框架将模型预测路径积分控制与基于学习的代价自适应紧密集成在一个统一且物理可解释的架构中。为减轻滑溜和噪声驾驶条件下的建模不确定性，首先通过将基于物理的车辆动力学模型与1-Lipschitz残差神经网络结合，构建了混合车辆运动模型，提升了预测精度和鲁棒性。基于该模型，开发了通过随机轨迹采样生成控制输入的MPPI控制器，有效处理了非线性动力学与安全约束。此外，为增强适应性和长期性能同时保持物理可解释性，将强化学习机制嵌入MPPI代价结构而非直接生成控制动作。具体地，采用演员-评论家学习方案自适应调整阶段代价权重，并使用时序差分学习算法从选定的MPPI rollout轨迹中学习终端代价。该设计减轻了手动调参负担，并使控制器能有效应对复杂滑溜道路条件。仿真结果表明，所提出的RL-HMPPI方法在滑溜弯道上实现了安全高性能的运动控制，在高达15 m/s的行驶速度下成功保持了稳定性与跟踪性能。这些结果证实，将学习机制嵌入预测控制框架可在短期响应与长期最优性之间取得有效平衡，同时保留强物理可解释性与安全感知。未来工作将扩展至更复杂场景（如变摩擦过渡、避障、多车交互），并开展实车实验验证。
