一种用于轮式车辆轨迹跟踪和碰撞避免的平滑强化学习方法

《Expert Systems with Applications》：A smooth reinforcement learning method for trajectory tracking and collision avoidance of wheeled vehicle

提出基于可训练参数化网络的MoLiNet架构，动态调节多维度动作的Lipschitz常数，结合分布软演员-批评算法（DSAC）形成MoLiNet-DSAC算法，有效平衡控制平滑性与轨迹跟踪精度，实验验证其优于LipsNet等传统方法。

　　

陈良发|宋旭杰|赵俊杰|王文轩|王伊诺|肖立明|李胜波|马飞|段静良

北京科技大学机械工程学院，北京，100083，中国

摘要

强化学习（RL）在解决复杂任务（如车辆轨迹跟踪和碰撞避免）中发挥着关键作用。然而，基于RL的控制策略通常缺乏平滑性，这会导致对微小状态变化的控制动作发生突然变化，从而加速组件磨损，并在实际场景中导致系统故障。为了缓解这一问题，我们提出了一种名为MoLiNet的新神经网络架构，旨在跨多个维度平滑动作。MoLiNet使用可训练的参数化网络动态调节动作向量的每个组件的Lipschitz常数，从而提高控制平滑性。在此基础上，我们将MoLiNet与分布式软演员-评论家（DSAC）结合，创建了一种新的RL算法MoLiNet-DSAC。该算法将与动作组件的Lipschitz常数相关的L2正则化项纳入策略优化目标，力求在控制效果和平滑性之间取得最佳平衡。在实际轮式车辆上的实验表明，MoLiNet-DSAC不仅提高了动作平滑性，还显著增强了位置跟踪精度，超越了传统的平滑网络架构（如LipsNet）。

引言

近年来，自动驾驶受到了学术界和工业界的广泛关注（Li，2023）。在这一领域中，轨迹跟踪和碰撞避免成为自动驾驶技术中至关重要且具有挑战性的方面（Duan等人，2024）。这些挑战主要归因于需要管理复杂的系统约束并保持严格的实时控制。现有的在线方法（如MPC和iLQR）通常需要在线为每个控制周期解决控制律（Grüne, Pannek, Grüne, & Pannek，2017；Ma, Cheng, Zhang, Tomizuka, & Lee，2022）。然而，当计算资源有限时，这种方法往往无法满足可行性和实时性的要求。

利用神经网络（NN）强大的拟合能力，基于强化学习（RL）的控制在研究和实际应用中得到了迅速发展（Duan, Cao, Zheng, & Zhao，2023；Elhaki, Shojaei, & Mehrmohammadi，2022；Wang, Huang, Tang, & Hu，2024）。Lu等人（Lu, Li, & Wang，2024）利用并行控制和DDPG（Lillicrap等人，2015）实现了舒适的自动驾驶路径跟踪。He等人（He, Yang, Hu, & Lv，2022）开发了一种对抗性RL算法，通过减少车道变换策略与受最优对抗性观测扰动影响的策略之间的差异来提高自动驾驶车辆的安全性和稳定性。这种方法首先离线学习策略，然后在线部署以用于实际应用。值得注意的是，RL在管理与轨迹跟踪和碰撞避免相关的任务方面显示出巨大潜力（Li, Wang, Wang, & Ke，2025；Udekwe, Ajayi, Ubadike, Ter, & Okafor，2024；Wu等人，2026）。例如，Luo等人（Luo, Zhou, & Wen，2022）将碰撞惩罚整合到策略目标函数中，实现了有效的车辆轨迹跟踪和静态障碍物避免。Peng等人（Peng等人，2022）开发了一种分离的比例-积分拉格朗日算法，将轨迹跟踪和碰撞避免表述为概率约束的最优控制问题。利用PID-拉格朗日方法，他们成功学习了确保动态碰撞避免并在轨迹跟踪任务中保持高性能的控制策略。

然而，现有的RL算法通常面临动作不平滑的问题，尤其是在噪声条件下。在现实世界控制系统中完全消除噪声是一项具有挑战性的任务，即使是微小的干扰也可能导致NN产生的动作出现显著波动。这种控制动作的变异性会加速机械组件的磨损并引入安全风险（Yu, Xu, & Zhang，2021）。Mysore等人（Mysore, Mabsout, Mancuso, & Saenko，2021）观察到，直接过滤来自训练有素策略网络的输出动作会改变系统的动态响应，并违反马尔可夫假设，从而严重影响可控性。为了在控制最优性和平滑性之间取得平衡，必须在策略训练期间抑制动作波动。Kobayashi等人（Kobayashi，2022）在策略网络的损失函数中引入了一个与平滑性相关的惩罚项。然而，这种方法需要大量参数调整才能获得最佳性能。Shen等人（Shen, Li, Jiang, Wang, & Zhao，2020）通过对抗性策略设计来提高策略平滑性，尽管这种方法增加了学习过程的复杂性。

从理论角度来看，动作波动受到NN景观平滑性的影响，Lipschitz常数是这种平滑性的一个指标。与Kobayashi（2022）和Shen等人（2020）修改RL算法以实现Lipschitz常数约束的方法相比，最近的研究侧重于将这些约束直接嵌入网络结构中。作为该领域的早期创新者，Takase等人（Takase, Yoshikawa, Mariyama, & Tsuchiya，2022）尝试使用层级光谱归一化（SN）来调节策略NN的Lipschitz常数，虽然有效减少了动作波动，但由于施加了全局Lipschitz常数，往往会导致显著的性能折中。针对这些挑战，Song等人（Song等人，2023）提出了LipsNet结构，该结构动态调整策略网络的局部Lipschitz常数，从而实现状态依赖的平滑能力调节。然而，这些解决方案主要针对具有单一动作空间的任务。在涉及多维控制的场景中，单一Lipschitz常数不足以捕捉不同动作之间的多样化控制特性，从而在同时优化控制向量的每个组件的平滑性和整体控制性能方面遇到挑战。这在需要协调控制多种动作类型的任务（如横向移动的转向和纵向移动的加速度或速度）中尤为突出。

为了克服这些挑战，本研究介绍了一种新的网络架构，称为MoLiNet。这种创新结构旨在自适应地平滑多维控制动作，特别适用于车辆轨迹跟踪和碰撞避免控制等任务。我们的主要贡献可以总结如下：

1.

提出了一种具有多维动作平滑能力的NN结构MoLiNet，以提高控制平滑性。它通过可训练的参数化网络为多维动作向量的每个元素自适应输出单独的Lipschitz常数，从而确保每个动作组件的独特局部Lipschitz连续性约束。此外，我们将其扩展到随机策略中，使其无需任何修改即可用于大多数现有的RL算法。

2.

为了便于获取平滑的控制策略，我们进一步提出了一种名为MoLiNet-DSAC的创新RL算法，该算法将MoLiNet与分布式软演员-评论家（DSAC）（Duan, Guan, Li, Ren, Sun, Cheng，2021；Duan, Wang, Xiao, Gao, Li, Liu, Zhang, Cheng, Li，2025）结合。该算法具有用于学习分布价值函数的评论家和用于执行平滑控制策略的基于MoLiNet的演员。为了在保持平滑性的同时提高控制效果，在策略优化目标中添加了与Lipschitz常数相关的L2正则化项。这鼓励每个动作组件的Lipschitz常数更小，从而在性能改进和控制平滑性之间取得平衡。

3.

通过MoLiNet-DSAC开发的策略在实际轮式车辆上实现，用于执行轨迹跟踪和碰撞避免任务。结果表明，与使用现有平滑网络架构LipsNet（Song等人，2023）的DSAC相比，我们的方法不仅提高了动作平滑性，还将位置跟踪精度提高了三倍以上。

本文的结构如下：第2节介绍了RL的初步知识和策略平滑性的度量标准。第3节介绍了MoLiNet和MoLiNet-DSAC算法的网络架构。第4节评估了MoLiNet-DSAC与其他方法在车辆轨迹任务中的性能。第5节评估了MoLiNet-DSAC在轮式车辆避障实验中的实际性能。第6节总结了本文。

部分摘录

无限视界最优控制任务

一般来说，车辆轨迹跟踪任务可以表述为一个无限时间视界优化控制问题：$\begin{array}{cc}& \underset{a_t,\dots ,a_{t+i},,\dots \in A}{\max }\sum _{i=0}^{\underset{r}{\overset{(s_{t+i},a_{t+i})}{{\gamma }^i}}}\\ & s。t。s_{t+i+1}=f(s_{t+i},a_{t+i})\\ & s。t。s_{t+i})\end{array}$其中γ是折扣因子，r(s_t, a_t)是奖励函数，$s_t\in S?R^n$是系统状态，$a_t\in A?R^m$是控制输入，$f:$Rn×Rm→Rn是系统动态。

从优化的角度来看，传统RL的目标是找到一个最优控制序列$\{a_t^{*},,\dots ,a_{t+i}^{*},,\dots \}～{\pi }^{*}$，以最大化无限步骤

方法论

在本节中，我们提出了一种用于具有多维控制动作的系统的平滑网络结构，称为MoLiNet。我们强调MoLiNet具有高度灵活性，可以无缝集成到各种RL算法中，而无需任何修改。作为具体示例，我们将MoLiNet与DSAC（一种先进的无模型RL算法）结合，提出了一种平滑的DSAC算法（MoLiNet-DSAC）。

仿真验证

在本节中，通过其在轨迹跟踪任务中的应用来评估MoLiNet-DSAC算法的有效性。

实验验证

在本节中，我们使用MoLiNet-DSAC学习的策略来控制轮式车辆执行轨迹跟踪和碰撞避免任务。

结论

在这项研究中，我们提出了一种具有多维动作平滑能力的RL策略神经网络架构，该架构通过可训练的参数化网络自适应地调节多维动作向量的每个元素的Lipschitz常数，从而实现平滑的控制动作。该网络可以无缝集成到大多数现有的RL算法中，而无需任何修改。此外，为了便于获取平滑的控制策略，我们将其与...

ORCID信息

0000-0002-3697-1576

作者声明

L.C.和X.S.对这项工作做出了同等贡献。J.D.监督了该项目。所有作者都审阅并批准了手稿。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

陈良发于2022年从北京林业大学技术学院获得学士学位，2025年从北京科技大学获得机械工程硕士学位。他目前是SunRising AI有限公司的研究工程师。他的研究兴趣包括强化学习、最优控制和自动驾驶系统的决策制定。