可重构地面车辆的近距离对接控制：基于模型引导的强化学习与鲁棒的预测安全滤波器

《Engineering Applications of Artificial Intelligence》：Close-range docking control for reconfigurable ground vehicles: Model-guided reinforcement learning with robust predictive safety filter

可重构地面车辆（RGV）在近距捕获阶段（CCS）的自主对接控制，提出基于双延迟确定性策略梯度（TD3）和鲁棒预测安全滤波器（RPSF）的模型引导强化学习框架。通过理论转向半径角θR和侧滑角βR作为广义控制输入，动态调整瞬时旋转中心（ICR），实现毫米级对接精度。

　　在当前的智能交通和自动化领域，重新配置地面车辆（Reconfigurable Ground Vehicles, RGV）正成为研究热点。这类车辆通常配备全轮独立转向（All-Wheel Independent Steering, AWIS）系统，使其能够根据任务需求灵活调整行驶姿态，从而实现更高的适应性和操作灵活性。然而，尽管AWIS提供了优越的机动性，但在进行高精度自主对接（Autonomous Docking）时，尤其是在近距离捕捉阶段（Close-Range Capture Stage, CCS）仍面临诸多挑战。为此，本文提出了一种基于双延迟深度确定性策略梯度（Twin Delayed Deep Deterministic Policy Gradient, TD3）和鲁棒预测安全过滤器（Robust Predictive Safety Filter, RPSF）的新型控制策略，以提升RGV在CCS阶段的对接精度和安全性。

RGV作为一种新型的智能车辆，其核心优势在于能够通过模块化设计实现多种配置。这种灵活性使得RGV在军事和民用领域具有广泛的应用前景。然而，这种配置的多样性也带来了控制上的复杂性。尤其是在进行自主对接任务时，车辆需要在有限的空间内精准调整位置和姿态，这要求控制策略具备高度的适应性和鲁棒性。本文提出的控制方法不仅能够有效应对这些挑战，还通过引入鲁棒预测安全过滤器，确保在对接过程中始终满足状态和控制约束，从而提高整体的安全性和控制精度。

当前的RGV对接控制研究主要集中在传统的前轮转向车辆上，其控制输入通常仅限于前轮的转向角度。这种控制方式虽然在某些场景下表现良好，但其局限性在于无法充分利用AWIS系统提供的多种运动模式，如零半径转向、对角转向和偏航转向。这些模式在狭小空间内能够显著提升车辆的机动性和适应性，因此，如何在对接控制中合理利用这些模式成为研究的关键。本文提出的方法通过将理论转向半径角度（Theoretical Steering Radius Angle, θR）和理论侧滑角度（Theoretical Sideslip Angle, βR）作为广义控制输入，实现了对车辆姿态的动态调整，从而在对接过程中达到毫米级的精度。

此外，现有的对接控制方法在处理约束条件时往往存在不足。尽管强化学习（Reinforcement Learning, RL）在自主驾驶和路径跟踪任务中表现出色，但在实际应用中，RL算法通常无法显式地处理状态和控制约束，导致在某些复杂场景下出现控制误差或安全风险。为此，本文引入了鲁棒预测安全过滤器（RPSF），该过滤器通过反馈补偿机制，有效减少了模型与实际车辆之间的不匹配问题。同时，RPSF还通过在线优化算法，确保在对接过程中始终满足各种约束条件，从而提高系统的稳定性和安全性。

本文的研究方法主要分为三个阶段：远程接近阶段（Long-Range Approach Stage, LAS）、近距离捕捉阶段（Close-Range Capture Stage, CCS）和灵活对接阶段（Flexible Docking Stage, FDS）。其中，CCS阶段是对接控制的关键，因为它决定了车辆能否在有限的空间内精准对接。为此，本文提出了一种基于模型引导的TD3控制策略，并结合RPSF进行安全校正。该策略的核心在于通过理论转向半径角度和理论侧滑角度作为广义控制输入，实现对车辆姿态的动态调整。这种调整方式能够显著提高对接精度，同时减少对接所需的时间和空间。

在具体实现上，本文提出了一种基于模型引导的强化学习训练框架。该框架利用AWIS-RGV的理论动态模型作为训练环境，通过离线计算获得最优的控制-状态序列，作为强化学习代理的先验经验。这一经验预处理机制能够有效避免初始训练阶段中的无效探索，从而提高网络训练的效率。此外，为了进一步提升控制策略的鲁棒性，本文还引入了鲁棒预测安全过滤器（RPSF），该过滤器能够实时补偿模型与实际车辆之间的误差，确保在对接过程中始终满足各种约束条件。

实验部分表明，该方法在模拟环境中表现出色。通过大量的仿真测试，验证了基于模型引导的强化学习（Model-Guided Reinforcement Learning, MGRL）和鲁棒预测安全过滤器（RPSF）在CCS阶段对接控制中的有效性。实验结果表明，该方法能够在有限的空间内实现毫米级的对接精度，同时保持较高的控制效率和安全性。这不仅证明了所提出方法的可行性，也为未来RGV的自主对接控制提供了新的思路和方法。

本文的研究团队在该领域有着丰富的经验。他们提出了重新配置地面车辆（RGV）的概念，并开发了多个原型，包括控制重新配置（Wang et al., 2025）、能量重新配置（Yang and Ni, 2024）和运动规划（Cen et al., 2024a, Cen et al., 2024b, Ma et al., 2024a）等关键技术。这些研究为RGV的自主对接控制奠定了理论基础和技术支持。同时，该团队在多个相关领域也进行了深入探索，包括航空航天（Xiao et al., 2022, Hu et al., 2023a）、导航（Kayacan et al., 2019, Park et al., 2019）和机器人技术（Song et al., 2022, Lashkari et al., 2020, Kyaw et al., 2022）等。

在实际应用中，AWIS系统能够提供更高的机动性和灵活性，使得RGV在复杂环境中具备更强的适应能力。例如，Zhang et al.设计了一种四轮独立转向和驱动（4WISD）的乘用车，通过改进前轮转向机制和全向独立转向（OIS）机制，实现了零半径转向和横向停车。这种设计不仅提高了车辆的操控性能，还为RGV的自主对接控制提供了新的可能性。此外，Xu et al.开发了一种六轮独立驱动和四轮独立转向（6WID/4WIS）的无人地面车辆，通过变量轮距设计，分析了其越障能力和俯仰稳定性。这些研究进一步证明了AWIS系统在复杂环境中的应用价值。

在对接控制方面，本文的研究方法不仅考虑了车辆的运动模式，还注重了系统的安全性和稳定性。传统的对接控制方法通常依赖于模型预测控制（Model Predictive Control, MPC）或滑模控制（Sliding Mode Control, SMC）等技术，这些方法在处理非线性问题和复杂场景时可能存在一定的局限性。例如，Wang et al.提出了一种基于滑模控制的对接方法，但其在非线性问题中的控制精度可能受到影响。Li et al.则采用模型预测控制方法，但在复杂场景下可能需要较长的计算时间。因此，如何在对接控制中兼顾精度和效率，成为研究的重要方向。

本文提出的基于模型引导的强化学习（MGRL）和鲁棒预测安全过滤器（RPSF）的控制策略，能够有效克服这些挑战。MGRL通过利用AWIS-RGV的理论动态模型作为训练环境，提前计算出最优的控制-状态序列，作为强化学习代理的先验经验。这种经验预处理机制能够显著提高训练效率，减少无效探索，从而提升整体的控制性能。RPSF则通过反馈补偿和在线优化机制，确保在对接过程中始终满足各种约束条件，提高系统的安全性和稳定性。

实验结果表明，该方法在模拟环境中能够实现毫米级的对接精度。通过大量的仿真测试，验证了该方法在不同场景下的适应性和有效性。同时，实验结果还表明，该方法能够有效利用AWIS系统的灵活性，提高对接效率。此外，该方法在处理约束条件时表现出色，确保了对接过程中的安全性。这些结果不仅证明了所提出方法的可行性，也为未来RGV的自主对接控制提供了新的思路和技术支持。

本文的研究方法在理论和实践上均具有重要意义。在理论层面，该方法通过引入模型引导的强化学习框架，提升了对接控制的精度和效率。在实践层面，该方法通过结合鲁棒预测安全过滤器，确保了对接过程中的安全性。这些创新点不仅为RGV的自主对接控制提供了新的解决方案，也为其他类型的智能车辆的控制策略提供了借鉴。此外，该方法在处理约束条件时表现出色，能够有效避免安全风险，提高系统的鲁棒性。

综上所述，本文的研究成果为RGV的自主对接控制提供了新的思路和技术支持。通过结合模型引导的强化学习和鲁棒预测安全过滤器，该方法能够在有限的空间内实现毫米级的对接精度，同时确保对接过程中的安全性。这些创新点不仅提升了RGV的控制性能，也为其他类型的智能车辆的控制策略提供了借鉴。未来，随着技术的不断发展，这种控制方法有望在更广泛的场景中得到应用，为智能交通和自动化领域的发展做出贡献。