基于卡尔曼滤波器自编码器方法的鲁棒强化学习在容错自动驾驶中的应用

《IEEE Open Journal of Intelligent Transportation Systems》：Robust Reinforcement Learning for Fault-Tolerant Autonomous Driving Using a Kalman-Filter Autoencoder Approach

　　

摘要：

在存在传感器噪声、数据缺失和执行器故障的情况下，确保自动驾驶的可靠性和安全性是强化学习（RL）系统面临的主要挑战。这些故障会干扰感知和控制流程，导致不安全的行为和不稳定的策略。尽管基于RL的驾驶策略在结构化的仿真环境中表现出了潜力，但在现实世界的传感器损坏和执行器故障下，它们的性能往往会下降，这凸显了需要注重鲁棒性的设计。为了解决这个问题，我们提出了卡尔曼滤波器自编码器（KFAE）方法，该方法将去噪自编码器与卡尔曼滤波器结合在一起，生成时间一致且具有故障抵抗力的潜在状态表示，用于策略学习。这种设计使RL代理能够在动态和不确定的环境中更稳健地运行。我们在注入故障的驾驶环境中对该模型进行了评估，并与噪声环境（NE）基线进行了对比。评估涵盖了四个实验阶段。在第一阶段，KFAE将碰撞次数（CC）减少了64.3%，同时将碰撞前的行驶步数（STC）增加了9.5%，并将剧集奖励平均值（ERM）提高了133.8%。在第二阶段，对十个故障参数的敏感性分析显示，ERM提高了129.3%，STC提高了161.2%，CC减少了92.9%。在第三阶段，通过27个由田口设计的高维故障场景，KFAE在ERM上平均获得了417%的提升，在STC上获得了196%的提升，并且CC减少了66.7%。从简单的高速公路环境到交互更复杂的交叉口任务的这一进展，证明了该方法的可扩展性，并反映了更接近城市驾驶挑战的条件。在第四阶段，我们将评估扩展到了更复杂的交叉口-v0环境，该环境的特点是存在交叉交通和更多的冲突点。以CC作为最关键的安全指标，KFAE在大多数实验中始终实现了比NE基线更低的CC值，其中一些实验中的减少幅度超过了50%...

显示更多