面向不完美教师指导下自动驾驶协作决策的归因引导鲁棒强化学习

《Neurocomputing》：Attribution-guided robust reinforcement learning for autonomous driving collaborative decision-making with imperfect teachers

　　

摘要
师生框架（TSFs）已被广泛用于通过允许预训练教师指导智能体训练来提高强化学习的安全性和效率。然而，现有的基于 TSF 的方法主要迁移动作级知识，而忽视了教师的决策逻辑。此外，它们通常假设教师在目标环境中是可靠的，当教师不完美时，这可能导致负迁移。为了解决这些问题，本文提出了一种归因引导的协同决策（AGCD）框架，以促进高效和鲁棒的知识迁移。AGCD 将教师知识分解为动作级和归因级知识。动作级知识通过在线动作干预和对动作偏好分布的库仑 - 莱布勒（KL）散度约束进行迁移。归因级知识是通过从教师和学生的 Q 网络在线提取基于显著性的归因图获得的，并通过归因一致性约束进行迁移。此外，AGCD 使用师生归因一致性作为兼容性信号来自适应地调节教师指导，在利用可迁移的教师知识的同时，抑制不兼容教师的误导影响。在多种教师设置下的高速公路巡航和匝道汇入场景中的实验表明，AGCD 持续提高了训练效率和安全系数。特别是在不完美教师设置下，与不完美教师相比，AGCD 将最终成功率提高了多达 31.5 个百分点，与无教师基线相比，将训练碰撞减少了多达 58.1%。基于显著性的归因分析进一步增强了模型决策和知识迁移过程的透明性。

引言
随着自动驾驶技术的快速发展，利用智能系统来提高道路上的安全性和效率引起了越来越多的兴趣。在自动驾驶系统中，决策模块充当车辆的“大脑”，负责处理环境信息并生成高级驾驶意图。因此，决策算法的性能对自动驾驶车辆的安全性和有效性至关重要。现有的决策方法大致可分为两类范式：知识驱动和数据驱动方法。知识驱动方法，如分层状态机（HSM）[1]、专家系统（ES）[2] 和有限状态机（FSM）[3]，因其严谨的逻辑和高度可解释性 [4] 而备受重视。然而，这些方法通常缺乏自学习能力，使其不适合处理复杂场景 [5]。相比之下，数据驱动方法，如监督学习 [6]、模仿学习（IL）[7] 和强化学习（RL）[8]，[9]，由于其强大的自学习能力和适应各种环境的能力，已成为研究的重点。特别是，深度强化学习（DRL）算法通过与环境实时交互来优化决策策略，在复杂场景的决策任务中取得了显著成功 [10]，[11]。

尽管具有这些优势，传统的 DRL 算法通常依赖于随机探索，这可能是危险且低效的 [12]。为了解决这个问题，许多研究人员将师生框架（TSFs）[13] 集成到 DRL 中，使用表现良好的神经控制器或人类专家作为教师策略。在训练期间，当学生的行为满足特定条件时，教师进行干预，防止不受限制探索所带来的风险。从教师和学生的策略中收集的在线数据存储经验回放缓冲区，并通过模仿学习或异策略 RL 算法来优化学生模型。这种受保护的政策优化流水线增强了安全性 [13]，同时促进了有效的探索 [14]。代表性方法包括师生共享控制（TS2C）[15]，它通过教师动作干预来提高学生探索，以及简单到复杂协同决策（S2CD）[16]，它进一步引入了库仑 - 莱布勒（KL）散度约束来在动作级别迁移教师知识。

然而，现有的基于 TSF 的方法仍然存在两个主要限制。首先，它们主要迁移动作级教师知识，如动作、价值估计或演示，而忽视了解释教师为何做出决策的归因级知识。因此，知识迁移在很大程度上局限于行为模仿，教师的决策理由仍未得到充分利用 [17]，[18]，[19]。其次，大多数基于 TSF 的方法假设教师在目标环境中是可靠的。在实践中，为每个目标场景获取高性能教师代价高昂且往往不切实际。当教师无法提供高质量的动作演示时，学生可能会被误导，其学习到的策略可能会受到教师局限性的约束 [15]。

为了解决这些限制，本文介绍了归因引导的协同决策（AGCD）框架，这是一种新型的基于 TSF 的 DRL 方法，使教师能够通过迁移动作级和归因级知识来指导学生训练。

在动作级别，教师通过在线动作干预提高训练安全性。同时，学生受到 KL 散度约束 [16] 的指导，该约束鼓励学生接近教师的动作偏好。AGCD 没有同步削弱所有形式的教师指导，而是将在线干预与训练约束解耦。KL 约束逐渐减弱以避免过度约束学生，而在线干预在探索期间保留以保护学生免受不安全行为的影响。

除了传统的动作级迁移外，AGCD 通过基于显著性的归因迁移教师的决策逻辑。具体而言，归因图从教师和学生的 Q 网络中在线提取，它们的一致性用于构建归因约束。通过迁移归因级知识，鼓励学生不仅学习教师偏好的动作，还学习教师在做出决策时关注哪些输入特征。

此外，AGCD 引入了一种主动适应机制，以选择性利用不完美教师的有用知识。具体而言，它在训练期间跟踪师生归因一致性，以评估目标环境中教师知识的兼容性。当学生学到的归因模式与教师一致时，教师知识被视为兼容，可以利用它来加速学习。相反，当学生的归因模式与教师有很大不同时，教师知识被视为兼容性较低；在这种情况下，AGCD 抑制归因迁移并减少教师干预以避免负迁移。本文的主要贡献如下：

•本文提出了 AGCD，将教师 - 学生知识迁移从动作级指导扩展到动作级和归因级的联合迁移，从而更有效地利用教师知识。与主要依赖动作级知识的现有 TSF 方法（如 TS2C [15] 和 S2CD [16]）不同，AGCD 进一步利用师生归因一致性来评估教师知识与目标环境的兼容性，并在不完美教师设置下自适应地调节教师指导。

•AGCD 将基于显著性的归因作为在线知识迁移的主动组成部分，而不是将其用途限制在事后解释上。还提供了基于显著性的归因分析，以提高策略行为和知识迁移过程的可解释性。

•在匹配良好和不完美教师设置下的高速公路巡航和匝道汇入场景中进行了全面实验。实验结果表明，AGCD 提高了知识迁移效率，减轻了负迁移，并在教师在目标环境中表现不佳时保持鲁棒性能。

本文的结构如下。第 2 节回顾了 DRL 中 TSFs 和决策归因的文献。第 3 节描述了所提出的 AGCD 框架。第 4 节介绍了仿真环境和实验实施。第 5 节报告和分析了仿真结果。第 6 节提供了策略行为和知识迁移的可解释性分析。最后，第 7 节总结了论文并讨论了未来的研究方向。

章节片段
深度强化学习中的师生框架
深度强化学习（DRL）在解决复杂顺序决策任务方面显示出巨大的潜力 [20]。最近的研究进一步将 DRL 应用于复杂和动态环境中的自主系统智能协同规划和决策，如多智能体路径规划 [10] 和自适应碰撞规避 [11]。然而，DRL 智能体在训练开始时通常缺乏先验知识，因此依赖于低效且可能不安全的

方法论
本节介绍了所提出的 AGCD 框架。由于 AGCD 允许教师干预学生的探索，收集的转移是由混合教师 - 学生策略生成的，而不是仅由学生策略生成的。因此，采用异策略基于价值的方法作为学习骨干。我们首先介绍双 DQN (DDQN) [45] 预备知识，然后描述 AGCD，包括基于显著性的归因提取、动作级干预和演示，

实施
本节描述了实验实施。我们首先介绍了实验中使用的驾驶场景和模拟器，以及选择它们的理由。然后我们指定了观察空间、动作空间和用于将驾驶决策任务制定为马尔可夫决策过程（MDP）的奖励函数。最后，我们描述了本研究中构建的教师设置，用于在匹配良好的

仿真结果
我们从三个角度进行实验以评估 AGCD。首先，在匹配良好的教师下，我们检查将归因级知识引入 TSF 是否可以在仅依赖动作级知识的 TSF 基线之上提高学习性能。其次，在不完美教师下，我们调查 AGCD 是否可以选择性利用可迁移的教师知识同时避免负迁移。第三，我们评估 AGCD 是否在不同的

可解释性分析
本节为学习到的驾驶策略提供基于显著性的归因解释，旨在提高策略行为和知识迁移过程的可解释性。具体而言，我们首先分析 MetaDrive 中的换道决策，以显示归因可以提供超出动作偏好的额外场景级知识。然后，使用相同的切入稀有事件，我们将对稀有事件盲目的教师与在稀有事件环境中训练的学生进行比较。

讨论与结论
在本工作中，我们提出了 AGCD，一种归因引导的协同决策框架，它使用归因信号来促进基于 TSF 的 DRL 中的鲁棒和高效知识迁移。AGCD 将教师知识分解为动作级和归因级知识，并根据教师与目标环境之间的兼容性选择性地迁移它们。

在 AGCD 中，动作级知识通过在线动作干预和基于 KL 的

CRediT 作者贡献声明
Jiakun Huang：撰写 – 初稿，可视化，验证，软件，概念化。Mingjun Li：撰写 – 审阅与编辑，方法论，资金获取，概念化。Rongliang Zhou：撰写 – 审阅与编辑，形式分析，数据整理。Binlin Yi：可视化。Jing Luo：撰写 – 审阅与编辑，可视化，形式分析。Qing Ye：验证，数据整理。Xiaolin Song：撰写 – 审阅与编辑，监督，概念化。

竞争利益声明
作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。

致谢
这项工作得到了国家自然科学基金（NSFC）的资助，批准号为 52402495 和 51975194。

Jiakun Huang 于 2021 年获得湖南大学车辆工程学士学位。他目前正在中国湖南长沙湖南大学机械与车辆工程学院攻读机械工程博士学位。他的研究兴趣包括自动驾驶中的可解释性、符号回归和强化学习。

Jiakun Huang|Mingjun Li|Rongliang Zhou|Binlin Yi|Jing Luo|Qing Ye|Xiaolin Song
车辆先进设计与制造技术国家重点实验室，湖南大学，中国长沙，410082