虚拟现实驱动的强化学习方法，用于辅助自动驾驶车辆实现类似人类的个性化决策过程

《ADVANCED ENGINEERING INFORMATICS》：Virtual-real driver augmented reinforcement learning for human-like and personalized decision-making of autonomous vehicles

　　应楠叶|万忠赵|肖川周|钟凯鸾|子瑜张|春燕王
南京航空航天大学能源与动力工程学院，江苏省南京市，210016，中国

**摘要**
类人化和个性化的决策对于提升自动驾驶车辆的决策水平、增加其在社会和用户中的接受度以及实现自动驾驶的信息闭环至关重要。然而，在实现这一目标的过程中仍存在挑战，即目前尚没有一个相对完整的框架能够同时考虑从训练到部署整个过程中的类人化和个性化需求。鉴于此，本文提出了一种虚拟-现实驾驶员增强型从训练到部署的强化学习框架，该框架将改进的人机协作新范式引入学习过程，以实现类人化和个性化的决策。文中提出了一个具有不确定性的虚拟驾驶员模型，并将其引入训练循环中，以指导强化学习代理学习人类驾驶的共性特征。设计了一个集成长尾概率估计的控制权限转移模块，以实现灵活的人机切换，从而实现安全高效的通用策略训练。在部署阶段，当出现偏好冲突时，允许真实驾驶员进行干预并提供指导；同时提出了一种受教育心理学领域启发的有意义接收学习机制，有效筛选个性化指导并避免已获取驾驶能力的灾难性遗忘。仿真实验表明，所提出的方法在确保训练效率和安全性的同时，显著提高了自动驾驶决策的类人化和个性化水平；实际实验进一步验证了其在实际应用中的可行性和工程潜力。

**引言**
作为旨在解放人类双手的关键技术，自动驾驶近年来吸引了学术界和工业界的广泛关注。相应的先进成果已开始应用于各种类型的乘用车[1]。作为自动驾驶系统的重要组成部分，行为决策负责确定驾驶的方向和模式，被视为实现完全自动驾驶技术中的“大脑”。决策方法通常可以分为两类：基于规则的方法和基于学习的方法[2]。前者通常具有高度可解释性，但在复杂和高度动态的环境中经常面临建模逻辑和计算效率的挑战[3]。相比之下，基于学习的方法因其在处理高维信息方面的出色能力而受到越来越多的关注[4]。尽管使用这些方法获得的驾驶策略在许多场景（如高速公路[5]、交叉路口[6]和匝道合并[7]）中表现出良好的驾驶性能，但在可预见的未来，自动驾驶车辆可能仍需与人类驾驶的车辆在道路上共存十年以上。因此，如何使自动驾驶车辆像人类一样做出决策，以便乘客和其他交通参与者能够更好地理解并与其协作，已成为一个需要解决的实际问题，从而提高自动驾驶的社会接受度[8]。
从自然驾驶数据集中提取人类驾驶轨迹的特征用于参数调整或聚类学习是早期类人决策研究的方法之一[9][10]。Hang等人基于真实数据集的分析建立了一个驾驶攻击性模型，并开发了一个结合成本函数多重约束的动态博弈算法，以模拟自动驾驶车辆与人类驾驶车辆之间的互动和决策[11]。尽管这些方法逻辑简单且高度可解释，但它们依赖于大量的手动设置，并且从大量数据中筛选出有价值特征非常耗时。因此，研究人员转向使用与类人决策理论基础一致的学习（IL）方法来训练代理，使其具备类似人类驾驶员的驾驶能力和风格。IL主要包括两种方法：行为克隆（BC）和逆强化学习（IRL）。前者使用监督学习来利用人类驾驶数据训练模型，本质上是“状态”到“动作”的映射[12]。Gu等人结合深度自动编码器网络和XGBoost算法，提出了一个基于行为克隆的类人变道决策模型[13]。Wang等人利用责任敏感安全概念，将先前应用于高速公路驾驶的BC方法扩展到无信号交叉路口场景，以生成高级决策[14]。与直接模仿人类驾驶数据的BC不同，IRL旨在学习人类用于决策的内部奖励函数，因此通常具有更好的可解释性和泛化能力[15][16]。Xu等人基于驾驶员的操作逻辑构建了一个行为模型，并提出了一种基于IRL的车道特征提取方法，从人类示范中学习模型参数[17]。Nan等人提出了一种基于Transformer深度逆强化学习的可解释类人决策方法，并通过实验验证了该方法能够确保高水平的安全性、仿效性和可解释性[18]。然而，基于IL的方法依赖于大量的人类驾驶示范数据，容易受到数据质量和分布变化的影响，可能导致过拟合问题。此外，由于缺乏与环境的互动和明确的任务目标优化机制，这些方法在应对环境变化时往往缺乏足够的灵活性，在某些极端情况下甚至可能存在安全问题。

强化学习（RL）由于其自我探索机制和环境适应性，在处理复杂环境中的决策问题方面展现出巨大潜力，因此已被广泛用于自动驾驶决策。目前，一些研究人员开始将人类智能整合到RL训练循环中，以实现类人决策并提高数据效率[19]。在[20]中，提出了一个将人类视为AI导师的模型，允许人类专家在危险情况下接管控制并提供正确的示范。Huang等人提出了一种具有安全意识的人类在环强化学习方法，通过引入课程指导机制为代理提供连续和间歇性的指导，提高决策安全性，同时使代理学习人类安全驾驶意识[21]。Wu等人提出了一种用于无人地面车辆导航问题的人类引导强化学习框架，允许人类在RL的控制过程中进行干预并按需提供示范，以提高其能力[22]。然而，这些方法通常基于人类策略是确定性和同质性的假设[23]。训练循环中引入的人类指导只能代表部分驾驶员群体，因此训练出的代理往往难以掌握人类驾驶的共性特征。此外，这些方法训练出的同质策略在实践中部署时往往难以满足具有不同驾驶风格的驾驶员的个性化需求（如图1所示的情况）。想象一下，你是一个习惯于提前做出驾驶决策的驾驶员。当自动驾驶系统的制动时机晚于预期时，即使这种制动时机能够确保安全，你也会感到不满甚至恐惧。这种伴随自动驾驶系统部署而来的驾驶偏好冲突不仅限于车辆跟随，还广泛存在于变道、超车和合并等场景中[24][25]。因此，如何实现自动驾驶系统的决策对用户个性化需求的适应是另一个需要解决的实际问题，以提高其用户接受度。为此，Yan等人对自然数据集进行了聚类，探索了不同驾驶风格的真实偏好，并提出了一种以安全为导向的分层个性化驾驶系统[26]。Huang等人使用最大熵IRL从高速公路驾驶数据集中学习个别驾驶员的个性化奖励函数，以实现个性化决策[27]。然而，这些方法依赖于大量的驾驶数据，在部署阶段为每个用户从头开始收集大量数据并训练独特策略是不可行的。尽管一些研究提出使用少量人类示范对训练好的RL代理进行微调技术以快速适应[22][28]，但这种方法可能导致已获取驾驶能力的灾难性遗忘[29]。

总体而言，实现自动驾驶车辆的类人化和个性化决策可以确保它们更自然地融入当前以人为中心的交通生态系统，并在提高其社会接受度、用户满意度和信任度方面具有重要的工程意义。不幸的是，似乎还没有一个相对完整的框架能够从训练阶段到部署阶段全面学习人类驾驶的共性和用户驾驶个性。为弥合这一差距，本文提出了一种虚拟-现实驾驶员增强型强化学习框架，以实现自动驾驶车辆的类人化和个性化决策。所提出框架的核心思想如图1所示。与传统从数据到人的学习过程不同，我们对强化学习算法进行了重大改进，引入了新的人机协作范式，并将其整合到自动驾驶代理的训练和部署过程中。具体而言，图2展示了所提出框架的实现细节。在训练阶段，我们提出了一个具有双重不确定性的虚拟驾驶员模型，并将其引入学习循环中，以指导RL代理学习人类驾驶的共性特征。此外，设计了一个集成长尾概率估计的控制权限转移模块，以实现灵活的人机切换，从而实现安全高效的通用策略训练。在部署阶段，我们允许真实驾驶员在偏好冲突时进行干预并提供指导，并提出了一种受教育心理学领域启发的有意义接收学习机制来学习人类指导。该机制通过设计的干预意义检验器和重要性估计，使代理能够批判性地学习个性化指导并避免已获取驾驶能力的灾难性遗忘。这种方法可以在训练阶段获得最初具备人类驾驶共性的通用类人策略，并在部署阶段利用用户的小规模驾驶示范数据，实现向满足用户驾驶偏好的独特个性化策略的有效过渡。在两个具有挑战性的仿真场景和真实世界中进行的实验结果表明，与先进的基线方法相比，所提出的方法在类人性、安全性和训练效率方面具有优势，并具有良好的工程应用潜力。据我们所知，这是第一个将改进的人机协作新范式引入学习过程以实现类人化和个性化决策的完整从训练到部署框架。本文的主要贡献可以总结如下：
• 提出了一种完整的虚拟-现实驾驶员增强型强化学习框架，将改进的人机协作新范式引入学习过程，从而实现从训练到部署的人类驾驶共性和个性的全面学习。
• 提出了一个具有双重不确定性的虚拟驾驶员模型，并将其整合到强化学习的训练循环中，使RL代理能够在不依赖大量手动干预的情况下学习具有共性人类驾驶特征的通用策略。此外，设计了一个集成长尾概率估计的控制权限转移机制，以实现学习过程中的人机协作式安全高效训练。
• 提出了一种受教育心理学领域知识构建理论启发的有意义接收学习机制。该机制引入了干预意义检验器来筛选个性化干预，并通过参数重要性估计保持已获取的驾驶能力，从而在个性化部署阶段有效适应驾驶员的个体驾驶偏好，同时有效避免灾难性遗忘。
• 在两个典型驾驶场景中充分验证了训练出的自动驾驶代理在训练效率、安全性和类人性方面的性能。此外，该算法已在真实硬件平台上进行部署，以进一步验证其在车载条件下的决策性能及其在工程应用中的潜力。

**余下内容安排如下**我们在第2节中提出了初步方法，并在第3节中对所提出的方法论进行了详细阐述。第4节描述了实验程序。第5节展示了仿真和真实世界实验的结果。最后，第6节总结了本工作得出的主要结论。

**初步内容**
自动驾驶的决策问题可以表述为一个标准的马尔可夫决策过程（MDP），其定义为元组{S, A, P, R, γ}。在每个时间步t，自动驾驶代理从环境中感知到状态st∈S，并根据该状态生成并执行一个动作at∈A。对于每个动作，环境会产生相应的奖励rt=R(st, at)，并基于转移概率P(st+1|st, at)转移到新的状态st+1∈S。基于此，强化学习（RL）的基本目标得以实现。

**方法论**
所提出方法的框架如图2所示，分为训练阶段和部署阶段。在训练阶段，代理和预训练的具有不确定性的虚拟驾驶员模型（VDU）接收环境状态st并输出相应的动作。执行更好的动作并将其存储在缓冲区中，代理从缓冲区中采样元组并学习具有典型人类驾驶特征的一般策略。

**驾驶场景设置**
为了评估所提出方法的性能，在SMARTS模拟器[42]中构建了一个包含接近真实世界交通流的模拟驾驶环境。如图6所示，仿真实验基于两个具有挑战性的自动驾驶场景，即出口匝道场景和未受保护的左转场景。在总长度接近400米的出口匝道场景中，自动驾驶车辆位于四车道公路的最左侧车道，其任务是...

**训练性能评估**
图7展示了所提出算法与其他基线算法的学习曲线。每种算法都使用五种不同的随机种子进行运行，以测量统计数据并评估性能。图中每条曲线的灰色阴影区域代表五次运行的方差，反映了每种方法的鲁棒性。观察学习曲线可以发现，与其他算法相比，所提出的方法显示出最快的收敛速度和最高的奖励水平。

**结论**
在本文中，我们提出了一个虚拟-真实驾驶员增强的强化学习框架，以实现具有驾驶风格和个性化适应的自动驾驶决策。为此，我们提出了一个具有双重不确定性的虚拟驾驶员模型，并将其集成到强化学习训练循环中，以指导代理学习人类驾驶的共性。在此基础上，设计了一个结合长尾率评估的控制权转移模块来评估...

**CRediT作者贡献声明**
叶颖楠：撰写——原始草稿、可视化、软件、方法论、概念化。赵万忠：撰写——审阅与编辑、资金获取、概念化。周晓川：撰写——审阅与编辑、调查、概念化。栾忠凯：撰写——审阅与编辑、概念化。张子宇：撰写——审阅与编辑、概念化。王春燕：撰写——审阅与编辑、概念化。

**利益冲突声明**
作者声明他们没有已知的可能会影响本文所述工作的财务利益或个人关系。

**致谢**
本工作部分得到了中国国家自然科学基金（项目编号U24A20199和52372390）、江苏省重大科技项目（项目编号BG2024038）以及教育部直属高校服务江苏省高质量发展专项项目的支持。