基于大视觉语言模型的乘员感知自动驾驶决策方法

《Machines》：Occupant-Aware Decision-Making with Large Vision-Language Model for Autonomous Vehicles Titong Jiang, Xinyu Zhao, Xuewu Ji and Yahui Liu

　　

自动驾驶（AD）已成为一项具有变革潜力的技术，有望将人类从手动驾驶需求中解放出来，并提供更安全、更舒适、更高效的驾驶体验。然而，大多数AD系统仅基于车辆动力学和道路条件、周围车辆等环境因素做出决策，而忽略了乘员的主观感受和体验等心理状态。因此，自动驾驶车辆（AVs）往往无法满足乘员的身心需求，最终导致驾驶体验受损。在本研究中，研究人员针对AD系统提出了一种乘员感知决策范式（ODP）。ODP首先通过乘员监测系统（OMS）感知与心理状态密切相关的身体和生理状态，例如面部表情和生理信号。然后，大型视觉语言模型（VLM）利用链式思维（CoT）技术处理乘员的身体和生理状态，以分析乘员的心理状态并推断乘员的需求。最后，VLM做出符合乘员需求和偏好的驾驶决策。实验结果表明，与现有方法相比，ODP能够做出与乘员实际需求更显著匹配的决策。

自动驾驶（Autonomous Driving, AD）技术虽有望提升交通安全与效率，但公众接受度长期停滞，根本原因在于现有AD系统仅依据车辆动力学和道路、周围车辆等环境因素决策，完全忽略乘员的主观感受与心理状态（如紧张、放松等），无法实时满足其动态需求。传统个性化方法（显式模式选择、历史数据隐式适应、环境中心决策）均假设乘员需求静态，缺乏对心理状态的理解与适应。因此，将乘员心理状态纳入决策过程是提升用户体验与信任的关键。针对上述问题，Titong Jiang、Xinyu Zhao、Xuewu Ji和Yahui Liu在发表于《Machines》的研究中提出一种乘员感知决策范式（Occupant-aware Decision-making Paradigm, ODP），该范式通过三个阶段实现乘员中心的决策：首先利用乘员监测系统（Occupant Monitoring System, OMS）感知乘员身体与生理信号（面部表情、心率、心率变异性HRV、巴耶夫斯基压力指数BSI）；然后采用大型视觉语言模型（Large Vision-language Model, VLM）并借助链式思维（Chain of Thought, CoT）技术系统分析心理活动、推断乘员需求；最后VLM生成符合需求的驾驶决策（16种元动作，如加速、减速、变道等）。研究人员还构建了大规模乘员中心决策数据集以支撑模型开发与验证。实验表明ODP能显著优于现有方法，有效理解并适应乘员实时需求，为个性化、舒适、可信的自动驾驶奠定基础。

关键技术方法（不超过250字）：主要关键技术包括（1）OMS，通过面部相机实现表情识别与远程光电容积描记（rPPG）以获取心率、HRV并计算BSI；（2）VLM（Qwen3-VL-8B-Instruct，8B参数）处理场景视频、乘员面部视频、车辆动力学及生理信号等多模态输入；（3）CoT技术，将决策任务分解为场景理解、心理活动分析、主观感受估计三个子任务，增强推理可解释性；（4）大规模乘员中心数据集，采集自42名中国参与者（年龄18-61岁，52%男性/48%女性，14人无驾驶经验），在吉利星越L SUV（手动驾驶）与IM LS6 SUV（NOA系统）两辆车上，沿16km含城市道路、高速、隧道等多样场景的路线，通过摄像头与脉搏血氧仪同步记录车辆状态、乘员状态，并由参与者以5点Likert量表评价主观感受（安全感、舒适感、行驶效率），通过手机app记录期望决策，共获得31.4小时、15,251个决策注释。

研究结果：
3.1 对比实验：将ODP与最先进的VLM决策方法DriveLM及使用主观感受真实值的基于规则方法比较。在测试集（3050注释）上，ODP整体决策准确率达86.46%，显著高于DriveLM的67.48%；在划分的安全关键（85.77%）、舒适关键（86.40%）和效率关键（87.32%）三类场景中，ODP均稳定优于DriveLM。混淆矩阵显示ODP在16种元动作中12种准确率超80%，但存在拒绝极端决策（如急加速常被替换为加速）和左右方向偏差等问题。
3.2 消融研究：通过去掉微调（准确率18.95%）、去掉乘员信息（51.37%）、去掉CoT（47.41%）等变体，验证了微调和CoT的关键作用。数据混合实验表明，同时包含手动和自动驾驶数据的子集训练效果最佳；模型架构对比中Qwen3-VL-8B优于Qwen2.5-VL-7B和Qwen3-VL-4B，证明先进架构提升性能。
3.3 主观感受估计测试：采用平衡准确率、F1分数和皮尔逊相关系数（Pearson r）评价ODP对安全感、舒适感和效率感的估计能力。结果显示所有维度r均超过0.85（如安全感0.87、舒适感0.86、效率感0.89），表明估计与真实体验高度一致。
3.4 案例研究：正例中前车减速但乘员面部放松、心率平稳，ODP推断其不焦虑而选择左微调满足效率需求；反例中路口左转时乘员不满意效率，ODP决策左微调试图超车却忽略左侧非驾驶区域，导致错误，揭示了客观安全与主观感受的权衡。

总结讨论：本研究将乘员心理状态融入自动驾驶决策，利用VLM和CoT实现需求感知与匹配，并通过大量实验验证有效性。研究结论翻译如下：在本研究中，研究人员提出了一种新颖的乘员感知决策范式（ODP），将乘员整合到自动驾驶车辆（AVs）的决策过程中。该范式基于一个理念：乘员的情绪状态和对车辆状态的主观感知是做出满足其需求的驾驶决策所必需的。为此，研究人员利用大型视觉语言模型（VLM），通过精心设计的链式思维（CoT）推理过程分析乘员的心理活动，并做出能更好匹配乘员需求的驾驶决策。为支持ODP的开发和验证，研究人员构建了一个大规模乘员中心决策数据集，该数据集包括自然驾驶数据以及乘员的状态、主观感受和期望的驾驶决策。在已构建数据集上的综合实验表明，ODP显著优于最先进的基于VLM的决策方法，验证了其有效性和乘员感知能力。消融研究进一步证实了ODP中提出的技术，包括专门的微调和CoT推理的有效性。案例研究详细说明了ODP的思维过程，深入揭示了ODP如何理解和适应乘员需求。此外，由于ODP设计为完全在车载平台上运行（包括OMS和AD系统），乘员的敏感生物特征数据不会泄露到外部服务器，从而保护了用户隐私。总体而言，本研究强调了将乘员感知纳入AD系统的重要性，为更个性化、更舒适、更可信的自动驾驶体验铺平了道路。由于本研究是关注将乘员整合到AVs决策过程的初步工作之一，研究人员承认以下局限性：（1）所提出的范式仍处于早期阶段，需要改进乘员状态估计准确性、CoT推理有效性和泛化能力，且可能危安全，须严格测试。（2）数据集规模和多样性有限，当前随机分割可能导致数据泄漏，未来需参与者独立分割。（3）实验有限需更全面评估。（4）基于云平台开发的VLM尚不确定能否实际部署。（5）未考虑违背乘员偏好以保安全的情况。未来工作将致力于解决这些局限，推动乘员感知AD系统发展。