不确定性条件下安全关键驾驶的驾驶员准备度贝叶斯多模态估计:基于自适应传感器融合

《RELIABILITY ENGINEERING & SYSTEM SAFETY》:Bayesian Multimodal Estimation of Driver Readiness via Adaptive Sensor Fusion for Safety-Critical Driving under Uncertainty

【字体: 大 中 小 】 时间:2026年08月29日 来源:RELIABILITY ENGINEERING & SYSTEM SAFETY 13.7

编辑推荐:

   •提出了一种优化引导的贝叶斯驾驶员就绪度估计框架。 •引入了具有时变可靠性加权的自适应多模态融合方法。 •能够在不要求严格对齐的情况下处理异步、有噪声且不完整的传感器数据。 •在真实的退化及传感器故障场景下评估了鲁棒性。 •为安全攸关的人机系统提供了一种与模态无关的框架。

  

•提出了一种优化引导的贝叶斯驾驶员就绪度估计框架。
•引入了具有时变可靠性加权的自适应多模态融合方法。
•能够在不要求严格对齐的情况下处理异步、有噪声且不完整的传感器数据。
•在真实的退化及传感器故障场景下评估了鲁棒性。
•为安全攸关的人机系统提供了一种与模态无关的框架。

引言

确保驾驶员的就绪度与参与度是安全攸关的自动化及半自动化车辆的基本要求。在本研究中,驾驶员就绪度指的是驾驶员在被要求时能够安全接管控制权的持续能力,它不仅涵盖瞬时的可观测状态(例如闭眼或头部姿态),还包括潜在认知参与度、生理警觉度以及随时间推移的响应准备状态。与传统的驾驶员状态检测不同——后者关注的是困倦或分心等瞬时状况——就绪度本质上是相对的且具有目标导向性:它反映了当前驾驶员状态与安全操作所需的参与度目标水平之间的对比关系。这一解释与新兴的驾驶员监控标准和指南一致,例如ISO/TC22/SC39/WG8[26]中所讨论的标准,这些标准强调持续评估驾驶员状态并参照基准或目标状态,当就绪度低于可接受阈值时触发分级干预措施。

随着现代车辆越来越多地集成高级驾驶辅助系统(ADAS)和条件自动化[24,19],人类驾驶员的角色正从持续手动控制转变为间歇性监督和接管。驾驶员监控的失效已直接与条件自动化驾驶中的不安全接管和事故相关联,在这种场景下,系统依赖及时且适当的人类干预。实证研究表明,在控制交接期间,延迟或不专注的接管会显著增加碰撞风险,尤其是在驾驶员脱离或认知上未做准备时。鉴于这些风险,新兴法规和标准明确规定要求对自动驾驶车辆进行持续的驾驶员监控。例如,联合国欧洲经济委员会法规第157号(自动车道保持系统,ALKS)要求在控制权委托或维持之前确认驾驶员的注意力和就绪度;预期功能安全(ISO 21448, SOTIF)强调对感知和认知局限导致的人机交互失效进行鲁棒监控。这些要求表明,驾驶员监控不仅仅是便利功能,而是受法规约束的安全攸关功能。

在此背景下,驾驶员就绪度被解释为一种潜在可用性指标,驾驶员监控系统必须持续跟踪这一指标,以反映持续的注意力、警觉性以及在被要求时安全接管控制的能力。就绪度不应被视为二值检测问题(例如困倦与警觉),而应相对于与安全相关的目标状态进行定义,这与监管和系统层面的视角一致。这一解释强调持续评估驾驶员干预备份程度及其相关不确定性,从而在就绪度低于可接受阈值时实现分级和自适应的系统响应。

驾驶员监控系统(DMS)已成为安全自动化的关键使能技术,并在新近的安全标准和法规框架中得到了明确引用。随着道路车辆达到SAE第2-3级自动化[8,17],人类驾驶员的角色从持续手动控制转变为间歇性监督和接管。在这些模式下,安全性关键取决于驾驶员在自动化系统达到其操作极限时能否安全且及时地接管控制。因此,驾驶员监控系统(DMS)已成为自动驾驶车辆不可或缺的组成部分,新兴法规和标准明确要求在条件自动化期间验证驾驶员的注意力和就绪度。然而,大多数现有DMS主要关注检测分心或困倦的瞬时和可见线索,而未能提供关于驾驶员干预备份程度的持续且具备不确定性感知的模型。本文认为,将驾驶员就绪度形式化为受疲劳、工作负荷和系统交互塑造的持续演化潜在状态,对于实现自动驾驶中安全攸关的决策至关重要。

早期DMS主要依赖基于视觉的方法,关注可观测的面部线索,如眼睑闭合、视线方向、眨眼频率和打哈欠次数。眼睑闭合百分比(PERCLOS)[1]和嘴部张开比等指标因其简单性和可解释性而被广泛采用。

随着深度学习的兴起,基于卷积神经网络(CNN)的模型在受控且照明良好的条件下实现了驾驶员困倦和分心分类的高准确率[2,5],利用的眼部闭合、视线方向和嘴部动态等面部线索。然而,多项研究报告指出,此类基于视觉的检测器在真实驾驶场景中性能大幅退化,其中夜间照明、面部部分遮挡(例如太阳镜或手部)、摄像头对齐偏差和驾驶员间差异等因素普遍存在。例如,照明不足或遮挡已被证明可使基于面部特征检测的准确率降低数十个百分点,在安全攸关监控最需要的条件下反而削弱了可靠性。

为克服仅依赖视觉的驾驶员监控的局限性,近期研究越来越多地整合互补传感模态。例如,生理信号提供了认知负荷、压力和疲劳的直接指标,这些指标基本不受照明条件和视觉遮挡的影响,并已在使用可穿戴或非接触式传感器的车内疲劳和工作负荷监控中成功探索[7]。虽然多模态感知通过利用互补信息提高了鲁棒性,但也引入了与传感器可靠性、侵入性、同步和计算成本相关的挑战。因此,一个关键未解决问题是:如何在保持安全性和可部署性的前提下,以最优且实时方式融合这些异构线索(见图1)。

大规模多模态数据收集工作进一步证明了同步驾驶员监控的可行性和重要性。例如,一个多模态驾驶员监控基准数据集被引入,该数据集包含在自动驾驶场景中收集的同步车内视频、视线追踪、生理信号和车辆遥测数据[7]。此类数据集表明,异构传感模态可以并行收集,并提供关于驾驶员行为和就绪度的互补视图。与此同时,政府主导的举措,包括美国联邦机动车安全管理局(FMCSA)资助的第二阶段小企业创新研究(SBIR)项目,倡导模块化多模态驾驶员监控架构,通过传感器融合后端整合基于视觉的感知、驾驶行为分析和非接触生理传感[27,11,28,29]。虽然这些工作明确认可多模态的价值,但它们通常采用模块化或启发式融合策略,而非将驾驶员就绪度估计表述为统一的概率推断和优化问题。

尽管已有丰富的多模态传感数据可用,大多数现有驾驶员监控系统仍将持续将驾驶员评估表述为模式识别或分类问题,产生离散标签(例如"困倦"与"警觉")或瞬时概率分数。这类方法提供的时序集成有限,且很大程度上忽视了真实驾驶中驾驶员就绪度逐渐演变、具有不确定性的本质——疲劳、工作负荷和参与度随时间逐步变化且仅可部分观测。因此,当前系统缺乏针对不确定性量化、预测和安全感知决策支持的机理化机制。

现有文献中缺失的是一种统一框架,将驾驶员就绪度建模为随时间随机演化的潜在状态,显式捕捉不确定性,同时实现持续估计和安全攸关控制。为弥补这一空白,本研究采取了根本不同的视角,将驾驶员就绪度表示为反映持续警觉度和接管能力的连续值隐藏状态,而非静态或瞬时标签。该潜在状态根据随机转移过程动态演化,受疲劳积累、工作负荷和与自动化系统的先前交互等因素影响,从而支持原理化的实时推断和下游决策。

来自视觉、生理、音频和车辆遥测的异构传感器测量被处理为该潜在状态的部分且有噪声的观测。多模态传感器融合在递归贝叶斯滤波框架内进行建模,其中每种模态贡献一个似然项,不确定性随时间显式传播。通过自适应调整融合权重和可靠性参数以在安全、可观测性和实时计算约束下最小化估计不确定性来实现优化。

这种概率建模使得实现难以通过启发式或黑盒学习方法捕捉的机理化权衡成为可能。例如,保守的告警阈值可以减少误报,但增加了遗漏疲劳早期迹象的风险;而对不可靠模态的激进融合可能提高响应性,但代价是牺牲鲁棒性。我们使用风险感知和带约束的优化技术来解决此类权衡问题,使系统能够降低不可靠传感器的权重(例如因太阳镜导致的视觉遮挡)或在计算资源有限时优先使用低延迟模态。由此产生的就绪度估计及其关联不确定性随后用于驱动自适应人机交互(HMI)决策。在此背景下,自适应HMI指的是干预时机、模态和强度的优化,例如在轻微分心时发出早期软告警,而在高度疲劳时升级为更为紧急的接管请求,同时尊重安全余量和驾驶员舒适度约束。通过将就绪度估计框架化为带约束的随机滤波问题,并将HMI决策建模为预测性的优化控制问题,本研究将技术水平从基于分类的DMS推进至具备不确定性感知、安全对齐的自动驾驶监督方式。

在量产车辆中实际部署驾驶员监控系统进一步施加了严格的实时和嵌入式系统约束,包括有界延迟、有限计算资源以及部分传感器故障下的鲁棒性。近期研究强调,由于功耗和内存限制,在汽车级硬件或移动平台上部署基于深度学习的DMS具有挑战性,这促使采用轻量级模型、模型压缩技术(例如剪枝、量化、知识蒸馏)和优化的推理引擎以实现边缘执行[1]。在此背景下,多模态融合算法必须设计为能够在嵌入式微控制器(MCU)或汽车图形处理单元(GPU)上可靠运行,并具备在资源受限时选择性简化或停用计算密集型组件的能力,或者在连接性允许时利用边缘或多接入边缘计算(MEC)。此外,实际运行要求在传感器故障或质量下降时能够优雅退化,例如在夜间驾驶或遮挡时自动降低基于视觉的线索权重,更多依赖车辆遥测或生理信号。这些考量促使在融合过程中引入在线传感器可靠性估计,实现模态的自适应加权,确保适合安全攸关部署的鲁棒低延迟运行。

除估计精度外,弹性已成为在不确定性下运行的安全攸关人机系统的一项关键要求[12]。在自动驾驶背景下,弹性指的是监控和决策支持系统尽管面临传感器退化、临时传感器故障、环境扰动和人类认知状态变化,仍能维持可接受性能的能力。驾驶员就绪度估计对这类中断尤为脆弱,因为没有任何单一传感模态能够完整且持续可靠地提供关于驾驶员安全接管车辆控制能力的信息。

所提出的框架通过可靠性感知的多模态融合和不确定性感知的状态估计来应对这一挑战。通过根据传感质量和置信度水平持续调整模态贡献,该框架设计为即使在个别传感通道退化或不可用时也能维持稳定的就绪度估计。这种弹性导向的视角补充了传统的估计精度目标,并支持开发更鲁棒、更可靠的自动驾驶系统。

本文的主要贡献总结如下。首先,我们提出了一种新颖的优化引导贝叶斯框架用于驾驶员就绪度估计,该框架显式地将就绪度建模为潜在动态状态,并以原理化的概率方式整合多模态观测。其次,我们开发了一种自适应多模态融合机制,纳入了时变可靠性指标,实现在不确定性和部分可观测条件下对异构传感器输入的动态重新加权。第三,我们引入了一种对异步和不完整数据流的鲁棒处理方法,使框架能够在传感器错位、丢包和噪声存在的情况下有效运行,而无需严格要求同步。第四,我们设计了一种系统的鲁棒性评估策略,模拟真实的退化场景,提供了比传统融合方法对本文方法的稳定性和弹性更深入的见解。最后,我们呈现了一个统一的建模与实现框架,该框架与模态无关、计算可行,且易于扩展至驾驶员监控以外的其他安全攸关人机交互应用。

片段:相关工作

在过去二十年中,驾驶员监控和就绪度评估随着车辆自动化水平的不断提高而快速演进。随着条件自动化(SAE第2-3级)将人类驾驶员的角色从持续手动控制转变为监督性监视和接管准备,可靠驾驶员监控系统(DMS)的技术和法规重要性大幅增加。现有研究涵盖基于视觉的检测、生理传感、行为分析等领域。

**概率优化约束估计与控制框架**

针对不确定性下的安全攸关驾驶员监控,我们开发了一种概率优化约束的估计与控制管线。该框架在单一架构中整合了多模态感知、潜在驾驶员就绪度估计和自适应HMI。

驾驶员准备度被表征为一个持续演化的潜在状态,该状态由含噪、异质的观测推断得出,并与受约束的、安全意识控制决策直接耦合。针对传感器不可靠性和部分状态估计问题,基于附录 A 推导出了一个线性化基准状态空间模型。采用线性 - 高斯近似来表示驾驶员准备度的动态特性。状态演化定义于方程 (1):
$x_t = Ax_{t-1} + Bu_{t-1} + \omega_t \sim \mathcal{N}(0, Q)$
尽管驾驶员准备度受到疲劳、认知负荷、分心及环境背景等多个交互因素的影响,但所提出的模型采用标量线性 - 高斯状态表示,以确保计算上的可行性。

**数据集**
所提出的框架使用多样的多模态数据集进行评估,这些数据集捕捉了驾驶员行为和认知状态的互补方面。这些数据集包括视觉、生理信号、车辆遥测和音频线索的组合,从而能够全面评估融合和估计组件。多种数据源的使用使得该框架能够在广泛的感知条件下进行检查,反映了……的变异性和复杂性。

**实验评估**
**• 合成实验**
在合成实验中,潜在的驾驶员准备度状态由仿真模型直接生成,因此在仿真环境中是完全可观测的。因此,模拟的潜在状态可作为性能评估的参考轨迹。估计精度通过计算估计的准备度状态与模拟的真实准备度轨迹之间的均方根误差(RMSE)来量化。由于两者模拟状态……

**结论**
本文提出了一个统一概率和优化约束的框架,用于安全关键自动驾驶中的多模态驾驶员准备度估计和自适应人机交互。与将疲劳或分心检测视为静态分类任务的传统驾驶员监控系统不同,所提出的方法将驾驶员准备度建模为持续演化的潜在随机状态。这种建模方式实现了基于原则的时间预测和不确定性……

**CRediT 作者贡献声明**
Sobhan Razm: 撰写 – 原稿、可视化、软件、方法论、概念化。
Richard Olawoyin: 撰写 – 审阅与编辑、验证、监督、形式分析、概念化。
Sobhan Razm | Richard Olawoyin
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号