DrowseSIDE：可微分的非负面部特征反演方法，用于实现稳健且精准的困倦状态识别

《Neurocomputing》：DrowseSIDE: Differentiable non-negative facial source inversion for robust and calibrated drowsiness recognition

　　摘要：本文介绍了DrowseSIDE，这是一种基于解剖学约束的源反演框架，用于在采集条件变化的情况下对单帧驾驶员疲劳状态进行精确识别。该框架考虑了五种图像证据源：左眼闭合、右眼闭合、嘴巴张开、头部姿态异常以及下脸部松弛。面部几何结构用于建立标准测量空间和局部可靠性场，而针对不同来源的警报原型则定义了解剖学参考状态。随后，通过基于分块且具有单位范数的姿态条件字典，利用可微的非负近端反演方法对经过警报标准化的残差场进行分解。由此得到的针对特定样本的源幅度成为用于估算疲劳概率的决策变量，为基于全局嵌入或原型距离的预测提供了一种可数学识别的替代方案。在独立于被试者的UTA-RLDD评估中，DrowseSIDE的宏观F1值为0.92，ROC-AUC值为0.97。在主要的UTA-RLDD DROZY跨数据集疲劳状态迁移测试中，其宏观F1值为0.78，预期校准误差为4.9%。而未经仅训练阶段的CEW/MRL眼动头部数据训练的相应ViT-Tiny系统，其宏观F1值为0.65，预期校准误差为10.1%；通过监督匹配的嵌套消融实验，可以明确所提出的推理方法的贡献。YawDD作为一种补充的DROZY YawDD打哈欠信号迁移测试方法，因其标签代表的是打哈欠行为而非一般疲劳状态，故单独进行分析。

引言：驾驶员疲劳监测是智能交通系统中的关键安全组件。要实现可靠的应用，系统需具备应对照明条件、视角、摄像头配置、驾驶员外貌以及采集协议变化的能力[1]–[7]。未能及时检测到疲劳状况可能会延迟干预措施，而频繁的误报则会降低驾驶员对系统的信任度。驾驶员状态评估方法包括主观判断法、基于车辆的特征法、生理检测法以及基于视觉的特征法[2]–[8]。基于车辆的特征法受道路条件和驾驶风格的影响[9]，而脑电图、心电图和眼电图虽然能直接提供生理信息，但存在侵入式检测的缺点[10]–[11]。基于摄像头的系统则通过观察眼睑闭合、打哈欠、头部姿态变化以及面部反应性等特征，提供了一种非侵入式的解决方案[5]–[20]。近期的一些方法采用了卷积神经网络、循环神经网络、图模型、注意力机制、原型方法以及Transformer架构[5]–[30]。我们之前的研究将MediaPipe跟踪技术与直接的ViT-B/16分类相结合，并在Raspberry Pi 5设备以及真实的车载录像数据上分析了其精度与延迟之间的权衡关系[31]。本研究探讨的是另一个问题：即是否可以基于明确推断出的解剖学证据源来实现单帧疲劳状态识别，而非直接对全局或图聚合后的嵌入特征进行分类。像MAGCN和MIGCN这样的图模型会在进行区分性分类之前构建面部的关系表示[28]–[29]，而基于原型的方法则利用类别级或领域级的代表元素来进行度量学习、适配或泛化处理[30]。在这两种方法中，最终预测结果都是从嵌入特征、图表示或原型关系中得出的。DrowseSIDE的方法创新之处在于，它将单帧驾驶员疲劳识别重新定义为一种可识别的、基于解剖学约束的源反演问题。面部几何结构决定了证据测量的位置，针对不同来源的警报原型则确立了解剖学参考状态，而姿态条件字典则用于解释由此产生的残差场。与那些从学习得到的嵌入特征、图表示或原型距离出发来生成预测结果的图模型和原型基分类器不同，DrowseSIDE是通过反问题求解得到的针对特定样本的非负源系数来计算最终概率的。通过将每个字典列限制在其预定义的源对应的残差块范围内，并将所有活跃列归一化为单位范数，从而确保了可识别性，同时也解决了尺度不确定性问题。兼容性拉普拉斯算子则对五维源幅度向量进行正则化处理，从而无论地标-图消息传递方式如何，都能保持源反演解的合理性。由此形成的DrowseSIDE框架能够在数据集发生变化的情况下，估算出左眼闭合、右眼闭合、嘴巴张开、头部姿态异常以及下脸部松弛等状态的非负幅度值。这些幅度值代表了具有解剖学定位意义的图像证据，也为最终决策的生成提供了结构化的潜在变量。姿态一致性约束、背景不变性以及反事实源排除机制进一步限制了模型的表现，避免了快捷学习以及无依据的跨源补偿现象。本研究的主要贡献包括：•我们将单帧疲劳状态识别重新定义为一种受限的面部证据源推断问题，其预测结果基于针对特定样本的非负源幅度值；•我们提出了基于来源的警报残差化处理方法，其中仅用于训练的警报原型用于定义解剖学上的零参考状态，而非基于类别中心点的决策边界；•我们构建了一种可识别的姿态条件反问题，该问题包含基于分块且具有单位范数的字典列，以及对五个源幅度值应用的固定兼容性拉普拉斯算子；•我们将这种反问题建模方法与姿态一致性约束、背景不变性以及反事实源排除机制相结合，从而实现了针对不同来源的消融分析、掩蔽处理、稳定性评估以及校准分析。在系统层面，我们对比了所有被评估的算法；而在架构层面，则通过监督匹配的嵌套消融实验，明确了在相同的CEW/MRL辅助眼动数据监督下的决策建模机制。

相关内容片段：基于视觉的驾驶员疲劳监测：基于视觉的系统通过观察眼睑闭合、打哈欠、头部姿态变化以及面部反应性降低等面部特征来估算驾驶员的疲劳程度[5]–[20]。早期基于地标点和几何结构的方法容易受到照明条件、遮挡现象以及跟踪失败的影响[32]–[36]。而较新的方法则运用卷积神经网络、循环神经网络、三维模型、图推理以及Transformer架构等，来学习面部的空间或时间特征。

提出的方法：DrowseSIDE：本节介绍了DrowseSIDE，这是一种基于知识引导的面部证据源反演框架，用于单帧驾驶员疲劳状态识别。与传统直接分类器不同，该模型能够估算出非负的潜在疲劳源幅度值，这些幅度值可用于解释面部证据场相对于警报标准化状态的偏差。DrowseSIDE并非直接将面部图像映射到全局的疲劳/清醒状态嵌入特征上，而是将观测到的面部证据分解为具有解剖学意义的组成部分。

实验结果与讨论：本节在数据采集条件一致和发生变化的情况下对DrowseSIDE进行了测试。评估的目的不仅在于了解其分类性能，还在于判断所提出的源反演建模方法是否能在跨数据集迁移、视觉干扰以及置信度敏感型操作场景下提升系统的可靠性。因此，分析内容涵盖了区分能力、校准性能、源级诊断功能以及系统的鲁棒性等方面。

结论：本研究提出了DrowseSIDE，这是一种基于解剖学约束的面部证据源反演框架，用于实现精确的单帧驾驶员疲劳状态识别。该方法通过固定的残差块支撑结构和具有单位范数的字典列，确定了可数学识别的源系数，然后通过明确的近端更新方法来解决由此产生的非负稀疏反问题。这些源幅度值成为了内在的决策变量，使得能够实现针对特定来源的重建。

资金支持：本研究未获得公共部门、商业机构或非营利组织方面的任何特定资助。

利益冲突声明：作者声明不存在任何可能影响本文研究结果的已知财务利益或个人关系。

扎赫拉·埃尔米是土耳其伊斯坦布尔贝科兹大学软件工程系的学者。她的研究兴趣涵盖人工智能、机器学习、计算机视觉、智能交通系统、生物医学信号分析、进化优化以及稳健且可解释的决策支持系统。她目前的研究重点在于知识引导学习、驾驶员状态监测、自动驾驶技术、生理信号分析以及跨领域应用研究。

扎赫拉·埃尔米
土耳其伊斯坦布尔卡瓦吉克穆赫塔尔街3号，贝科兹大学软件工程系，邮编34010