《Sensors》：Personalized Classification of Scenario-Derived Operational Driver-State Classes from Non-Intrusive Wearable Signals in Real-World SAE Level 2 Automated Driving
编辑推荐：
在SAE Level 2（美国汽车工程师学会2级）自动化中，人类驾驶员保留全部监督责任，使得非侵入式监测在真实世界驾驶条件下对维持监督具有相关性。因此，研究人员认为能够在这些条件下稳健运行的驾驶员监测系统至关重要，但基于可穿戴设备的个性化方法仍然探索不足，特别
在SAE Level 2（美国汽车工程师学会2级）自动化中，人类驾驶员保留全部监督责任，使得非侵入式监测在真实世界驾驶条件下对维持监督具有相关性。因此，研究人员认为能够在这些条件下稳健运行的驾驶员监测系统至关重要，但基于可穿戴设备的个性化方法仍然探索不足，特别是当目标标签源自实验场景时。本研究开展了一次真实世界SAE Level 2道路采集活动，并评估了一种使用非侵入式手腕信号的目标驾驶员内主体（intra-subject）分类方法。使用Empatica E4腕带记录的生理和运动数据，包括血容量脉搏（BVP）、皮肤电活动（EDA）、心率（HR）、皮肤温度（TEMP）和三维手腕加速度（ACCEL），被转换为图像表示，并通过冻结的ResNet-50（残差网络50）特征提取器、主成分分析（PCA）和监督分类器进行处理。标签是场景派生的操作驾驶员状态类别，由实验阶段和场景组定义。个性化通过留一经验（LOEO）协议在目标驾驶员上评估。分类准确率在仅外部用户训练下为50%，混合目标/外部用户训练下为54%，仅目标驾驶员训练下为60%，其中仅目标驾驶员配置在评估设置中获得了最高平均性能。对于低需求基线类别，一对其余（one-vs.-rest）分类器达到88.4%的准确率和70%的F1分数。这些结果提供了初步证据，表明在本次研究评估的真实世界自动驾驶条件下，对场景派生的操作驾驶员状态类别进行个性化手腕佩戴分类是可行的。
**论文解读：基于非侵入式可穿戴信号的个性化驾驶员状态分类在真实世界SAE Level 2自动驾驶中的可行性研究**
**1. 研究背景与动机**
随着SAE Level 2（即部分自动驾驶，车辆提供横向和纵向运动控制，但驾驶员需持续监督）驾驶自动化功能的普及，驾驶员监控系统（DMS）成为保障安全的关键技术。在此类自动化水平下，驾驶员仍需负责动态驾驶任务（DDT）的监督部分，包括环境监测和应急接管。然而，现有研究多集中于模拟器或受控环境，真实道路条件下的驾驶员状态监测面临诸多挑战，如交通变化、运动伪影、传感器放置限制等。同时，生理和行为反应具有高度个体差异性，通用模型常难以捕捉特定驾驶员内稳定模式。因此，开发基于非侵入式可穿戴设备的个性化方法，以在真实世界中分类由实验场景定义的操作性驾驶员状态类别，具有重要的安全意义。该研究论文发表在《Sensors》期刊上。
**2. 主要技术方法**
研究人员使用OpenPilot v0.9.1改装的丰田普锐斯插电式混合动力汽车，在真实高速公路上进行SAE Level 2自动驾驶实验。主要关键技术包括：1）信号采集：使用Empatica E4腕带采集血容量脉搏（BVP，反映心血管活动）、皮肤电活动（EDA，反映交感神经兴奋）、心率（HR，由光电容积描记法导出）、皮肤温度（TEMP）及三轴手腕加速度（ACCEL_X/Y/Z）共7个流，采样频率分别为64 Hz、4 Hz、1 Hz、4 Hz和32 Hz。2）信号处理：将30秒滑动窗口（步长3秒）的信号统一重采样至4 Hz，并采用连续递归图（Continuous RP，一种将时间序列转换为表征重复模式的图像方法）编码为二维图像。3）特征提取：使用预训练于ImageNet的ResNet-50（深度残差网络50层）作为固定特征提取器，输出每张图像2048维特征向量。4）特征融合与降维：将7个信号流的特征向量拼接为14336维，再通过主成分分析（PCA，一种线性降维方法）压缩至100维，PCA拟合基于辅助未标记数据（来自同一或外部用户）。5）分类：使用多层感知器（MLP）分类器，包含两个隐藏层（100→25→10→4个输出类别），训练采用交叉熵损失和Adam优化器。样本队列来自4名男性参与者，共39次驾驶会话，其中目标驾驶员（User 1）有26次会话，9次经质量控制后用于监督学习，其余3名参与者作为外部用户。
**3. 研究结果**
**3.1 内主体方法（Intra-Subject Approach）**
通过留一经验（LOEO，将每个完整驾驶会话作为一次留出折）协议评估目标驾驶员User 1，比较三种训练配置：仅外部用户、混合目标/外部用户、仅目标驾驶员。结果显示，仅目标驾驶员配置在所有指标上表现最佳：准确率60%，宏平均精确率57%，召回率53%，F1分数52%，Cohen’s kappa系数0.43。混合配置准确率54%，Kappa 0.36；仅外部用户配置准确率50%，Kappa 0.30。该结果支持假设1（手腕信号可区分操作类别）和假设2（目标驾驶员内训练优于结合外部数据），证实了个性化建模的可行性。
**3.2 详细性能分析（Detailed Performance Analysis）**
通过合并LOEO折的混淆矩阵进行逐类分析。一对其余（one-vs.-rest）评估显示，低需求基线类别（LL，停车放松）识别最可靠，准确率88.4%，F1分数70%，精确率72%，召回率68%，Kappa 0.52。高需求类别（H，脚本化头部定向场景）和极高需求类别（HH，车道变换或突发惊吓事件）性能较低，F1分数均为44%，Kappa分别为0.27和0.30。行归一化矩阵显示LL和L（手动驾驶）的召回率分别为67.84%和63.53%，而H和HH分别为44.05%和40.68%，表明两类之间存在混淆，与操作协议接近有关。
**3.3 消融研究（Ablation Studies）**
**3.3.1 PCA维度对模型收敛的影响**：比较50、100、200个主成分，准确率分别为59.1%、61.3%、62.6%，但收敛所需epoch数随维度增加而减少（25→13→3），总训练时间分别为4325秒、2076秒、519秒，表明更高维度收敛更快但可能过拟合。
**3.3.2 评估手腕信号在个性化模型中的贡献**：使用随机采样（RS）协议，比较11种输入配置。仅加速度信号（ACCEL）准确率52.9%，Kappa 0.388；仅生理信号（BVP+EDA+HR+TEMP）准确率58.2%，Kappa 0.483；全信号（包括ACCEL）准确率64.2%，Kappa 0.506；排除HR后最佳，准确率65.8%，Kappa 0.525。表明加速度贡献运动模式，生理信号提供互补信息，HR可能引入噪声。
**3.3.3 信号转图像技术比较**：比较六种编码方法，连续递归图（Continuous RP）准确率最高（64.2%），优于二进制RP、格拉姆角求和场（GASF）、格拉姆角差分场（GADF）及马尔可夫转移场（MTF）在不同状态数下的结果。
**3.3.4 数据集划分比较**：LOEO与RS在相同配置下产生相近均值（准确率约60% vs 59.32%），但LOEO标准偏差更高（12.98% vs 6.06%），反映跨会话泛化难度；RS因时间重叠可能高估性能，因此LOEO被用作主要评估协议。
**3.4 计算性能与离线推理延迟**
在配备NVIDIA RTX A4000 GPU的工作站上，离线推理流水线平均延迟15.02毫秒/30秒窗口，P99延迟19.129毫秒，处理速度约66.5窗口/秒。其中ResNet-50特征提取占主导，信号转图像和PCA次之，MLP分类耗时最少。
**4. 讨论与结论**
讨论部分指出，真实世界实验引入了模拟器所不具备的约束（如交通依赖的场景执行、安全中断、传感器同步），这些特征直接影响DMS开发。标签（LL, L, H, HH）被定义为场景派生的操作类别，而非心理状态测量，以避免解释偏差。消融结果表明，加速度和生理信号共同贡献，但类别间混淆（尤其是H和HH）源于协议接近性和手腕运动模式相似性。研究还强调，LOEO验证需要足够多的独立驾驶会话，低会话数会导致评估不稳定。数据保护方面，个性化模型可减少跨用户数据聚合，符合GDPR（通用数据保护条例）最小化原则。
研究结论翻译如下：本研究检验了基于非侵入式手腕生理和运动信号，在真实世界SAE Level 2自动驾驶条件下，个性化分类场景派生操作驾驶员状态类别的可行性。结果提供了初步证据，表明在特定评估条件下，目标驾驶员内主体建模可支持该分类任务。在评估设置中，仅目标驾驶员训练在主要LOEO评估中达到约60%准确率和Cohen’s kappa 0.43，优于仅外部用户（50%准确率，Kappa 0.30）和混合训练（54%准确率，Kappa 0.36）配置。在类别层面，LL基线类别最易识别（一对其余准确率88.4%，F1 70%），而H和HH更难分离（F1均为44%）。该证据应视为可行性结果，而非部署就绪的DMS验证。第二项结论是，真实世界实验是模拟研究的必要补充，可暴露操作约束。最后，研究强调需根据实验设计校准结论强度，该结果针对目标驾驶员评估，不应推广至总体人群。
