基于视频生理回归与行为分析的计算机操作员心理疲劳无接触评估方法

《IEEE Journal of Selected Areas in Sensors》：Video Data Regression Method for Physiological and Behavioral Cues Assessment Aimed to Contact-Less Mental Fatigue Classification

　　

摘要：

计算机操作员的心理疲劳对生产力、安全和身心健康构成重大风险，然而现有的监测方案要么具有侵入性（依赖可穿戴传感器），要么具有主观性（基于自我报告）。为应对这一挑战，我们提出了一种基于视频数据的回归方法，用于评估生理和行为线索，旨在进行人类心理疲劳分类。该方法完全无接触，使用标准的人脸视频。所提出的方法整合了基于视频的模型，用于估计血压和血氧饱和度，并结合时间RGB信号动态以及使用Google MediaPipe提取的、描述眼部、嘴部和头部运动的行为特征。为克服客观基准数据的缺乏，采用了此前经过验证的传感器训练模型，生成逐分钟疲劳标签，这些标签反映了与可穿戴生理测量相同的底层认知过程。通过多种平衡策略解决类别不平衡问题，并对多种机器学习和深度学习模型进行系统评估，其中采用类别权重的CatBoost取得了最为稳健的性能。特征重要性分析进一步识别出一个紧凑但信息量丰富的特征子集，在不牺牲准确率的情况下提高了计算效率。在长时间操作员会话中，使用留一被试交叉验证进行评估，所提出的框架展示了稳健的被试无关泛化能力，凸显了视频衍生生理回归与行为分析相结合作为可扩展、无侵入式方案在真实职业环境中进行连续心理疲劳评估的潜力。