基于头部姿态辅助的再校准技术，用于提升建筑机械操作员的疲劳检测精度

《Engineering Applications of Artificial Intelligence》：Head-pose-assisted recalibration for robust fatigue detection of construction machinery operators

　　摘要：在重型建筑机械操作中，疲劳相关事故始终是一个重大的安全问题，漫长的工作时长以及复杂的控制任务增加了操作员面临的风险。本研究将疲劳检测视为建筑机械操作环境中的实时安全监控问题。为提升在头部姿态变化和面部遮挡条件下的稳定性，本文提出了一种名为“头部姿态辅助校准网络”的轻量级卷积神经网络。该模型结合了头部姿态辅助校准机制与坐标注意力模块，以强化特征提取能力。校准机制通过估算的偏航角、俯仰角和滚转角来调整非正面视角下的特征响应，而注意力模块则能在较低计算成本的前提下增强眼睛和嘴巴区域与疲劳相关的特征。研究还构建了专门用于模拟真实操作条件的“建筑机械疲劳检测数据集”，其中包含了多种视角、多屏幕交互以及部分遮挡场景。此外，还在国立清华大学驾驶员嗜睡检测数据集及打哈欠检测数据集上进行了实验。所提出的方法在两个公共数据集上的准确率分别达到94.2%和96.0%，在自建数据集上的准确率为92%，对应的F1分数分别为95.33%和96.05%。与简单的对齐基准方法相比，该方法的准确率分别提升了1.84%和6.15%。在线实验显示，该系统可实现每秒19–22帧的实时处理，端到端延迟为29.1毫秒，模型大小为18.93兆字节。这些结果表明，所提出的框架在保持实际部署效率的同时，还能有效应对头部姿态变化和遮挡问题。

引言：建筑机械操作员的疲劳问题已成为全球范围内亟待解决的安全问题（国际劳工组织，1992年；美国国家职业安全与健康研究院，2024年）。根据中国建筑机械工业协会的数据，操作员疲劳导致了该行业近30%的严重事故（中国建筑机械工业协会，2023年）。与汽车驾驶不同，重型机械操作需要操作员持续操作多个操纵杆并同时监控多台显示屏，这给操作员带来了更高的认知和身体负担（美国职业安全与健康管理局，2023年）。这些复杂且重复的任务往往在不规律的时间表和不佳的环境条件下进行，会加剧操作员的身体和心理疲劳，进而降低其警觉性、减慢反应速度，增加事故发生的可能性（美国国家公路交通安全管理局，2017年、2023年；美国交通安全基金会，2023年）。在其他交通领域也观察到了类似的情况，疲劳驾驶仍是导致安全事故的重要原因。最新研究进一步证实，建筑工人和设备操作员因疲劳而导致的作业安全性能显著下降（Ibrahim等人，2023年；Mehmood等人，2024年；Mulhall等人，2020年）。因此，对于建筑机械操作员的疲劳监测而言，有效的检测系统不仅要具备良好的识别精度，还要满足工程上的各项要求，包括无干扰性、在现实干扰条件下的稳定性以及实时部署能力。

目前，建筑机械领域的疲劳检测研究大致可分为基于生理信号的、基于视觉的以及多模态融合三种方法。生理信号检测方法包括脑电图、心电图、心率变异性和肌电图等，它们能够提供关于操作员警觉状态的客观指标，但这类方法往往具有侵入性、成本较高，且不适合在繁忙的工作环境中使用（Wang等人，2023年；Anwer等人，2021年；Pandey等人，2022年）。尽管可穿戴设备和简化版的电极设计在一定程度上提升了其可用性，但硬件依赖性、校准需求以及舒适度问题仍然限制了其在建筑施工场景中的实际应用（Anwer等人，2021年；Pandey等人，2022年；Y. Li等人，2023年）。职业安全标准也强调了无需侵入式、可在现场使用的解决方案的重要性（美国国家职业安全与健康研究院工作与疲劳研究中心，2024年；美国职业安全与健康管理局，2023年）。最新的基于信号的处理方法通过注意力引导的状态空间学习以及知识蒸馏技术，进一步提升了可穿戴传感器对人体状态细微变化的捕捉能力。例如，注意力状态空间建模提升了心电图分类的准确性，而异构互知识蒸馏则有助于在传感器和模型条件不同的情况下实现对人体活动的精准识别（Xiao等人，2025a年；Xiao等人，2025b年）。这些研究表明，精细的时间表示学习对于分析与疲劳相关的模式具有重要意义；但由于这类方法仍依赖于传感器数据采集，因此其在实际施工环境中对操作员长时间疲劳状况的监测应用仍存在局限。

基于视觉的检测方法无需侵入操作员，且可以利用现有的摄像头设施。常见的视觉特征包括眼睑闭合、打哈欠、视线转移以及头部朝向等。近年来，借助注意力机制和时间建模技术的深度学习方法在标准驾驶数据集上的表现有所提升（Huang等人，2020年；Li等人，2020年）。最新研究还注重提升疲劳检测任务的稳定性和泛化能力，例如通过多级域适应技术来实现对建筑作业场景中操作员疲劳状态的识别与监控（Huang等人，2025年；Ding和Luo，2024年）。除了传统的疲劳检测之外，近期在视觉行为理解方面的进展表明，对细微状态的分析越来越依赖于对局部空间特征、微弱运动模式以及时间关系的建模。在重复动作计数、微动作识别以及对话场景行为分析等方面的研究都表明，通过联合建模局部差异区域和微妙的运动变化，能够提升感知精度（Li等人，2025年；Guo等人，2024年；K. Li等人，2023年；Gu等人，2025年）。这些发现与疲劳检测密切相关，因为那些与疲劳相关的关键特征，如眼睑闭合、打哈欠的起始动作以及警觉性降低时的面部表情变化，同样具有细微、短暂的特点，且极易受视角变化的影响。

然而，在建筑机械操作场景中仍存在诸多挑战：其一，当操作员转动头部或看向非正轴方向的显示屏时，基于外观的特征识别模型往往会失去焦点，识别精度也会下降；其二，防护装备或照明条件造成的遮挡会降低眼部及面部特征的可信度（Onososen等人，2025年；Li等人，2020年；Fu等人，2024年；Mehmood等人，2024年）。另一个重要限制在于公共基准数据集与实际建筑机械操作场景之间的差异。大多数基于视觉的疲劳检测模型都是在诸如国立清华大学驾驶员嗜睡检测数据集和打哈欠检测数据集之类的公共驾驶数据集上训练的，而这些数据集通常假设人脸处于近似正面视角，且照明条件相对稳定。它们很少能体现建筑施工场景中常见的较大角度的头部转动、手部遮挡面部以及多屏幕交互等情况（Fu等人，2024年；Hu等人，2024年）。因此，虽然在基准数据集上训练出的模型性能优异，但一旦应用于操作员行为更为多样、头部姿态变化更大、视觉干扰更复杂的实际工业环境，其性能就会明显下降。

多模态方法试图结合视觉信号和生理信号，例如利用肌电图辅助运动融合、双向长短期记忆网络整合可见光与红外信号，以及基于环境背景对心电图和肌电图信号进行马尔可夫建模（Bangaru等人，2022年；Hu等人，2024年；Chen等人，2025年）。虽然这些方法能够提升系统的稳定性，但由于它们依赖于跨模态同步、额外的传感硬件以及更为复杂的部署流程，因此在实际的建筑施工应用中难以推广。因此，一种能够有效应对姿态变化和遮挡问题的纯视觉系统显得尤为重要。与此同时，近期在异常检测和分布偏移建模方面的研究也为持续疲劳监测提供了新的思路。由于在大多数实际监控场景中，操作员的注意力集中行为占主导地位，因此疲劳也可以被视为对正常行为模式的偏离。在异常检测、深度异常建模、用于飞行异常检测的图对比学习、概念漂移检测以及时间序列异常分析等方面的研究都表明，在涉及安全的系统中，识别出那些与稳定时间模式存在细微偏差的情况至关重要（Chandola等人，2009年；Pang等人，2021年；Zhu等人，2025年；Yu等人，2022年；Paparrizos等人，2025年；Liu等人，2025年）。尽管本研究侧重于有监督的视觉疲劳分类而非异常检测，但这些研究依然强调了我们的工作核心理念：无论在何种姿态变化、操作员行为改变或环境条件变动的情况下，疲劳监测系统都必须保持稳定的性能。

此外，更多面向工程应用的人工智能研究也表明，深度学习、时间建模以及基于编码的特征学习方法，可以为实际系统中的复杂非线性预测和识别任务提供可靠的解决方案（Moghaddam等人，2025年；Khosravi等人，2025b年；Shadkani等人，2025年；Khosravi等人，2025a年；Donnelly等人，2024年）。虽然这些研究并未直接针对疲劳检测展开，但它们为在工程应用中采用轻量级架构、情境感知型特征表示以及特征校准策略提供了方法论支持。综合上述文献，可以发现当前研究存在三个主要缺口：其一，是姿态敏感性问题，因为头部姿态的变化会显著降低基于视觉的疲劳检测的可靠性；其二，是数据集不足的问题，现有的公共数据集无法充分反映建筑施工场景中的实际操作情况，如多屏幕操作、防护装备的使用以及部分遮挡现象；其三，是部署方面的限制，许多高精度模型计算成本较高，且在实际应用中缺乏实时验证。另外，尽管近期在视觉理解领域的研究强调了微弱运动建模和局部特征增强的重要性，但这些理念尚未被充分应用于建筑机械操作员的疲劳检测中，因为在这些场景中，姿态变化和遮挡往往同时出现。

鉴于以上问题，一个有效的建筑机械操作员疲劳检测框架应当同时解决由姿态变化引起的特征失真、场景代表性不足以及部署效率低等问题。为应对这些挑战，本文提出了一种名为“头部姿态辅助校准网络”的模型，用于建筑机械操作场景中的疲劳检测。与传统基于外观的特征识别方法不同，该框架通过头部姿态辅助校准机制，将头部姿态信息直接纳入特征学习过程，从而使特征表示能够在非正面视角下实现自适应调整。该模型采用了轻量级的MobileNetV3作为核心结构，并用坐标注意力机制取代了传统的挤压激励块，以此增强眼睛和嘴巴周围的特征分辨能力。这一设计的灵感来源于这样一个实际观察：在建筑机械操作过程中，频繁的头部转动、非正轴视角观察以及短暂的遮挡现象十分常见，仅依靠外观特征是无法可靠地处理这些情况的。此外，头部姿态辅助校准模块还利用标准化的偏航角、俯仰角和滚转角向量来调节中间特征，从而提升模型在头部姿态动态变化时的稳定性。为了模拟真实的工业环境，研究人员还开发了一个专门的验证平台以及一个新的“建筑机械疲劳检测数据集”，该数据集包含了光照变化、防护装备以及动作引起的遮挡等元素，旨在比现有的驾驶场景基准数据集更能反映建筑施工中的实际操作情况。此外，还设计了基于Python的PyQt5用户界面，用于实现疲劳状态的实时可视化与警报功能。最后，该框架不仅在公共基准数据集上进行了测试，还在实际操作系统中进行了验证，从而全面评估了其识别性能和部署可行性。

本研究的主要贡献如下：首先，引入了头部姿态辅助校准机制，将偏航角、俯仰角和滚转角信息直接融入特征学习过程，有效解决了非正面视角下因姿态变化导致的特征错位问题；其次，基于MobileNetV3和坐标注意力机制开发了一种轻量级的特征提取框架，提升了在遮挡和光照变化条件下，对与疲劳相关的面部细微特征的识别能力；第三，构建了专为建筑施工场景设计的CMF-DD数据集，该数据集包含了多视角头部姿态、动作引起的遮挡以及光照变化等信息，有效弥补了现有公共基准数据集与实际施工场景之间的差距；最后，实现了实时疲劳监测系统，并在真实操作环境中进行了验证，结果表明所提出的方法在保持良好识别性能的同时，还具有较高的部署效率，非常适合实际工程应用。所提出的HPAR-Net网络通过提升模型对姿态变化和遮挡的适应能力，同时确保其在建筑机械操作环境中的实时部署能力，从而提升了操作员疲劳监测方法的理论稳定性和工程实用价值。

方法部分：本节介绍了所提出的HPAR-Net框架，内容包括整体架构、数据预处理与头部姿态估计方法、基于改进版MobileNetV3的特征提取方式，以及基于头部姿态信息的辅助校准与分类流程。

实验结果与讨论部分：本节阐述了所提出的HPAR-Net的相关数据集、实验设置及评估结果，重点分析了该模型在检测性能、效率以及稳定性方面的表现。

结论部分：本研究提出了一种用于建筑机械操作场景中的头部姿态辅助校准的轻量级卷积模型，并在公共数据集以及特定场景数据集上对其进行了验证。该模型在NTHU-DDD数据集和Yaw-DD数据集上的F1分数分别达到了95.3%和96.0%，模型大小为18.93兆字节，性能优于各类现有基准模型。在包含头部转动和动作引起遮挡的自建CMF-DD数据集上，该模型的性能也表现优异。傅凌迪：写作——审阅与编辑。丁伟利：写作——审阅与编辑，指导工作。华长楚：写作——审阅与编辑，指导工作。赵光雷：写作——审阅与编辑，指导工作。

资金支持
本研究部分得到了中国国家自然科学基金项目62303399和U22A2050、河北省自然科学基金项目E2025203050、中央政府引导地方科技发展项目236Z2001、河北省自然科学基金重点项目2024203051以及河北省高等教育科学研究项目CYZD202505的资助。

利益冲突声明
作者声明没有已知的可能影响本文所报道工作的财务利益或个人关系。

马浩分别于2016年和2022年在中国地质大学（武汉）自动化学院获得自动化专业学士和博士学位。在攻读博士学位期间，她获得了中国国家自然科学基金的奖学金，赴日本早稻田大学进行为期一年的联合培养（2020–2021年）。她目前是中国自动化学会会员。她的研究兴趣包括……

马浩|田新龙|傅凌迪|丁伟利|华长楚|赵光雷
中国河北省秦皇岛市燕山大学智能康复与神经调控重点实验室，邮编066004