一种基于视觉的深度学习方法，用于手动搬运任务的自动人体工程学风险评估

《ADVANCED ENGINEERING INFORMATICS》：A vision-based deep learning approach for automatic ergonomic risk assessment of manual lifting tasks

基于单目RGB与深度摄像头数据的体力劳动风险分级研究，提出CNN-LSTM-BPN混合模型框架，通过分阶段检测搬运动作阶段并优化NiOSH评估方程，实现非侵入式人体工学风险监测，实验室环境准确率达98.3%且具有实时性，实际工作场景准确率仍超83%。

　　

王孔正 | 张金天

台湾国立科技大学工业管理系，台北108，中华民国

摘要

手动搬运任务是导致肌肉骨骼疾病的主要原因，严重影响工人的健康和生产力，增加停机时间，并提高与职业健康相关的成本。本研究提出了一个机器学习框架，该框架利用单目RGB和深度视频数据，通过修订后的NIOSH搬运公式（RNLE）自动分类搬运过程中的人体工程学风险等级。该框架结合了卷积神经网络和长短期记忆模型来检测搬运阶段，从而估计原始RNLE变量，随后通过反向传播神经网络根据关节可见性和原始估计值来精炼最终预测。BPN（Blind Preprocessing Network）的集成显著提高了RNLE变量的准确性，在非对称搬运场景中将推荐的重量限制（RWL）和搬运指数（LI）的估计误差减少了近一半。此外，所提出的系统表现出高鲁棒性和效率，在实验室数据集的留一法交叉验证中，风险分类的总体准确率和F1分数超过了0.98，RWL和LI的估计误差小于6.30%。在五个具有不同人口背景的工作场所进行的实际测试进一步验证了该方法的适用性和通用性，尽管环境存在变化，但总体准确率和F1分数仍保持在0.83以上。研究还强调了相机放置的影响，发现侧视图视角最适合基于视觉的人体工程学分析。这些发现证实了所提出框架的实用性，并表明其在工业环境中进行实时、可扩展和非侵入式人体工程学风险评估的潜力。

引言

手动搬运任务是导致与工作相关的肌肉骨骼疾病的主要原因，尤其是腰背部受伤[41]、[42]、[43]、[44]。物流、制造、建筑和医疗行业的工人经常需要进行重体力、重复性和不自然的动作，这些动作增加了生物力学应力，从而导致肌肉骨骼疾病[45]、[46]、[47]、[16]、[48]、[49]、[13]、[50]、[24]、[51]。这些风险不仅影响工人的健康，还由于生产力损失和赔偿索赔而造成巨大的经济成本和时间损失[45]、[52]、[53]、[54]、[46]、[55]、[12]、[56]、[16]、[57]、[6]、[58]。因此，有效的风险评估和缓解策略对于确保职业安全和健康至关重要。

传统的人体工程学评估工具，如直接观察或基于检查表的方法，耗时、主观性强、成本高昂，且不适合实时或大规模监控[59]、[10]。虽然可穿戴传感器方法越来越被采用，但通常涉及多个安装在身体上的设备，这可能对工人造成不适[10]。此外，此类系统需要校准、维护、昂贵的设备以及耗时的数据处理步骤[60]，限制了其在工业环境中的实用性和可扩展性。这些局限性凸显了需要更用户友好、可扩展和自动化的解决方案。

计算机视觉与机器学习的结合为人体工程学评估提供了有前景的替代方案[10]。这些方法提供了非侵入式、低成本且易于部署的系统，能够进行实时的姿势和活动分析[61]。姿势估计和时间建模的进步使得仅使用标准或深度相机的视频数据即可实现高精度预测[8]、[45]、[62]、[63]。因此，基于计算机视觉的解决方案非常适合在动态和不受控制的工作环境中进行持续的人体工程学监控。

本研究旨在开发一个机器学习模型，该模型分析来自单目RGB和深度相机的视频数据，以分类手动搬运任务的风险等级。通过利用计算机视觉和姿势估计技术，该系统无需可穿戴传感器或人工观察即可评估生物力学风险。目标是支持主动的人体工程学监控，以便及早干预，预防与工作相关的肌肉骨骼疾病。最终，这种方法旨在提高工人安全，同时减少与传统人体工程学评估方法相关的时间、成本和主观性。

相关工作

已经开发了几种人体工程学评估工具来评估与手动搬运任务相关的风险。最广泛使用的框架包括修订后的NIOSH搬运公式（RNLE）[[3]、[4]、[6]、[15]、[25]、[41]、[45]、[55]、[56]、[64]、[65]、[66]、[67]、[68]、[69]、[71]]、美国政府工业卫生学家会议（ACGIH）的阈值限制[16]、[5]、快速上肢评估（RULA）[52]、[10]、[12]、快速全身评估（REBA）[52]

实验设置和数据描述

本研究采用了NIOSH（2021）[73]指南，将手动搬运任务分为两个风险等级：“无风险”（LI为1或以下）和“有风险”（LI大于1），这与最近的研究结果一致[3]。招募了十名健康的男性受试者（年龄：23.60 ± 0.80岁；身高：1.74 ± 0.04米；体重：73.30 ± 8.28公斤；BMI：24.34 ± 3.05），以使数据集多样化。每位受试者完成了36次搬运试验（19次“无风险”和17次“有风险”）。

结果与讨论

在本研究中，所有实验都在配备有Intel Core i9-10900 K CPU、32 GB RAM和NVIDIA GeForce RTX 3080 GPU（10 GB VRAM）的计算机上进行。完整的处理流程在没有显示器的情况下达到了31.0 FPS，略高于输入帧率30 FPS。当使用OpenCV（骨架叠加和GUI）可视化预测时，系统运行速度约为25.7 FPS。这些结果表明，在实际环境中实现实时人体工程学风险评估是可行的。

结论

本研究提出了一种基于视觉的深度学习方法，该方法利用单目RGB和深度视频数据对手动搬运任务的风险等级进行分类。通过实施使用LOSO CV的全面评估框架，结合基于CNN_LSTM的搬运阶段分类和基于BPN的RNLE变量精炼，BPN作为后处理阶段的集成显著减少了RNLE估计误差，有助于补偿姿势估计的噪声和帧不对齐问题。

局限性与未来工作

尽管取得了有希望的结果，但本研究仍存在一些局限性。首先，它没有考虑重复搬运模式、搬运频率或任务持续时间，而这些因素在累积生物力学负荷和疲劳发展中起着关键作用。未来的工作应整合动态疲劳或累积负荷模型，例如来自重复搬运研究的频率乘数[4]或生物力学疲劳指数[38]，以更好地代表长时间或高频率的工业搬运情况。

CRediT作者贡献声明

王孔正：撰写 – 修订、项目管理、资源管理、验证、方法论、调查、正式分析、概念化。张金天：撰写 – 原始草稿、可视化、验证、软件开发、方法论、调查、正式分析、数据管理、概念化。

利益冲突声明

作者声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。

致谢

本工作部分得到了中华人民共和国国家科学技术委员会（NSTC）的支持，项目编号为113-2221-E-011 -127 -MY3。