从建筑工地视频到人体工程学风险报告:基于姿态的风险筛查证据链工作流程

《Engineering Applications of Artificial Intelligence》:From construction site video to ergonomic risk reports: An evidence-chain workflow for pose-based risk screening

【字体: 大 中 小 】 时间:2026年08月30日 来源:Engineering Applications of Artificial Intelligence 9.0

编辑推荐:

   **摘要** 本研究提出了一种人工智能辅助的证据链工作流,用于基于单目红绿蓝(RGB)视频进行建筑工地人体工学风险筛查。该框架集成了三个模块:三维(3D)人体姿态推断、时序人体工学风险特征提取以及基于大语言模型(LLM)的报告生成。首先,从单目建筑工地视频中重建工人姿态,以获

  

**摘要**
本研究提出了一种人工智能辅助的证据链工作流,用于基于单目红绿蓝(RGB)视频进行建筑工地人体工学风险筛查。该框架集成了三个模块:三维(3D)人体姿态推断、时序人体工学风险特征提取以及基于大语言模型(LLM)的报告生成。首先,从单目建筑工地视频中重建工人姿态,以获取适用于现场可见性约束下人体工学分析的 3D 关节轨迹。其次,从估计的 3D 关节轨迹中量化姿势、持续时间和重复性风险。姿势风险是通过基于姿势的快速全身评估(REBA)实现派生得出的,而持续时间和重复性风险则是通过关节级静态载荷分析和重复运动分析建模的。第三,通过基于约束提示的 LLM 报告生成模块,将提取的定量指标转换为结构化的风险摘要和自然语言报告。该框架使用高风险工种(包括砌砖、钢筋工作和石膏板安装)的真实建筑工地视频以及用于姿态正确性评估的公共 3D 真值数据进行了验证。结果表明,所提出的框架能够生成解剖学上合理的姿态输出,产生与专家共识一致的人体工学指标,并在评估的提示和输入条件下生成可重复的结构化标签和部分基于证据的自然语言报告。通过组织基于视频的姿态推断、姿势 - 持续时间 - 重复指标提取以及基于证据的报告生成,该工作流为评估条件下的建筑工地职业性肌肉骨骼疾病风险审查提供了可追溯的筛查证据。

**引言**
工作相关肌肉骨骼疾病(WMSDs)占欧洲工业界缺勤的 50% 以上(Govaerts 等人,2021 年)。这一统计数据清楚地表明,WMSDs 构成了一个超出传统职业疾病范畴的结构性问题,直接威胁工业生产力及劳动力的长期可持续性。建筑业是一个代表性的高风险行业,工人经常进行重物搬运、重复动作和长时间的不便姿势,导致持续和累积的体力负荷(Fan 等人,2024a)。与急性事故不同,WMSDs 是通过累积暴露逐渐发展的,可能导致慢性疼痛和工作能力下降,这使得在动态的建筑工地环境中难以实时识别和管理(Li 等人,2017 年;Seo 等人,2015 年)。

尽管如此,现有的安全管理系统主要仍以事故为中心,侧重于事后响应,因此在定量识别和管理工作过程中出现的人体工学风险方面存在局限性。历史上,建筑环境中的人体工学风险是使用手动观察系统进行评估的,例如快速全身评估(REBA)、快速上肢评估(RULA)和 Ovako 工作姿势分析系统。尽管这些方法在实践和研究中得到了广泛应用,但它们在成本效益(Ryu 等人,2021 年)、客观性(Brandl 等人,2024 年)和实时监控能力(Kee,2022 年)方面受到限制。因此,基于机器学习和计算机视觉的 WMSD 风险评估方法作为非侵入性替代方案受到了越来越多的关注。特别是,基于计算机视觉的方法非常适用于建筑工地,因为它们可以利用现场视频,而无需使用动作捕捉系统(Plantard 等人,2017 年)或可穿戴传感器(Yan 等人,2017 年),且不会降低工人的生产力(Jiao 等人,2024 年;Li 等人,2024 年)。

已经开发了各种数据驱动的人体工学评估方法来自动化建筑工人的 WMSD 风险评估,包括计算机视觉、三维(3D)建模、模糊推理、贝叶斯网络和基于神经网络的方法。早期的研究主要专注于识别工人姿势或估计关节角度,然后使用 REBA 或 RULA 等建立的人体工学评估工具计算姿势相关风险。例如,基于视觉的姿势分类已被证明可以减少与基于手动观察的评估相关的时间负担和观察者偏差(Seo 和 Lee,2021 年)。此外,使用模糊推理、贝叶斯网络、神经网络和神经模糊模型的研究试图解决传统基于 REBA 评估的灵敏度有限、不确定性和输入错误问题(Ghasemi 和 Mahdavi,2020 年;Golabchi 等人,2017 年;Li 等人,2024 年;Tao 等人,2023 年;Wang 等人,2021 年;Yalcin Kavus 等人,2023 年)。

最近,自动化人体工学评估已从单帧姿势评估扩展到连续运动和时序暴露的分析。Wang 等人评估了连续运动中的人体工学风险变化,使用了 3D 运动数据和模糊人体工学分析(Wang 等人,2021 年),后来提出了一种基于标准运动时间的方法,以更系统地将工作时长纳入人体工学风险评估(Wang 等人,2023 年)。Chen 和 Yu 提出了一种自动方法,使用自相似矩阵和基于 Transformer 的方法来计算建筑工人非结构化的重复动作(Chen 和 Yu,2024 年)。这些研究表明,自动化人体工学评估已从基于姿势的风险评分扩展到连续运动、工作时长和重复性等时序风险因素。然而,这些研究主要是在特定运动、实验设置或设计场景的相关背景下进行评估的,而对于真实建筑工地视频中的部分遮挡、检测失败和关节估计不确定性对时序风险指标的影响,仅得到了有限程度的解决。

与此同时,最近的研究开始使用生成式人工智能(AI)和视觉 - 语言模型来描述人体工学风险并提供用户友好的反馈。Fan 等人提出了一种基于大型视觉 - 语言模型的方法,用于从工作图像中识别人体工学风险并生成自然语言描述(Fan 等人,2024a),而 ErgoChat 支持针对建筑工人姿势人体工学风险的交互式视觉问答和图像字幕生成(Fan 等人,2024b)。Chen 等人结合增强现实、深度学习和视觉 - 语言查询系统,支持建筑工地的态势感知和安全反馈(Chen 等人,2024 年)。Sen 等人进一步提出了一个流程,将基于可穿戴传感器的姿势预测和不确定性估计与大语言模型(LLM)反馈联系起来,为工人提供可理解的健康风险信息和建议(Sen 等人,2024 年)。这些研究表明,人体工学风险评估正在从定量评分扩展到自然语言解释和用户导向的反馈。

尽管如此,现有文献中仍存在几个局限性。首先,尽管自动化人体工学评估已扩展到包括姿势评估、持续时间和重复动作计数,但很少有研究基于从真实建筑工地视频估计的姿态轨迹,在同一分析工作流中计算和比较这些风险指标。其次,由于材料、设备和工人移动,建筑工地上经常出现部分遮挡和检测失败,但有限的研究探讨了在这种情况下基于单目红绿蓝(RGB)的 3D 姿态推断如何保持稳定,以及在什么条件下其输出应谨慎解释。第三,尽管基于 LLM 和视觉 - 语言模型的研究展示了解释人体工学风险和提供交互式反馈的潜力,但关于结构化定量指标(如姿势、持续时间和重复性)如何用作报告生成的输入证据,以及解释结果如何根据输入信息和提示策略而变化的系统性比较仍然有限。

本研究的目的是开发并评估一种用于建筑工地人体工学风险筛查的 AI 辅助方法论集成,其中从视频衍生的姿态证据被转换为姿势、持续时间和重复性风险指标,然后转换为基于证据的报告。本研究的主要贡献有三点。首先,本研究对建筑工地视频执行基于单目 RGB 的 3D 姿态推断,并通过使用公共 3D 真值(GT)数据和建筑工地遮挡条件区分正确性和解剖学合理性来评估姿态推断结果。其次,本研究开发了模块#2 作为解剖学明确的人体工学特征提取层,利用关节特定的几何定义和时序计数程序,从估计的 3D 关节轨迹中派生姿势、持续时间和重复性风险指标。这使得框架不仅考虑单帧姿势评分,还考虑静态姿势持续时间和重复运动特征。第三,本研究将提取的定量指标用作基于 LLM 的报告生成的输入证据,并在固定的提示和输入条件下评估结构化输出和自然语言输出的可重复性和证据基础。本研究并不声称一种全新的计算范式;而是将其贡献框架化为建筑工地人体工学风险筛查的方法论集成和改进(Hevner 等人,2004 年)。

本文其余部分组织如下。第 2 节描述了所提出框架的整体结构及其三个模块:3D 姿态推断、人体工学风险特征提取以及基于 LLM 的解释和报告生成。第 3 节介绍了数据集、模块级验证设计以及用于基于配置贡献分析的实验配置。第 4 节报告了模块#1、#2 和#3 以及配置分析的验证结果。第 5 节讨论了所提出框架的性能特征、实际意义、局限性和未来研究方向。最后,第 6 节总结了研究的主要结论。

**章节片段 提出的框架**
所提出的框架被定位为人体工学风险筛查的上游证据链工作流,旨在为专家审查组织可追溯的筛查证据,而不是作为选择或排序预定义干预替代方案模型。它由三个模块组成:(i) 3D 姿态推断,(ii) 人体工学风险特征提取,以及 (iii) 基于模块#2 定量输出的 LLM 报告生成(参见图 1)。

**数据集**
录像使用三星 Galaxy Z Fold 3 5G 以全高清视频(1920×1080)30 fps 拍摄,安装在高度为 1.5 米的固定三脚架上。虽然 RGB-D 深度传感器可以通过为模块#1 提供真值 3D 关节位置来提高评估有效性,但在现场设置中无法获得此类硬件。由于该框架的核心目标是在模块#3 中生成实用的 WMSD 风险报告,这依赖于姿态衍生的 人体工学特征而不是绝对的

**模块#1:正确性和合理性**
在公共 3DPW 数据集上的基于正确性的评估表明,SAM-3DB 在采样帧上实现了比 AlphaPose-MotionBERT 基线/比较器更低的 3D 姿态误差(参见图 4)。使用通用的身体关节子集,SAM-3DB 获得了根对齐 MPJPE 为 90.88 ± 18.21 mm,PA-MPJPE 为 43.63 ± 12.41 mm,而 AlphaPose-MotionBERT 获得了根对齐 MPJPE 为 202.34 ± 55.83 mm,PA-MPJPE 为 115.13 ± 35.22 mm。在配对的受控遮挡分析中,SAM-3DB

**所提出框架的性能特征**
所提出框架的性能应结合其组件级贡献和每个模块的验证边界来解释。以前的研究已经证明了自动化姿势分类、模糊或概率人体工学评分、连续运动风险分析、重复动作计数以及用于人体工学风险沟通的视觉 - 语言或 LLM 反馈的可行性。因此,本研究的创新性不应被理解为

**结论**
本研究提出了一种在特定评估条件下用于建筑工地人体工学风险筛查的 AI 辅助证据链工作流。该框架集成了三个相互关联的模块用于建筑工地视频分析:(i) 使用与现有建筑工地监控基础设施兼容的单目 RGB 相机进行姿态估计,能够在建筑工地遮挡情况下进行解剖学合理性分析,同时明确识别严重/完全检测失败的情况;

**CRediT 作者贡献声明**
Dahyun Jung:撰写 – 原稿,可视化,验证,资源,方法论,调查,形式分析,数据整理,概念化。
Gun Kuk:撰写 – 原稿,可视化,验证,资源,方法论,调查,数据整理。
Hakpyeong Kim:撰写 – 原稿,可视化,验证,资源,方法论,调查,数据整理。
Taehoon Hong:撰写 – 审查与编辑,验证,监督,项目管理,方法论,

**利益冲突声明**
作者声明他们没有已知的竞争经济利益或个人关系可能影响本文中报告的工作。

**致谢**
本研究由韩国政府(MSIT;科学与信息通信技术部)资助的韩国国家研究基金会(NRF)拨款支持(NRF-2021R1A3B1076769)。

Dahyun Jung|Gun Kuk|Hakpyeong Kim|Taehoon Hong|Hyeonggyun Kim|Kwangbok Jeong
韩国首尔,延世大学,建筑与建筑工程系
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号