利用视觉SLAM技术的头戴式第一人称视角摄像头进行工人行为识别

《AUTOMATION IN CONSTRUCTION》：Head-mounted first-person view camera-based worker action recognition using visual SLAM

　　黄正斌|艾哈迈德·阿菲菲|韩凯文
北卡罗来纳州立大学土木、建筑与环境工程系，915 Partners Way，罗利，NC 27606，美国

**摘要**
由于施工劳动力管理对生产力和安全至关重要，因此识别工人在现场的行为变得非常重要。研究人员探索了多种传感器（包括摄像头）来识别工人行为。为了直接从工人的视角捕捉以自我为中心的身体和头部动作，本文提出了一种使用头戴式第一人称视角（FPV）摄像头的方法。该方法定义并分析了七种身体动作类型和五种头部动作类型，并通过基于视觉同时定位与地图构建（SLAM）的FPV摄像头姿态估计以及3D头部姿态的动作识别技术来实现。在室内环境下的准确率为94.52%（身体：97.08%，头部：92.83%），在室外环境下为89.31%（身体：90.62%，头部：87.99%），宏观F1分数分别为87.58%（身体：95.04%，头部：80.13%）和78.14%（身体：82.53%，头部：73.75%）。这些结果表明，头戴式摄像头可以通过捕捉工人的视野来有效进行动作识别，并克服第三人称监控所固有的局限性。

**1. 引言**
建设项目劳动力密集且对工人来说风险很高[1]，[2]，[3]，[4]。2023年，建筑行业报告了1075起工人死亡事故，创下所有行业中的最高死亡人数[5]。这也是自2011以来建筑行业的最高死亡记录。此外，建筑行业的生产率增长最近一直在下降[6]，[7]，[8]。根据麦肯锡全球研究所2017年的报告，过去二十年中全球建筑行业的劳动生产率年均增长仅为1%，而世界经济整体增长率为2.8%，制造业为3.6%[9]。为了解决这些问题，许多从业者正在努力降低事故率并提高建筑行业的生产力[10]。劳动力管理是提高施工现场安全性和生产力的有效方法之一，可以检测出那些看起来处于危险中或工作效率低下的人员，从而有助于提升整个行业的安全性和生产效率[11]，[12]，[13]。

工人行为识别是施工现场高效和成功进行劳动力管理的重要方法之一[14]，[15]，[16]。工人行为（即身体和头部动作）可以作为分析工作进度、评估潜在安全风险以及估计工人视野的基础。例如，它们可以检测到闲置的工人[17]或未经授权的行为（例如进入危险区域[18]），识别不安全的情况（例如脚手架工人的滑动或不稳定状态[19]），以及检查是否遵守安全规定（例如是否佩戴安全带[20]），并通过准确识别建筑工人的行为来追踪他们的视野[21]。此外，识别行为有助于发现与疲劳[22]或不当工作方式[23]相关的模式，以便及时干预。鉴于施工现场的动态性和复杂性，一个有效且实用的行动识别系统可以通过减少对人工观察的依赖并支持数据驱动的决策来改善现场管理[24]。

由于这些优势，许多从业者和研究人员一直在努力使用传感器自动识别工人行为。特别是，各种传感器（例如可穿戴惯性测量单元（IMUs）[24]，[25]已被用于自动识别建筑工人的行为。然而，这些传感器存在实际限制，因为它们只能在工作时间收集有限的信息，并且价格昂贵。此外，由于能收集的数据有限，它们很难用于其他目的。相比之下，摄像头相对便宜，由于安装在施工现场的固定位置，不会干扰工人完成任务。此外，摄像头可以收集周围的视觉数据，包含更多信息，并可用于其他用途。

尽管有这些优势，安装的摄像头从第三人称视角（TPV）录制视频，这使得它们容易受到物体遮挡的影响。在物体众多且遮挡频繁发生的动态复杂施工现场中，这个问题尤为严重。遮挡是指由于目标物体之间的重叠而无法捕捉到目标物体，从而无法进行分析的情况。此外，随着施工工作的进行，任务执行的位置不断变化。根据需要调整摄像头位置非常不切实际。然而，由于基于视觉的分析依赖于录制的视频，它无法提取视频中未捕捉到的信息。因此，在这些环境中检测和追踪工人非常具有挑战性，即使使用价格合理的摄像头也是如此。

为了解决这些问题，本文提出了一种方法，可以使用头戴式摄像头录制的FPV视频和深度神经网络自动识别建筑工人的行为（包括身体动作和头部动作）（图1）。与固定摄像头的TPV视频不同，FPV视频提供了以自我为中心的视角，本质上具有抗遮挡能力，因为摄像头会随工人移动，并持续捕捉工人的即时工作环境，不受周围物体或布局变化的影响。本研究关注的是基本的工人行为，而不是特定任务的活动，从而实现与建筑任务类型无关的动作识别。该方法的目标不是在粗略层面识别工人正在执行的任务，而是捕捉更细致和明确的动作级别行为，从而详细分析工人的行为模式。通过这种方法，作者仅使用连接到工人头部的头戴式摄像头或佩戴的安全帽录制的FPV视频，就能自动分析身体动作（例如闲置、向前移动、向后移动、向右移动、向左移动、坐下和站立）和头部动作（例如闲置、向左转、向右转、向上倾斜和向下倾斜）。这些动作类别被认为对研究范围具有足够的代表性，因为它们捕获了进行工人行为识别所需的基本身体和头部运动模式，并且完全来自头戴式FPV摄像头录制的视频。尽管这些动作代表了相对简单的运动单元，但它们直接与工人的空间行为和任务参与度相关，对于评估生产力和识别潜在的安全风险非常重要。

本文提出了以下贡献：首先，作者提出了一种使用头戴式FPV摄像头而不是TPV摄像头来识别工人behavior的方法，不会打扰工人。此外，不需要额外的摄像头安装来进行劳动力监控。这是一个经济实惠的解决方案，即使工人的身体（例如手）在FPV视频中不可见，也能成功识别他们的行为。其次，作者将工人行为分为身体动作和头部动作，在每个类别中定义了详细的类别，并通过提出的方法识别了具有可识别3D空间信息的动作类别。这些分类的行动可以通过利用提取的3D空间信息来支持生产率评估和安全监控。具体来说，通过跟踪工人在特定位置停留的时间和执行的具体任务，所得到的运动模式可以作为生产率分析的关键指标。此外，当检测到潜在危险时，工人行为识别可以帮助分析工人的反应，从而支持安全监控。第三，通过使用FPV视频可以避免因遮挡而导致的数据丢失。这解决了TPV摄像头的局限性，因为TPV摄像头要求工人必须在视频范围内才能进行监控。因此，即使工人移动到不同的工作位置，也可以持续监控建筑工人。这是因为提出的框架使用FPV视频通过分析工人的视野来识别行为，而不是通过捕捉视频中的工人来进行监控。第四，提出的方法不仅结合了视觉SLAM和额外的深度神经网络来从FPV视频中提取间接信息（这些视频中不包含工人行为的直接证据），还引入了时间参考的预处理步骤。具体来说，使用视觉SLAM估计的摄像头姿态来构建时间感知的输入表示，使深度神经网络能够更准确地识别工人行为。这种设计超越了基于深度神经网络的行动识别模型，因为它结合了来自视觉SLAM的时间参考摄像头姿态信息，提供了仅基于外观特征无法捕捉到的上下文线索。第五，与其他传感器（例如GPS）不同，提出的方法无需现有约束，例如在室内环境中接收GPS信号很困难。最后，基于身体和头部动作识别结果（作为工人行为的基本单位），不仅可以分析工人的状态，还可以详细研究他们对特定情况的反应。

**下载：** 下载高分辨率图像（394KB）
**下载：** 下载全尺寸图像

**图1. 使用头戴式FPV摄像头进行工人行为识别的概念。**

**2. 文献综述**
许多研究人员使用了各种方法对建筑工人的行为进行了大量研究以进行分类或识别。特别是，为了收集和理解工人行为信息，采用了各种先进的可穿戴传感器，如加速度计、陀螺仪、物联网（IoT）和VR头戴设备。例如，Ryu等人[26]引入了一种嵌入手腕的加速度计活动跟踪器，用于自动识别行为。他们实现了88.1%的准确率来分类砌体工作的四种不同子任务。Aminian等人[27]使用陀螺仪从下肢的角度速度计算步态参数。此外，Park等人[19]使用附着在工人腰部的可穿戴IMU传感器来识别建筑工人的行为。Kim等人[28]提出了一个基于物联网的建筑工人生理数据监控平台，使用可穿戴智能手环。该传感器包含光体积描计、加速度计、皮肤温度、低秩适应（LoRA）模块和全球定位系统（GPS）。通过这些传感器，可以远程监控建筑工人的当前位置。此外，Zhao等人[29]使用VR头戴设备识别行为。具体来说，他们使用VR头戴设备收集头部姿态，并采用深度神经网络（DNN）根据头部姿态估计行为。然而，他们使用的VR头戴设备可能会遮挡用户对真实世界的视线。尽管进行了许多使用不同类型可穿戴传感器来识别工人行为的研究，但这些传感器在工人执行任务时可能会打扰他们，直接影响他们的生产力和安全。总之，由于不便和成本原因，这些传感器在施工现场并不实用。

为了在不使用不便的可穿戴传感器的情况下识别建筑工人的行为，许多建筑供应商和研究人员使用摄像头进行监控。为此，他们安装了闭路电视（CCTV）摄像头，并手动监控录制的视频来管理施工现场的劳动力。传统的手动视频监控方法需要大量的时间和成本。为了解决这些问题，许多研究致力于使用基于视觉的监控模型来监控建筑工人并理解他们的行为。例如，Luo等人[30]提出了一个深度卷积神经网络（CNN）模型来评估工人行为。此外，Luo等人[31]提出了一种通过估计光流来识别行为的方法，该方法以监控视频作为输入，并生成个体工人的多样化和连续的活动标签。Roberts等人[32]通过集成物体检测和单-person姿态估计来提出了一种活动识别方法。他们可以通过跟踪估计的工人姿态来识别工人活动。Seo和Lee[33]利用预处理过的虚拟训练图像进行特征提取，以分类建筑工人的姿势。Kim等人[12]使用物体跟踪模块和光流变化来识别建筑工人的行为。

如上所述，已经采用了各种基于视觉的监控模型来通过分析TPV视频来识别建筑工人的行为。然而，这些基于TPV视觉的监控方法存在一个长期存在的问题——遮挡。虽然TPV视频可以同时监控多个工人，但当工人被其他工人或重型设备或建筑材料等周围资源遮挡时，它们往往无法捕捉到关键信息。另一方面，FPV视频捕捉了工人的以自我为中心的视角，从而大大减少了与外部视图相关联的遮挡问题。此外，基于FPV的监控在工人改变工作位置时不需要重新定位摄像头，因为摄像头会随工人移动。由于这些优势，包括对遮挡的鲁棒性和适应动态工作环境的能力，多项研究使用FPV相机来识别建筑工人的行为。例如，刘等人[34]使用带有轻型广角摄像头的安全帽来通过检测危险物体来保护工人。他们能够成功预测危险情况；然而，很难理解工人的反应。文等人[35]使用固定的TPV和时间同步的FPV相机结合时间偏移模块来预测佩戴相机者的姿势和位置。然而，所提出的框架在没有固定TPV的情况下无法工作。Jeelani等人[36]利用FPV视频在建筑工地的全球地图上定位工人，然后将工人的位置与预定义的危险位置进行比较，以向工人和安全管理人员发出警告。这些研究采用了FPV视频，但它们只能执行简单的监控任务，并且需要额外的传感器。还有许多研究仅使用FPV视频来识别工人行为。Coskun等人[37]开发了一个用于第一人称动作分类的少量样本迁移学习模型，通过分析手部和动作的位置来识别动作。Singh等人[38]提出使用CNN通过对佩戴相机者的手部和物体进行分析来分类其动作。然而，这些论文依赖于手部运动，因此它们只能在视频中出现手部时识别基于手部运动的人类动作。此外，李和王[39]以及乐等人[40]专注于识别佩戴相机者的手部姿势和手势。这些研究仅能分析建筑工人的手部状态，而无法分析整个身体的状态。

许多研究旨在使用各种传感器识别建筑工地上的工人动作；然而，可穿戴传感器（例如IMU）可能会打扰工人，TPV视频中可能会出现遮挡现象，而且使用FPV视频进行动作识别的相关研究也较少。为了解决这些限制，作者提出了一种方法，即使用头戴式FPV相机结合视觉SLAM和DNN来识别工人动作。该方法仅使用头戴式FPV相机就能识别工人的身体和头部运动，而不会打扰佩戴相机的工人。

3. 方法论
图2展示了所提出的方法，该方法能够从单目相机（即具有单个镜头的消费级数码相机）拍摄的FPV视频中识别工人动作——具体来说是基本的身体动作和头部动作。该框架包括三个主要过程：(1) 使用FPV视频定义和分析身体和头部动作以进行动作识别；(2) 通过视觉SLAM估计相机姿态；(3) 使用3D头部位置和方向进行动作识别。这些过程的详细说明在以下部分提供。

3.1. 使用FPV视频定义和分析身体和头部动作以进行动作识别
本节将工人动作分为身体动作和头部动作，以便使用头戴式相机录制的FPV视频进行识别。这些视频捕捉到工人在头上佩戴相机或安全帽时的动作，同时不会阻挡他们的视线。在录制视频的过程中，受试者执行建筑任务中常见的各种动作。作者将工人动作分为两大类：身体动作和头部动作。然而，大多数以前的研究主要关注身体动作，而不是头部相关的行为。同时识别身体和头部动作可以为现场管理人员提供更全面的工人行为理解，并提高管理效率。
每个身体和头部动作类别又被细分为具体的类别。具体来说，作者定义了七种身体动作：静止、向前移动、向后移动、坐下、站立、向左移动和向右移动。头部动作分为五类：静止、向左转、向右转、向上倾斜和向下倾斜（图3）。这些类别并不是为了定义特定于建筑的任务动作（例如避开障碍物或任务依赖的动作），而是有意设计为最小的、与任务无关的动作单元，它们构成了建筑环境中更高级别的工人动作。这十二个类别被设计成能够充分代表工人在典型建筑活动中表现出的基本身体和头部动作模式，确保在本研究的范围内全面捕捉到工人动作的基本单元。更复杂的建筑相关动作可以解释为这些基本动作单元随时间的组合。每个动作指的是动作本身，不同类型动作之间的任何暂停都定义为静止。例如，当工人从坐下然后站起来时，从头戴式相机的高度开始下降到停止下降的这段时间被定义为坐下。当相机的高度保持不变时，被视为静止。最后，从相机的高度开始上升直到停止上升的这段时间被定义为站立。

由于工人动作识别方法仅依赖于FPV视频，因此无论用户如何移动，头戴式相机都必须固定到位。因此，必须使用可以牢固地固定在用户头部和安全帽上的头戴式相机来录制视频。考虑到这一点，作者使用了GoPro HERO 13相机进行FPV视频录制。选择GoPro HERO 13是因为它是最受欢迎的动作相机之一，并且可以使用头带牢固地安装在头部或安全帽上，确保在用户的极端动作过程中视频的稳定录制。GoPro HERO 13提供了许多功能，但在本研究中，作者仅使用录制的FPV视频进行数据收集。视频的分辨率为3840 × 2160，帧率为30帧每秒（fps）。训练和测试数据的详细信息在验证部分提供。

3.2. 通过视觉SLAM估计相机姿态
在录制FPV视频时，头戴式相机被固定在工人的头部，其录制方向与工人的前方视野对齐。因此，在本节中，作者旨在估计头戴式相机的姿态（即相机位置和方向），从而推断出工人的头部位置和观看方向。为此，作者采用了视觉SLAM方法，利用先前录制的FPV视频来估计头戴式相机的姿态。
视觉SLAM是一种利用视觉数据（如视频）来估计相机姿态并同时生成周围环境地图的技术[41]。它仅依赖相机的视觉数据来跟踪场景中的关键特征，提取关于相机运动和环境空间结构的信息[42]。与其他需要外部传感器（如GPS或运动捕捉系统）的定位方法不同，视觉SLAM仅使用视觉数据自主运行。通过不断更新估计的相机姿态和生成的地图，视觉SLAM能够在动态和未知的环境中实现实时跟踪和导航。
在使用从头戴式相机收集的FPV视频运行视觉SLAM之前，应通过相机校准计算相机的内部参数和畸变系数[43]。内部参数是相机本身的特性，包括焦距（fx,fy）和主点（cx,cy）。相机内部矩阵定义为公式（1）。
(1) 相机内部矩阵 = f(x0, c0) / [f(y0, c0) × (1 - k1^2 - k2^2 - k3^2)]

畸变系数（公式（2）是描述相机镜头的畸变参数，分为径向畸变系数和切向畸变系数。径向畸变系数表示随着距离图像中心增加而增加的畸变，通常影响位于中心较远的像素。这些系数通常表示为k1、k2和k3。切向畸变系数描述了由于镜头未完美对齐而导致的畸变，使得图像相对于中心轴倾斜，可以用p1和p2表示。(2) 畸变系数 = (k1, k2, k3, p1, p2)

有多种方法可以进行相机校准以获得内部矩阵和畸变系数。在这些方法中，作者选择使用棋盘进行相机校准。棋盘非常适合相机校准，因为每个方格都形成精确的直角，并且其尺寸是已知的。作者使用了从不同角度拍摄的棋盘图像，并检测每个图像中的角点，计算出必要的参数，如图4所示。

使用通过相机校准获得的参数，作者将视觉SLAM应用于FPV视频。视觉SLAM的输出包括地标和关键帧。地标代表周围环境地图的元素，关键帧代表相机姿态。在本文中，作者仅使用相机姿态来识别工人动作。

3.2. 通过视觉SLAM估计相机姿态
在录制FPV视频时，头戴式相机固定在工人的头部，其录制方向与工人的前方视野对齐。因此，在本节中，作者旨在估计头戴式相机的姿态（即相机位置和方向），从而推断出工人的头部位置和观看方向。为此，作者采用了视觉SLAM方法，利用之前录制的FPV视频来估计头戴式相机的姿态。
视觉SLAM是一种利用视觉数据同时估计相机姿态并生成周围环境地图的技术[41]。它仅依赖于相机的视觉数据来跟踪场景中的关键特征，提取关于相机运动和环境空间结构的信息[42]。与其他需要外部传感器（如GPS或运动捕捉系统）的定位方法不同，视觉SLAM仅使用视觉数据自主运行。通过不断更新估计的相机姿态和生成的地图，视觉SLAM能够在动态和未知的环境中实现实时跟踪和导航。
在使用从头戴式相机收集的FPV视频运行视觉SLAM之前，应通过相机校准计算相机的内部参数和畸变系数[43]。内部参数是相机本身的特性，包括焦距（fx,fy）和主点（cx,cy）。相机内部矩阵定义为公式（1）。
(1) 相机内部矩阵 = f(x0, c0) / [f(y0, c0) × (1 - k1^2 - k2^2 - k3^2)]

畸变系数（公式（2）是描述相机镜头的畸变参数，分为径向畸变系数和切向畸变系数。径向畸变系数表示随着距离图像中心增加而增加的畸变，通常影响位于中心较远的像素。这些系数通常表示为k1、k2和k3。切向畸变系数描述了由于镜头未完美对齐而导致的畸变，使得图像相对于中心轴倾斜，可以用p1和p2表示。(2) 畸变系数 = (k1, k2, k3, p1, p2)

有多种方法可以进行相机校准以获得内部矩阵和畸变系数。在这些方法中，作者选择使用棋盘进行相机校准。棋盘非常适合相机校准，因为每个方格都形成精确的直角，并且其尺寸是已知的。作者使用了从不同角度拍摄的棋盘图像，并检测每个图像中的角点，计算出必要的参数，如图4所示。

使用通过相机校准获得的参数，作者将视觉SLAM应用于FPV视频。视觉SLAM的输出包括地标和关键帧。地标代表周围环境地图的元素，关键帧代表相机姿态。在本文中，作者仅使用相机姿态来识别工人动作。

3.3. 使用3D头部位置和方向进行动作识别
在本节中，作者利用头戴式FPV相机的姿态来识别工人动作。为了识别工人的身体和头部动作，作者应用DNN来分析相机姿态。在使用DNN之前，需要对相机姿态数据进行预处理以估计工人动作。视觉SLAM估计相机姿态为相机位置（tx,ty,tz）和方向（qx,qy,qz,qw）。然而，由于这些类型的相机位置和方向并不适合于工人动作识别，因此需要进行相机姿态预处理。例如，当工人的观看方向与其移动方向对齐时，身体动作可以被视为静止。观看方向是从相机姿态中的相机方向直接得出的，无需任何额外的预处理。另一方面，由于相机姿态中的相机位置表示的是无时间信息的位置数据，作者计算了其时间变化以确定移动方向。然而，表示相机方向的四元数包含了关于观看方向的向量信息，因此不需要进行更改。因此，首先，作者将相机姿态预处理为（tx?,ty?,tz?）和（qx,qy,qz,qw）。在头部动作的情况下，原本表示为四元数的相机方向被转换为欧拉角，以便更直观地解释用户的头部旋转，使用公式（4）。特别是，需要生成包含时间信息的相机方向信息。然而，由于四元数是一种通过三角变换得到的数据格式，它在包含时间信息方面存在局限性。由于这些限制以及为了确定头部旋转的状态，在相机姿态预处理过程中计算了欧拉角的时间变化。此外，由于身体运动可能会引起轻微的头部旋转，因此也考虑了工人的位置变化。总之，作者将相机姿态预处理为（tx?,ty?,tz?）和（??,θ?,ψ?），以便用于头部动作识别模型，其中?表示x轴旋转，θ表示y轴旋转，ψ表示z轴旋转。(4) ? = arctan2((qw × qx + qy × cz) / (1 - (qx^2 + qy^2)), ψ = arctan2((qw × qz + qx × qy) / (1 - (qy^2 + qz^2)))

作者应用了循环神经网络（RNN）和双流长短期记忆（LSTM）基于相机姿态的时间序列数据来识别工人动作。LSTM是一种用于解决大多数RNN中常见的梯度消失问题的RNN类型[46][47]。一个LSTM单元由三种类型的门组成：遗忘门、输入门和输出门。遗忘门决定哪些过去的 ??应该被丢弃，输入门控制应该存储多少当前的信息，输出门根据前两个门的结果产生最终的输出。由于LSTM的结构，它非常适合分析时间序列数据。LSTM的详细架构如图5所示。对于第t个单元，单元的状态可以通过公式（5）、（6）、（7）、（8）、（9）、（10）来更新（σ：Sigmoid函数，xt：输入向量，ht：输出向量，ct：单元状态）。（5）ft=σ(Wf?[ht?1,xt]+bf）（6）it=σ(Wi?[ht?1,xt]+bi）（7）gt=tanh(Wg?[ht?1,xt]+bg）（8）ot=σ(Wo?[ht?1,xt]+bo）（9）ct=ft?ct?1+it?gt（10）ht=ot?tanh(ct）下载：下载高分辨率图片（234KB）下载：下载全尺寸图片图5. LSTM单元的结构。凭借这些技术优势，本研究中使用了两个双流LSTM，以便模型能更有效地从整个序列中学习时间序列相机姿态数据的顺序模式。用于身体和头部动作识别的两个双流LSTM的结构如图6所示。在这项研究中，双流LSTM架构的两个流都接收预处理的时间序列输入，包括相机位置和方向。每个流都包含一个有128个单元的LSTM层，以有效分析输入，然后进行批量归一化。当两个LSTM分支的输出被合并成一个向量后，组合表示会通过一个有1024个单元的密集层和ReLU激活函数，接着进行批量归一化和0.3的dropout操作。之后是另一个有512个单元的密集层，以及0.2的dropout操作。最后是一个使用softmax激活函数的输出层，用于执行多类分类，这些动作之前被定义为工人动作。损失函数选择为交叉熵，优化器使用Adam。下载：下载高分辨率图片（280KB）下载：下载全尺寸图片图6. 用于身体和头部动作的双流LSTM架构（左：身体动作识别模型，右：头部动作识别模型）。下载：下载高分辨率图片（402KB）下载：下载全尺寸图片图7. 使用头戴式相机录制FPV视频的示例帧和实验设置。

4. 实验设置和结果
为了验证所提出的方法，作者通过改变输入视频的长度和采用的神经网络类型进行了实验。这些实验中使用的视频是用头戴式FPV相机GoPro HERO 13以30 fps的帧率录制的。作者手动审查了所有视频帧，并逐帧标记用户的动作，以评估模型的性能。标记的注释包括帧号、身体动作和头部动作作为真实值。
由于本研究关注的是详细的工人动作而不是特定任务的活动，因此每个动作的时间持续较短，在几秒钟内就会频繁切换。为了捕捉这些快速的身体和头部动作动态，而没有将多个动作合并成一个样本，因此采用了较短的输入视频片段。具体来说，实验中的输入视频长度设置为0.167秒（5帧）、0.333秒（10帧）、0.500秒（15帧）和1秒（30帧）。此外，模型的基础DNN架构在1D CNN、时间卷积网络（TCN）[48]（另一种用于分析时间序列数据集的神经网络）和LSTM之间进行了变换。这些模型使用TensorFlow 2.16.2和Keras实现，并进行了50个时代的训练，所有模型的学习率均为0.0001。这些实验的目的是找到使用FPV视频识别工人动作的最佳方案。准确率和宏观F1分数用于量化各种模型的性能。此外，作者还计算了宏观精确度和宏观召回率，以更详细地了解实验结果。实验是在运行Ubuntu 22.04.5 LTS的系统上进行的，系统配备了Intel Core i9 14900K处理器、64 GB RAM和NVIDIA RTX 4000 Ada Generation GPU。

为了成功运行视觉SLAM，作者使用一个8 × 11模式的棋盘和72毫米的网格尺寸进行了相机校准，以计算相机的内参数和畸变系数。用于实验的GoPro HERO 13计算出的相机参数如下所示（公式（11）、（12）。（11）相机内参数=1956.9701959.3301985.821040.80001（12）畸变系数=（?0.2971,0.1257,?0.0271,0.0017,?0.0033）
数据集来自三名参与者，每位参与者都佩戴了头戴式GoPro HERO 13相机。参与者在录制FPV视频的同时执行所有的身体和头部动作。为了捕捉多样且真实的动作模式，指示参与者执行非重复性和无约束的动作序列，而不是重复执行预定义的动作。由于头部动作的固有特性——通常持续时间较短且比身体动作更频繁——参与者在录制过程中有意更频繁地改变头部动作，以确保每种头部动作类别都有足够的表示。
总共录制了6726秒的视频（205,736帧）。为了确保足够的背景多样性，在北卡罗来纳州立大学的Fitts-Woolard Hall（FWH，室内环境）录制了182,135帧，在建造设施实验室（CFL，室外环境）录制了剩余的23,601帧。尽管其名称如此，CFL实际上是一个类似建筑工地的环境，那里有各种建筑物和结构部件（例如，柱子、墙壁和桥梁梁）正在积极建造中。为了最小化单个注释者标记可能产生的偏差和错误，所有三名参与者都参与了标记过程，并在剪辑生成期间仔细审查了动作边界——包括连续动作之间的转换。
在182,135帧室内帧中，有70,006帧是在实验室（FWH房间1311）中收集的，用于训练（图7(a)）。剩余的112,129帧是在FWH整个一楼的多个大厅区域录制的，包括布局不同、照明条件和背景结构各异的走廊，用于室内测试（图7(b)）。此外，所有23,601帧室外环境帧仅用于测试（图7(c)）。这些FPV视频帧是使用安装在作者头部的相机录制的，如图7(d)所示（相机用红色框标出）。FPV视频是连续录制的，而不是分段或人工稳定的，从而自然捕捉到了身体和头部动作的多样性和不间断的变化，包括头戴式相机位置和方向的连续变化。这种连续且真实的FPV视频录制过程确保了FPV帧能够真实反映动态的FPV条件，并且随后的实验结果有效验证了所提出方法在这种现实世界相机运动下的鲁棒性。身体和头部动作的模式都是从同一个连续的FPV视频序列中注释和分析的，每个输入视频可能同时包含这两种类型的动作。作者在表1中展示了用于模型训练和测试的身体和头部动作的总帧数。尽管空闲样本的数量相对较多，可能会暗示数据不平衡，但大多数建筑任务——不包括需要运动的任务，如运输材料——在执行时几乎没有身体或头部的运动。在收集数据集时考虑了这一特点。因此，数据集有意反映了在真实建筑工地上观察到的工人动作的自然分布，其中空白状态比其他动作类别更常见。鉴于在实际情况中预期会出现类似的类别不平衡，数据集未经人工重新平衡直接使用，模型在这种不平衡的数据上进行了训练和评估，以保持真实性并避免引入分布偏差。
为了成功运行视觉SLAM，作者使用了一个8 × 11模式的棋盘和72毫米的网格尺寸进行了相机校准，以计算相机的内参数和畸变系数。用于实验的GoPro HERO 13的计算出的相机参数如下所示（公式（11）、（12）。（11）相机内参数=1956.9701959.3301985.821040.80001（12）畸变系数=（?0.2971,0.1257,?0.0271,0.0017,?0.0033）
数据集来自三名参与者，每位参与者都佩戴了头戴式GoPro HERO 13相机。参与者在录制FPV视频的同时执行了所有的身体和头部动作。为了捕捉多样和真实的动作模式，参与者被指示执行非重复性和无约束的动作序列，而不是重复执行预定义的动作。由于头部动作的固有特性——通常持续时间较短且比身体动作更频繁——参与者在录制过程中有意更频繁地改变头部动作，以确保每个头部动作类别都有足够的表示。
总共录制了6726秒的视频（205,736帧）。为了确保足够的背景多样性，在北卡罗来纳州立大学的Fitts-Woolard Hall（FWH）录制了182,135帧（室内环境），而在建造设施实验室（CFL，室外环境）录制了剩余的23,601帧。尽管名为实验室，CFL实际上是一个类似建筑工地的环境，那里有各种建筑物和结构部件（例如，柱子、墙壁和桥梁梁）正在积极建造中。在注释过程中，为了最小化单个注释者标记可能产生的偏差和错误，所有三名参与者都参与了标记过程，并在剪辑生成期间仔细审查了动作边界——包括连续动作之间的转换。
在182,135帧室内帧中，有70,006帧是在FWH房间1311中收集的，用于训练（图7(a)）。其余的112,129帧是在FWH整个一楼的多个大厅区域内录制的，包括布局不同、照明条件和背景结构各异的走廊，用于室内测试（图7(b)）。此外，所有23,601帧室外环境帧仅用于测试（图7(c)）。这些FPV视频帧是使用安装在作者头部的相机录制的，如图7(d)所示（相机用红色框标出）。FPV视频是连续录制的，而不是分段或人工稳定的，因此自然捕捉到了身体和头部动作的多样性和不间断的变化，包括头戴式相机位置和方向的连续变化。这种连续且真实的FPV视频录制过程确保了FPV帧能够真实反映动态的FPV条件，并且随后的实验结果有效验证了所提出方法在这种真实世界相机运动下的鲁棒性。身体和头部动作的模式都是从同一个连续的FPV视频序列中注释和分析的，每个输入视频可能同时包含这两种类型的动作。作者在表1中展示了用于模型训练和测试的身体和头部动作的总帧数。尽管空闲样本的数量相对较多，可能会暗示数据不平衡，但大多数建筑任务——排除需要运动的任务，如运输材料——在执行时几乎没有身体或头部的运动。在收集数据集时考虑了这一特点。因此，数据集有意反映了在真实建筑工地上观察到的工人动作的自然分布，其中空白状态比其他动作类别更常见。鉴于在实际部署中预期会出现类似的类别不平衡，数据集未经人工重新平衡就直接使用了，模型在这种不平衡的数据上进行了训练和评估，以保持真实性并避免引入分布偏差。
作者使用了ORB-SLAM3算法[49]，这是一种最广泛使用的单目相机视觉SLAM算法，用于从录制的FPV视频中提取相机姿态。使用相机参数和ORB-SLAM3算法，作者从FPV视频中估计了相机姿态。然而，由于使用FPV视频进行视觉SLAM的性能限制，它只能估计大约96.09%的收集到的FPV视频帧（总共205,736帧中的197,688帧）。

表1. FPV视频中用于训练和测试的身体动作和头部手势的帧数。
动作类型 动作类型 总计 训练 测试 室内 测试 室外
Empty Cell Idle 104 26 52 26 037 62 59
Move Forward 29 27 81 12 75 41 31 59
Move Backward 19 97 21 10 49 68 39 31 83
Move Sit 84 40 23 86 49 89 10 65
Empty Cell Stand 64 85 18 29 38 81 77 5
Move Left 19 68 98 28 09 82 15 87
Move Right 17 60 78 22 48 96 54 18
Empty Cell Idle 16 49 11 63 00 88 64 14 93
Head Turn Left 59 14 24 18 14 03 20 93
Move Right 88 72 34 17 21 11 73 33
Empty Cell Tilt Up 13 71 56 03 11 41 32
Empty Cell Tilt Down 12 32 45 60 10 23 21 53

下载：下载高分辨率图片（760KB）下载：下载全尺寸图片图8. 在室内和室外环境中使用FPV视频进行工人动作识别的示例。
如上所述，这些实验中应用了三种不同的DNN架构来验证所提出框架对身体和头部动作性能的有效性：1D CNN、时间卷积网络（TCN）和LSTM（所提出的方法）。基于1D CNN的模型包含两个分别具有128和256个滤波器的卷积层，两者都使用核大小为5的滤波器和ReLU作为激活函数。每个卷积层后面跟着一个池化大小为2的最大池化层和一个批量归一化层。在最后一个卷积块之后，输出被展平。然后两个CNN分支被连接起来，并通过分别具有1024和512个单元的全连接层。在每个密集层之后应用了0.3和0.2的dropout，以防止过拟合。最后的分类层使用softmax激活函数对身体和头部动作进行多类分类。
用于实验性能比较的TCN是一种针对时间序列数据分析优化的DNN。实验中使用的基于TCN的模型采用因果和扩张卷积层来捕捉序列数据中的时间依赖性。网络从具有64个滤波器和核大小为3的因果1D卷积层开始，然后是批量归一化和ReLU激活函数。为了在保持计算效率的同时扩展感受野，依次应用了两个扩张率为2和4的扩张卷积层，每个层后面都跟着批量归一化。残差连接用于促进梯度流动并稳定训练。在时间特征提取之后，一个最大池化层减少了时间维度，输出被展平。这个TCN过程的两个独立分支输入流，并将它们的输出连接起来。连接后的特征通过分别具有1024和512个单元的全连接层，应用了0.3和0.2的dropout以防止过拟合。最后，分类层使用softmax激活函数对身体和头部动作进行多类分类。
实验通过改变输入帧数和DNN模型的类型来进行。在室内环境的实验结果中，所有用于身体动作识别的模型在使用30个输入帧时都表现出了高性能，无论DNN架构类型如何（表2）。具体来说，基于LSTM的模型，即所提出的方法，实现了最高的准确率（97.08%）和宏观F1分数（95.04%）。此外，对于头部动作识别，基于LSTM的模型表现最佳，使用15个输入帧时准确率达到92.83%，使用30个输入帧时宏观F1分数达到80.13%。同时，基于CNN和TCN的模型准确率也达到了81.94%，但它们的宏观F1分数低于50%（CNN：49.97%，TCN：44.15%）。
在室外环境中，所有使用30个输入帧的模型在识别身体动作时都表现出了高性能，准确率约为90%（表3）。宏观F1分数也令人满意，超过了82%。基于CNN的模型实现了最高的准确率（93.12%）和宏观F1分数（86.56%）。基于TCN的模型和基于LSTM的模型也表现出了高性能，准确率之间的差异（TCN：92.71%，LSTM：90.62%）和宏观F1分数之间的差异（TCN：84.57%，LSTM：82.53%）不超过5%。然而，在头部动作识别方面，除了基于LSTM的模型外，没有模型达到80%以上的准确率（CNN：75.43%，TCN：74.97%），且宏观F1分数低于50%（CNN：35.85%，TCN：34.06%）。相比之下，基于LSTM的模型表现最佳，准确率为87.99%，宏观F1分数为73.55%（图8）。

表2.三种不同输入帧数DNN模型在室内环境中的识别性能。
动作类型 | DNN类型 | 输入帧数 | 准确率 | 宏精度 | 宏召回率 | 宏F1分数
--- | --- | --- | --- | --- | --- | ---
CNN | 5 | 85.79% | 84.87% | 77.09% | 80.20% |
10 | 90.74% | 89.32% | 86.27% | 87.10%
15 | 94.29% | 93.41% | 90.71% | 91.96%
30 | 96.75% | 96.42% | 93.73% | 94.99%
TCN | 5 | 81.57% | 79.06% | 70.54% | 73.64%
Body | 10 | 90.36% | 87.21% | 84.88% | 85.70%
Movement | 15 | 93.83% | 92.97% | 89.30% | 90.75%
30 | 94.32% | 93.49% | 90.05% | 91.64%
LSTM（提出的方法）| 5 | 83.55% | 80.45% | 72.70% | 75.23%
10 | 89.35% | 86.37% | 82.68% | 84.05%
15 | 92.43% | 91.70% | 86.34% | 88.47%
30 | 97.08% | 95.72% | 94.45% | 95.04%
CNN | 5 | 79.20% | 79.07% | 39.10% | 42.49%
10 | 79.92% | 86.05% | 43.78% | 46.25%
15 | 80.21% | 78.18% | 46.74% | 49.15%
30 | 81.94% | 86.08% | 51.51% | 49.97%
TCN | 5 | 78.18% | 60.64% | 20.58% | 18.70%
Head | 10 | 79.19% | 76.90% | 35.71% | 36.55%
Movement | 15 | 80.16% | 85.10% | 40.07% | 43.18%
30 | 81.33% | 86.73% | 40.98% | 44.15%
LSTM（提出的方法）| 5 | 91.14% | 77.22% | 77.46% | 73.82%
10 | 92.12% | 83.95% | 78.61% | 79.57%
15 | 92.83% | 82.39% | 81.89%
30 | 91.97% | 86.52% | 80.10% | 80.13%

作者观察到输入帧数对识别性能有显著影响。无论DNN架构如何，随着输入帧数的增加，模型对头部和身体动作的识别准确率和宏观F1分数都有所提高。此外，在室内和室外环境中，模型对身体动作的识别性能都较高，而在所有模型中，除了提出的基于LSTM的模型外，头部动作的识别性能明显较低。

表3. 三种不同输入帧数DNN模型在室外环境中的识别性能。
动作类型 | DNN类型 | 输入帧数 | 准确率 | 宏精度 | 宏召回率 | 宏F1分数
--- | --- | --- | --- | --- | ---
CNN | 5 | 77.64% | 64.29% | 64.50% | 62.74%
10 | 87.00% | 79.10% | 75.93% | 77.02%
15 | 89.44% | 81.18% | 84.48% | 82.24%
30 | 93.12% | 83.67% | 90.61% | 86.56%
TCN | 5 | 80.40% | 71.79% | 63.66% | 66.75%
Body | 10 | 84.41% | 72.67% | 69.53% | 70.44%
Movement | 15 | 86.68% | 72.94% | 74.58% | 73.29%
30 | 92.71% | 85.84% | 84.82%
LSTM（提出的方法）| 5 | 77.46% | 56.66% | 57.22% | 55.39%
10 | 81.94% | 67.39% | 67.72% | 67.22%
15 | 87.19% | 74.51% | 73.05% | 72.33%
30 | 90.62% | 82.11% | 84.01% | 82.53%
CNN | 5 | 67.81% | 35.02% | 22.50% | 20.61%
10 | 70.68% | 57.30% | 27.52% | 27.91%
15 | 71.01% | 65.11% | 27.77% | 28.50%
30 | 75.43% | 72.39% | 32.96% | 35.85%
TCN | 5 | 66.59% | 19.86% | 20.03% | 16.10%
Head | 10 | 68.65% | 58.99% | 23.37% | 21.63%
Movement | 15 | 72.25% | 66.90% | 28.72% | 29.28%
30 | 74.97% | 75.06% | 31.65%

讨论
实验结果证明了所提出方法的使用可行性和实用性，该方法利用头戴式FPV摄像头和双流LSTM来识别建筑工人的动作。使用所提方法，工人动作的识别速度为每帧0.132秒；其中0.127秒用于从头戴式摄像头录制的FPV视频中估计摄像头姿态，0.005秒用于使用双流LSTM对工人动作进行分类。每帧0.132秒的分析速度意味着每秒可以处理多达7.58帧，显示出实时识别工人动作的潜力。
双流LSTM在室内和室外环境中对工人动作的识别性能均优于其他使用CNN和TCN的模型（表4）。具体来说，所提方法在室内和室外环境中的准确率分别提高了高达5.20%。此外，所提方法的宏观F1分数在室内环境中提高了高达17.30%，在室外环境中提高了高达18.82%。随着输入帧数的增加，识别性能进一步提高，表明模型在获得更多信息时能够更准确地识别动作。由于人类动作速度不算快，因此当仅使用5、10或15帧输入帧（分别大约0.167、0.333和0.500秒）时，模型很难准确解释动作。
尽管双流LSTM模型取得了最高的准确率和宏观F1分数，但其头部动作的识别性能仍低于身体动作。如图9所示，室内和室外环境中的结果显示身体动作的误分类较少，而头部动作则存在显著的混淆。具体而言，在室内环境中，模型经常将抬头和静止动作以及低头和静止动作混淆。在室外环境中，左转和右转动作经常被互相误分类。这些问题归因于视觉SLAM算法在提取视觉特征时的挑战。在室内环境中，天花板和地板表面相对平坦，视觉特征较少，使得视觉SLAM算法在抬头或低头时难以跟踪地标。而在室外环境中，管道也具有平坦或重复的视觉特征，同样干扰了视觉SLAM算法在左转或右转时提取和跟踪地标。因此，不同类型的地标跟踪失败取决于具体环境。

表4. 三种不同输入帧数DNN模型在室内和室外环境中的平均工人动作识别性能。
数据类型 | DNN类型 | 准确率 | 宏F1分数
--- | --- | ---
Empty Cell | CNN | 89.34% | 72.48% | 室内
TCN | 89.48% | 70.28% | Empty Cell
LSTM | 94.52% | 87.58% | Empty Cell
CNN | 84.28% | 61.21% | 室外
TCN | 83.84% | 59.32% | Empty Cell
LSTM | 89.31% | 78.14%

F1分数可以解释实验结果中准确率和宏观F1分数趋势的差异。表5显示，所有DNN架构在室内和室外环境中对静止动作的F1分数都保持较高。然而，对于其他头部动作，基于CNN和TCN的模型显示出相对较低的F1分数。特别是，抬头和低头的F1分数差异高达80.04%，表明这些模型未能学习头部动作的时间特征。如图8中的低头示例所示，与其他工人动作不同，抬头和低头动作在视觉上难以区分。这是由于相机镜头的畸变造成的。尽管其他类别的F1分数显著较低，但不同类型的DNN架构的总准确率相似。这是由于测试数据集中的类别不平衡造成的。如表1所示，室内和室外测试数据集都包含大量静止样本。由于静止动作的识别性能较高，这提高了总准确率。

此外，这项研究的一个关键优势是它能够通过使用头戴式FPV摄像头避免遮挡问题。为了进一步验证所提框架在动态建筑环境中的适用性，作者进行了额外实验。为此，在同一建筑工地（CFL）录制了一段FPV视频，视频中有两个人在镜头前移动（图10）。尽管实验只在单个地点进行，但通过重新定位起重机和建筑材料有意引入了背景多样性，从而在数据采集过程中产生了不同的背景布局和视觉环境。额外数据集包含11,111帧FPV视频（370秒），其中主体动态移动。所提框架取得了令人满意的性能，身体动作的识别准确率为78.31%，宏观F1分数为81.81%；头部动作的识别准确率为93.21%，宏观F1分数为77.81%（图11、图12）。这些结果表明，所提框架可以有效地应用于动态建筑工地以识别工人动作。

图9. 双流LSTM模型在室内和室外环境中识别工人动作的混淆矩阵。

此外，所提方法的一个关键优势是它能够通过使用头戴式FPV摄像头避免遮挡问题。为了进一步验证所提框架在动态建筑环境中的适用性，作者进行了另一项实验。为此，在同一建筑工地（CFL）录制了一段FPV视频，视频中有两个人在镜头前移动（图10）。尽管实验在单个地点进行，但通过重新放置起重机和建筑材料有意引入了背景多样性，从而在数据采集过程中产生了不同的背景布局和视觉环境。额外数据集包含11,111帧FPV视频（370秒），其中主体动态移动。所提框架取得了令人满意的性能，身体动作的识别准确率为78.31%，宏观F1分数为81.81%；头部动作的识别准确率为93.21%，宏观F1分数为77.81%（图11、图12）。这些结果表明，所提框架可以有效地应用于动态建筑工地以识别工人动作。

表5. 在室内和室外环境中，使用30帧输入时三种DNN模型对每种头部动作的F1分数。
数据 | DNN | F1分数 | 类型
--- | --- | ---
Empty Cell | CNN | 89.97% | 69.87% | 79.63% | 2.71% | 7.67% | 室内
TCN | 89.65% | 67.08% | 62.51% | 0.94% | 0.56% | 室内
LSTM | 95.30% | 76.41% | 82.79% | 78.85% | 67.28% | Empty Cell
CNN | 87.99% | 28.14% | 31.48% | 14.22% | 17.44% | 室外
TCN | 86.57% | 23.04% | 36.21% | 9.83% | 14.66% | Empty Cell
LSTM | 96.40% | 40.87% | 64.42% | 89.87% | 76.16%

从图9和图11中呈现的实验结果可以看出，大多数身体和头部动作类别经常与静止动作混淆。这归因于注释过程中的人为错误，因为所有视频的 ground truth 都是作者手动生成的，难以精确捕捉动作变化的时刻（每帧0.03秒）。当动作持续时间较短时，这种情况更为常见。例如，与通常持续较长时间的身体动作不同，头部动作（如短暂转头）可以在一秒钟内完成。因此，头部动作在静止和其他类别之间的转换比例更高。此外，在动态环境中进行的实验中，头部动作在静止和其他类别之间的混淆更为明显。这归因于动态主体的横向移动，导致视觉SLAM系统在估计摄像头姿态时跟踪的关键点发生偏移（图13）。

在所提方法中，模型使用四元数风格的相机方向进行身体动作识别；而对于头部动作识别，则使用欧拉角风格的相机方向。作者进行了相机姿态预处理，因为假设四元数不适合时间序列数据解析（由于其定义涉及三角函数）。因此，四元数用于身体动作识别，因为在这些情况下摄像头视图的方向很重要。另一方面，欧拉角用于头部动作识别，因为需要跟踪随时间的变化。为了验证作者的假设，进行了另一项使用四元数而非欧拉角进行头部动作识别的实验。然而，与欧拉角不同，分析四元数随时间的变化没有意义。因此，输入由四元数值（qx,qy,qz,qw）组成，而不是（qx?,qy?,qz?,qw?），也不是（??,θ?,ψ?）。如表6所示，使用四元数进行头部动作识别的性能低于使用欧拉角。特别是，使用四元数时获得的最高宏观F1分数为56.26%，而使用欧拉角时为80.13%（表2）。

所提方法不仅可以识别建筑工人在不同建筑工地的简单动作，还可以理解他们复杂的活动。此外，基于这些成果，可以实时生成与建筑工人安全和生产力相关的信息，以支持项目管理。这一概念可以进一步扩展到其他行为分析中，例如手部动作或操作级别的活动，这些分析都依赖于本研究用于识别工人行为的视觉数据。最后，根据作为工人动作基本单位的身体和头部运动识别结果，不仅可以分析工人的状态，还可以详细研究他们对特定情况的反应。此外，即使工人移动到不同的工作地点，也可以持续监控他们的工作情况。这表明了在动态和复杂的建筑工地上使用FPV视频进行基于视觉的分析的方向和可能性。

尽管这项研究提供了有趣的贡献，但仍有一些研究挑战需要解决。首先，所提出的方法依赖于视觉SLAM算法的性能。然而，当前的视觉SLAM算法无法提取整个视频帧中的所有相机姿态，这是由于其性能的实际限制。当佩戴头戴式相机的用户快速转动头部时，现有的视觉SLAM算法可能会在跟踪地标时失去这些地标。如果视觉SLAM算法得到改进，就能提取更准确的相机姿态，从而提高所提出方法的性能。其次，即使头戴式相机的用户能够将其牢固地固定在头上，但在建筑工地上工作时，由于相机的重量，它也可能在头上移动或旋转，这可能会影响双流LSTM模型的性能。如果能够开展研究来纠正相机在用户头部的移动或旋转问题，那么这篇论文可以获得更准确的结果。此外，本研究采用的动作集主要关注基本运动单元，这限制了对建筑特定任务的直接分析。将框架扩展到包括更高级的、以任务为导向的动作对于在未来工作中实现更全面的生产力和安全监控至关重要。最后，这项研究需要在工作时间内持续监控工人的动作和位置，这可能会被认为是侵入性的，并引发伦理问题。因此，只有征得工人同意的情况下才能收集数据。由于公众对通过基于AI的分析泄露个人信息的潜在风险存在相当大的担忧，因此培养公众对AI的积极看法对于此类研究及其在实践中的应用至关重要。作者相信，随着技术的进一步发展，利用头戴式相机进行工人行为识别将在未来实现建筑工地的实时劳动力管理。

**作者贡献声明：**

- Jeongbin Hwang：撰写原始草案、数据可视化、验证、软件开发、项目管理、方法论设计、调查实施、资金筹集、正式数据分析、数据整理、概念化。
- Ahmed Afifi：参与调查、数据整理。
- Kevin Han：参与撰写和编辑工作、提供监督支持、资源协调、项目管理、方法论设计、资金筹集、概念化。