TrajGATFormer：一种基于图的变换器方法，用于预测场外建筑环境中的工人和障碍物的轨迹

《ADVANCED ENGINEERING INFORMATICS》：TrajGATFormer: A graph-based transformer approach for worker and obstacle trajectory prediction in off-site construction environments

构建基于YOLOv10n与DeepSORT的轨迹预测框架以提升工地安全，通过图注意力网络（GAT）融合时空交互信息， worker ADE 1.25m/FDE 2.35m， obstacle ADE 1.03m/FDE 2.06m，较传统方法降低35%-38%。

　　

Mohammed Alduais|李新明|梅启佩

阿尔伯塔大学土木与环境工程系，埃德蒙顿，T6G 2R3，AB，加拿大

摘要

随着建筑行业对更快、更安全、更高效工艺的需求不断增长，场外施工作为一种解决方案应运而生。然而，由于工人、机械设备和移动障碍物之间的密切互动，场外施工也带来了新的安全风险。预测工人的未来轨迹并考虑社会和环境因素是开发碰撞避免系统以减轻这些风险的关键步骤。传统方法往往难以适应建筑环境的动态和不可预测性。许多方法依赖于简化的假设或需要手工制作的特征，这限制了它们对工人和移动障碍物之间复杂互动的响应能力。虽然最近的数据驱动方法在时间模式建模方面有所改进，但它们在捕捉长期行为以及考虑对碰撞风险评估至关重要的空间和社会背景方面仍面临挑战。为了解决这些限制，本文提出了一个综合框架，该框架结合了YOLOv10n和DeepSORT进行精确检测和跟踪，并采用了两种新颖的轨迹预测模型：TrajGATFormer和TrajGATFormer-Obstacle。YOLOv10n作为物体检测的核心，能够在多样化的建筑场景中可靠地识别工人和障碍物，而DeepSORT则能够高效地跟踪每个检测到的实体，并为其分配唯一的ID以保持帧间的连续性。这两种预测模型利用Transformer编码器-解码器架构和图注意力网络（GAT）来捕捉时间依赖性和空间互动性。TrajGATFormer专注于预测工人轨迹，在4.8秒的预测范围内，平均位移误差（ADE）为1.25米，最终位移误差（FDE）为2.35米。TrajGATFormer-Obstacle扩展了这一框架，同时处理工人和障碍物的预测，实现了更高的准确性，ADE为1.03米，FDE为2.06米。比较分析表明，这两种模型的性能均优于传统方法，ADE和FDE分别降低了35%和38%。这些模型可以作为在场外施工设施中安装碰撞避免报警系统的基础。

引言

建筑行业被认为是未来几年全球经济增长的主要驱动力之一。根据牛津经济学的报告，预计本十年全球建筑行业将增长42%，达到15.2万亿美元，而上一十年为10.7万亿美元[1]。此外，2020年全球建筑支出占全球GDP的13%，预计到2030年将上升到13.5%[1]。尽管建筑行业对经济增长贡献巨大，但它也是最危险的行业之一。仅2020年，美国的建筑行业就导致了1034起致命伤害和7万多次非致命伤害[2]。2011年至2021年间，由于暴露于各种危险情况，超过1万名建筑工人死亡，包括（1）坠落至较低水平、（2）被物体撞击、（3）触电、（4）被夹住/卡住以及（5）其他危险[2]。根据OSHA的规定，坠落至较低水平、被物体撞击和被夹住/卡住被归类为“四大重点危险”，而所有其他危险则被归类为“非四大重点危险”[3]。四大重点危险是致命伤害的主要原因，占所有致命事故的65.5%，相当于大约6900人死亡。同样，从2011年到2020年，四大重点危险导致了超过40.4%的非致命伤害，共计超过31.5万起事故。被物体撞击的事故占致命伤害的17%，造成1700人死亡；占非致命伤害的20%，造成超过16.7万人受伤。

因此，场外施工成为提高工人安全的一种可能方法。与传统现场施工相比，场外施工提供了更快、更安全、更可控的工作环境，并且质量控制更好，对环境的危害也较小[4]、[5]、[6]、[7]。根据Mackenzie的报告，场外施工可以将施工时间缩短50%，并在某些项目中将成本降低20%[8]。然而，场外施工设施是动态环境，工人在拥挤的区域操作，并且靠近起重机和机器人机等施工设备，这可能导致不安全的情况[9]。此外，工人在操作施工机械时缺乏位置意识，这可能是由于机械的突然移动和旋转、视线受阻以及嘈杂的工作环境造成的[9]。因此，预测工人的轨迹（即基于他们之前的观察和社会环境互动预测其未来位置）在提供必要信息以开发碰撞报警系统方面起着关键作用，当潜在的危险情况可能发生时，该系统可以提醒工人[11]、[12]。

最近在轨迹预测方面的进展引入了多种方法，从传统的统计模型到复杂的机器学习技术[10]。传统方法，如卡尔曼滤波器（KF）[13]和隐马尔可夫模型（HMM）[14]，依赖于预定义的假设和历史数据，这通常限制了它们在像建筑工地这样高度动态和不可预测的环境中的适应性[10]。最近，数据驱动的方法，如长短期记忆（LSTM）网络[15]，因其能够捕捉序列数据中的时间模式而受到欢迎。LSTM在利用历史和上下文信息预测工人移动方面表现出潜力，但在需要准确长期预测的复杂环境中仍面临挑战[16]。

Transformer模型因其在长时间框架内捕捉复杂依赖性的能力而受到关注，而不受传统循环模型的限制[17]、[18]。虽然它们最初在自然语言处理中取得了成功，但它们的多功能性使它们在包括轨迹预测在内的多个领域中变得流行[19]。此外，图注意力网络（GAT）已被应用于建模实体之间的空间关系[20]，使它们非常适合于工人和机械设备之间互动至关重要的动态环境。将Transformer与GAT结合使用，提供了一种综合考虑时间和空间互动的轨迹预测方法。

在本文中，我们提出了一个轨迹预测框架，包括两个不同的模型。第一个模型专门用于预测工人轨迹，而第二个模型通过结合工人和移动障碍物来扩展这一能力。该框架首先使用监控摄像头检测和跟踪物体，然后对获取的数据进行预处理。每个模型都采用了一种结合Transformer网络和GAT的混合方法。通过利用这两种架构的优势，模型能够有效地捕捉动态环境的空间和时间复杂性，确保更准确的轨迹预测。

本文的结构如下：第2节回顾了用于轨迹预测的文献和方法。第3节介绍了所提出的框架、模型架构和实现细节。第4节讨论了使用的数据集。第5节展示了所提出模型的结果以及不同的轨迹预测方法。第6节提供了结论，第7节提出了所提出框架的局限性并指出了未来的发展方向。

相关工作

相关工作

随着计算机视觉和自动驾驶车辆领域的快速发展，轨迹预测成为需要解决和研究的基本挑战之一[12]。有两种方法可以解决轨迹预测问题。

第一种是基于知识的方法[10]，在文献中有多种称呼，例如基于物理的[21]、基于专家的[22]、基于推理的[23]或传统方法[24]。在这种

提出的框架

所提出的框架如图1所示，包括四个主要组成部分：（1）物体检测与跟踪、（2）数据预处理、（3）模型开发和（4）模型评估。首先，在物体检测与跟踪阶段，使用YOLOv10n模型来检测场景中的工人和障碍物。利用YOLOv10n模型的结果，使用DeepSORT算法来跟踪工人和障碍物。在本研究中，“障碍物”一词来自工人轨迹建模

数据集

本文使用了两个数据集，即ETH数据集和建筑数据集。每个数据集分为三个子集：训练集、验证集和测试集，比例为80/10/10。下一节将描述的第一数据集将用于训练基础模型以初始化模型权重。然后创建一个新的建筑数据集，用于通过迁移学习来微调基础模型。

结果与讨论

本节展示了所提出的TrajGATFormer和TrajGATFormer-Obstacle工人和/或障碍物轨迹预测模型的结果。

结论

总之，为了减轻在场外施工中工人面临的危险，其中工人在既有静态又有动态障碍物的拥挤环境中工作，准确的轨迹预测对于开发有效的碰撞报警系统至关重要。传统方法在很大程度上忽视了障碍物的动态性质，限制了它们捕捉工人移动的能力。为此，本文提出了两种轨迹预测模型，TrajGATFormer和TrajGATFormer-Obstacle。

局限性与未来方向

尽管这项研究在开发先进的轨迹预测框架方面取得了成功，但仍存在一些局限性，为未来的改进提供了方向。首先，用于模型训练的数据集在范围和多样性方面存在限制，特别是在障碍物类型、工人互动和工作环境方面。这种限制可能会影响模型在高度多样化或复杂场景中的性能，尤其是在预测罕见或复杂情况时的准确性

CRediT作者贡献声明

Mohammed Alduais：撰写——审阅与编辑、撰写——原始草稿、可视化、验证、方法论、调查、正式分析、数据管理。Xinming Li：撰写——审阅与编辑、监督、资金获取、数据管理、概念化。Qipei Mei：撰写——审阅与编辑、监督、方法论、资金获取、概念化。

资助

本项工作得到了加拿大自然科学与工程研究委员会（NSERC）通过与阿尔伯塔创新联盟的资助（文件编号：ALLRP 561120 - 20；ALLRP 576826 - 22）的支持。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。