基于关键点异构图卷积网络的工程机械活动分类方法研究及其在智能建造中的应用

为解决复杂施工环境下机械动作识别难题，研究人员提出了一种融合目标检测与残差融合图卷积网络(RFGCN)的两阶段框架。该研究通过提取机械关键部件构建时空混合图，利用RFGCN处理遮挡和缺失数据问题，在四类基准数据集上实现96.4%的分类准确率，为智能工地建设提供了创新解决方案。

　　

在建筑工地动态监测领域，准确识别工程机械动作对安全管理、进度控制和资源优化至关重要。然而现有计算机视觉方法面临环境复杂、部件遮挡和小目标检测等挑战，尤其当摄像头距离目标较远时，机械关键部件仅占图像极小区域，传统基于完整姿态估计的方法难以应对实际场景中的数据缺失问题。这些局限性严重制约了智能建造技术的发展，亟需开发具有强鲁棒性的新型识别框架。

中国某研究机构团队在《Expert Systems with Applications》发表的研究中，创新性地提出两阶段识别框架：首先采用YOLOv8检测挖掘机、自卸车等机械的15类关键部件（包括3类整机和12类部件），将检测框中心点转化为空间图节点；随后设计残差融合图卷积网络(RFGCN)处理包含跨机械协作关系的时空混合图。该模型通过GraphSAGE-LSTM层捕获序列特征，结合图注意力网络(GAT)层进行关系加权，并引入块级残差连接增强深度网络训练稳定性。关键技术包括基于LSTM聚合器的邻域采样、跨帧时序连接构建，以及针对缺失节点的自适应特征融合机制。

研究结果显示，在模拟施工现场的五类动作（怠速、挖掘、提升、摆动和装载）测试中，RFGCN在考虑协作机械时平均准确率达96.4%，较单一机械识别方案提升显著。如图8所示，当采用3帧时序信息时，模型准确率超越GCN、GAT等基线方法4-8个百分点。特别值得注意的是，在"装载"这类需要多机械协同的动作识别中达到100%准确率，验证了跨机械关系建模的有效性。

针对实际应用中的关键挑战，研究团队系统评估了模型鲁棒性。如图10所示，当挖掘机"臂-斗"节点缺失时，RFGCN仍保持71.4%的准确率，显著优于传统方法。消融实验证实，移除残差连接会导致性能下降1.8%，而采用"全原始"残差策略的变体准确率为92.2%，略低于提出的块级融合设计。在计算效率方面，RFGCN仅需5.78M参数，单次推理消耗51.3M FLOPs，满足实时处理需求。

该研究突破性地将异构图神经网络引入施工机械监测领域，其创新点主要体现在三方面：一是首创融合空间-时间-协作关系的混合图表示方法，二是设计具有抗缺失特性的残差融合架构，三是验证了模型在生物信息学数据集（MUTAG 94.47%、PTC 69.57%）上的泛化能力。这些成果为数字孪生技术在建筑业的应用提供了关键技术支撑，通过精确的动作识别可实现施工过程数字化映射，进而优化资源配置、预防安全事故并提升运营效率。未来研究可探索多模态传感器融合策略，进一步增强模型在极端遮挡场景下的适应性。