在航空设备的生产中，航空角件是一类重要的结构部件，主要用于刚性连接多个结构、传递和分配载荷，并辅助定位柔性部件。然而，在实际组装过程中，由于结构相似性和尺寸差异较小，操作人员容易混淆这些角件，导致组装效率低下且出错概率较高。此外，不规范的组装过程可能导致角件内部产生不必要的应力，从而缩短其使用寿命。在我们之前的研究中[1]，我们针对具有极高相似性的航空角件进行了识别研究。为了减少组装过程中的错误并防止潜在的质量风险，除了准确的角件识别外，组装现场还需要一个能够实时监测过程并向组装人员提供提示的引导系统。
对于组装监测，一种常见的方法是结果导向的监测，即在组装现场部署能够检查部件是否正确组装的传感器。然而，在飞机组装过程中，由于需要保持机身表面的精度以及组装空间的限制，受限于组装位置的传感器往往难以安装，容易发生遮挡，并可能干扰组装操作。因此，解决组装监测挑战的最佳方法是实时监测组装过程。
监测组装过程的合规性是组装过程监测中的重要任务，主要涉及检查组装步骤是否符合规定的程序，是否有步骤被跳过或遗漏，从而防止非标准动作影响组装质量。一些关于组装过程监测的研究仍停留在检测组装对象类型的阶段。这种方法仅关注部件类型，而忽略了操作人员本身，难以全面监控组装过程中的非标准动作，难以实现真正的组装过程监测。实现组装过程监测的最直接方法是实时监测组装操作人员的行为。然而，这一过程中的主要挑战在于组装动作之间的高度相似性，使得大多数开源动作识别网络难以在现实世界的组装场景中实现高精度识别。除了监测组装过程的合规性外，组装过程监测还需要验证关键信息，如正在组装的角件及其对应的组装区域，以确保组装过程的正确性。
在组装引导领域，增强现实技术一直是一个热门的研究方向。AR辅助组装技术的引入使得在混合现实环境中能够实时指导组装过程，从而减少错误并提高组装效率。在当前的航空角件组装现场，AR辅助组装系统有两个主要任务：（1）对于不熟悉组装过程的新手操作人员，系统应尽可能详细地显示组装对象、工具和程序，以实现实时指导；（2）对于已经记住组装工作流程的熟练操作人员，AR辅助系统的主要作用不再是指导每个细节，而是关注每个组装步骤是否标准以及当前操作是否存在潜在的质量风险。
基于上述讨论，在航空角件组装场景中，为了降低错误率，不仅需要检测参与组装过程的角件类型，以防止工人混淆相似的角件，还需要解决以下问题：（1）设计更有效的动作识别方法，以应对相似角件组装动作及其不同时间持续时间的挑战。（2）实时监测组装过程的合规性，确保组装操作人员按照标准程序执行组装任务。（3）实现组装步骤的自动识别和基于AR的智能引导，以减轻组装人员的认知负担并提高效率。
总之，为了解决航空角件安装中高错误率、低效率和非规范手动操作的问题，本文提出了一种基于TCN改进的跨模态动作识别和智能过程感知的多维合规性监测与AR引导方法。本文的主要贡献如下：
(1) 提出了一种新的渐进式组交互式长度感知时空图卷积网络（PG-LSTGCN），解决了传统时间卷积重复应用相同卷积核到所有关节的局限性，从而改善了关节运动模式建模的效果。该网络进一步减轻了动作样本时间长度不一致对识别精度的不利影响，非常适合航空角件组装场景中的动作识别。该网络构建了一种多尺度组交互式时间建模方法，并为骨骼序列设计了长度感知的时空解耦注意力机制，实现了跨时空尺度的动作特征提取和聚合。因此，在公共动作识别数据集和角件组装动作数据集上均达到了先进的或接近先进的识别精度。
(2) 提出了一种用于区分航空角件场景中相似组装动作的跨模态动作识别方法，克服了单一模态方法在识别复杂和相似动作时的精度瓶颈。GCN（图卷积网络）提取的骨骼特征与Transformer网络提取的图像特征进行了自适应加权融合，解决了在角件组装过程中区分相似动作的挑战。在角件组装动作数据集上，该方法的准确率达到95.84%，比仅使用骨骼模态提高了3.96%。
(3) 提出了一种新的AR辅助的航空角件组装过程监测和智能过程感知方法，实现了在受限组装空间中的人-区域-对象多维检测。该方法减少了组装错误，确保了组装程序的合规性，并提高了角件组装过程的自动化和信息化水平。提出了一种基于过程图检索和动态匹配的新组装过程感知方法，基于动作识别实现了智能感知和组装程序的自动进展，从而减少了频繁的人机交互带来的时间成本。开发了一种基于AR的智能引导系统，集成了过程自我感知和过程监测功能。实验结果表明，该系统将错误选择角件和遗漏组装步骤的频率降低了90%以上，将非标准动作的发生率降低了48.39%，并将组装效率提高了10.49%，同时减轻了组装操作人员的认知负担。
