《Pattern Recognition Letters》：Skeleton-Based Estimation of Interaction Readiness via Spatio-Temporal Graph Convolution
编辑推荐：
基于骨骼的交互准备度估计方法SEIR采用两流时空图卷积网络，通过局部密集连接和跨流注意力模块提升特征融合，结合概率聚合生成交互准备度标量。实验表明该方法在NTU-RGB+D 120数据集上top-1准确率达82.52%，在真实场景中ROC-AUC达0.9687，参数量仅8.30M，可满足实时应用需求。
袁俊泽|瓦埃勒·M·穆罕默德|曼努埃尔·费雷·佩雷斯|何塞·L·马丁内斯·拉斯特拉
芬兰坦佩雷大学工程与自然科学学院FAST-Lab
摘要
评估一个人参与互动的意愿是实现与机器自然交互的关键前提。在这项工作中，我们探索了一种基于骨骼的方法来估计人类动作中的互动意愿。我们采用了一个双流时空图卷积网络作为核心架构，并对核心架构进行了两项改进：局部密集连接（LDC），它增强了多尺度特征的流动；以及跨流注意力（CSA）模块，使模型能够有效地关联关节和骨骼特征。我们没有直接对动作进行分类，而是引入了一种概率聚合策略，生成一个表示互动意愿的标量度量，这有助于模型更好地泛化到现实世界场景中。在处理过的NTU-RGB+D 120数据集上的实验表明，所提出的方法达到了82.52%的top-1准确率，优于基础模型。此外，在真实世界数据上的实验中，ROC-AUC值为0.9687，表明该方法在参数量较少的情况下（8.30 M）仍具有鲁棒性和泛化能力。尽管该方法相对轻量级，但它为需要快速、可解释性评估的场景（如人机交互）提供了一个实用的解决方案。
引言
机器人越来越多地被部署在与人类共享的空间中——工厂、商店、医院和家庭。在这些环境中，检测一个人是否打算与附近的机器人互动对于确保人机交互（HRI）的安全性和流畅性至关重要。如果机器人能够实时量化即将发生的互动的可能性，它就可以主动准备并做出响应，从而提供更加自然、以人为中心的帮助。我们将这种互动的可能性称为“互动意愿”，即一个人在短时间内发起互动的意愿程度，这取决于最近的视觉观察结果。数十年的社会心理学研究表明，挥手、举臂或摇头等人类动作是人际互动的可靠前兆[1]。如果机器人能够实时观察到这些动作，并将其转化为对互动意愿的明确估计，它就可以在物理接触之前调整传感器并规划协作动作。这种预见不仅提高了任务效率，还提供了更加流畅、自然的用户体验。
目前，机器人通常作为被动接收者行动，只有在接收到人类指令后才会进行互动。这种非主动的互动模式导致人机交互效率低下，无法为人类提供自然的互动体验。为了完成更复杂和多样的任务，机器人不能仅仅依赖于离线编程和预定义的指令。机器人需要具备从人类动作中估计自然互动信号的能力。这就引出了一个关键挑战：如何使机器人能够在实时且高可靠性的基础上，根据观察到的人类动作来估计互动意愿，同时在不同控制环境和真实世界场景之间保持鲁棒性。
在本文中，我们解决了上述挑战，并做出了以下贡献：
•基于骨骼的互动意愿估计（SEIR）。我们提出了一种方法，该方法使用双流时空图卷积网络（2s-STGCN）并利用人类骨骼序列来估计互动意愿。
•局部密集连接（LDC）。我们在连续的时空图卷积（STGC）块之间引入了局部密集连接策略，以增强层间的信息流动，从而充分利用骨骼序列的表征能力。
•跨流注意力（CSA）。我们应用了跨流注意力模块来捕捉关节流和骨骼流之间的全局关系，进一步增强了学习到的特征。
•概率聚合。我们聚合了高意愿动作的类别后验概率，这种策略弥合了控制数据集和真实世界之间的差距，并通过提供动作级别的洞察力增强了可解释性。
本文的结构如下：第2节回顾了社会交互识别、人机交互（HRI）中互动意愿检测以及基于骨骼的人类动作识别（HAR）的相关文献。第3节介绍了SEIR方法，详细说明了其架构、局部密集连接、跨流注意力和概率聚合策略。第4节报告了在处理过的NTU-RGB+D 120数据集和真实世界数据上的实验结果及讨论。第5节总结了本文，并讨论了局限性和未来工作方向。
实验和讨论
为了验证SEIR的准确性和泛化能力，我们进行了包括两部分在内的全面实验。首先，在广泛采用的NTU-RGB+D 120数据集上评估了SEIR的识别能力，以确定在受控条件下的基线性能。随后，我们使用在真实环境中收集的人类骨骼数据来检验SEIR的泛化能力。
结论
我们提出了SEIR，这是一种基于骨骼的方法，用于从人类动作中估计互动意愿。SEIR基于双流时空图卷积网络（2s-STGCN），并结合局部密集连接（LDC）和跨流注意力（CSA），通过概率聚合输出一个标量意愿得分。在处理过的NTU-RGB+D 120数据集和真实世界数据上的实验表明，该方法具有强大的有效性和泛化能力，且在Jetson AGX Orin上运行时，每个75帧的视频片段仅需15.71毫秒，参数量为8.30M，实现了实时处理。
CRediT作者贡献声明
袁俊泽：撰写——原始草稿、验证、软件开发、方法论研究、数据分析、概念构建。瓦埃勒·M·穆罕默德：撰写——审阅与编辑、验证、监督、方法论研究、数据分析、概念构建。曼努埃尔·费雷·佩雷斯：监督、研究、概念构建。何塞·L·马丁内斯·拉斯特拉：撰写——审阅与编辑、监督、项目管理、方法论研究、资金获取、概念构建。
利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文的研究结果。
致谢
这项研究部分得到了欧盟“地平线欧洲”研究与创新计划（项目编号101135707）的资助。该编号对应于名为“多模态多方面整体人机交互”（Multi-Modal and Multi-Aspect Holistic Human-Robot Interaction）的研究项目。
