HMotionGPT：通过智能戒指对齐手部动作与自然语言以实现活动理解

《Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies》：HMotionGPT: Aligning Hand Motions and Natural Language for Activity Understanding with Smart Rings

　　

摘要AI 摘要

要查看此 AI 生成的摘要，您需要拥有高级访问权限。

了解详情登录

摘要

摘要

手物交互是日常活动的核心，然而如今大多数智能助手对用户的手部动作仍然是"盲"的。现有的基于 IMU 的识别方法侧重于对预定义手势进行分类，但缺乏在办公室工作和家庭日常等真实场景中提供上下文支持所需的语义表达能力。在本文中，我们提出了一种语义分词管道，将连续的惯性信号与大型语言模型（LLMs）连接起来，使助手能够像阅读文字一样自然地"读懂"手部动作。我们首先收集了一个涵盖办公室和家庭环境的双手活动的多模态数据集，捕捉跨越多个相互关联子任务的长时程动作链。利用自监督表示学习，我们将 IMU 嵌入离散化为动作 token，近似于手部交互的词汇表。这些 token 随后通过指令微调的 LLM 与自然语言对齐，支持动作描述、意图推断和上下文反馈等任务。评估表明，我们的分词方法提高了与语言分布的语义一致性，且 LLM 能够针对多样化的活动生成准确的、人类偏好的动作描述。我们进一步展示了一个能够生成上下文提醒的概念验证助手原型。我们的研究结果突出了将原始手部动作转化为"动作语言"的潜力，为具备用户物理交互感知能力的日常智能助手铺平了道路。项目页面、源代码和数据集已公开，地址为 https://scut-hai.github.io/HMotionGPT/。

AI 摘要

AI 生成摘要（实验性）

本摘要由自动化工具生成，并非由本文作者撰写或审核。其目的是支持发现、帮助读者评估相关性，并协助邻近研究领域的读者理解该工作。它旨在补充作者提供的摘要，后者仍然是本文的主要摘要。完整文章仍然是权威的版本记录。

点击此处对摘要的准确性、清晰度和实用性进行评论。这将有助于改进和未来的重新生成版本。

要查看此 AI 生成的简明摘要，您需要拥有高级访问权限。