COMODO:跨模态视频到IMU蒸馏技术,用于高效实现以自我为中心的人体活动识别

《Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies》:COMODO: Cross-Modal Video-to-IMU Distillation for Efficient Egocentric Human Activity Recognition

【字体: 大 中 小 】 时间:2026年07月06日 来源:Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies

编辑推荐:

  摘要AI总结要查看此由AI生成的总结,您需要拥有高级访问权限。了解更多登录摘要摘要打造能够持续感知人类活动的智能、以人为中心的可穿戴系统面临着一个根本性的权衡:以自我为中心的基于视频的模型能够捕捉丰富的语义信息,在人类活动识别方面表现优异,但其高能耗、隐私问题以及对光照条件的依赖

  

摘要

摘要

打造能够持续感知人类活动的智能、以人为中心的可穿戴系统面临着一个根本性的权衡:以自我为中心的基于视频的模型能够捕捉丰富的语义信息,在人类活动识别方面表现优异,但其高能耗、隐私问题以及对光照条件的依赖限制了其在设备端进行持续识别的可行性。相比之下,惯性测量单元传感器是一种节能且能保护隐私的替代方案,但由于缺乏大规模标注数据集,其泛化能力较弱。为弥补这一缺陷,我们提出了COMODO,这是一种跨模态的自监督蒸馏框架,无需标签即可将视频中的语义知识传递到惯性测量单元传感器上。COMODO利用预训练且已冻结的视频编码器构建动态实例队列,以使视频和惯性测量单元传感器的特征分布保持一致。这样,惯性测量单元传感器编码器既能够继承视频中的丰富语义结构,又能保持其在实际应用中的高效性。在多个以自我为中心的人类活动识别数据集上的实验表明,COMODO始终能提升后续处理性能,其效果可与完全监督学习的模型相媲美甚至更优,同时还展现出强大的跨数据集泛化能力。得益于其简洁性和灵活性,COMODO可与多种预训练的视频和时间序列模型兼容,未来在通用计算研究中有望借助更强大的教师模型和学生模型。相关代码可在以下仓库获取:https://github.com/cruiseresearchgroup/COMODO。

AI总结

AI生成的总结(实验性内容)

该总结是使用自动化工具生成的,并非由文章作者撰写或审核。它旨在帮助读者发现相关内容、评估文章的相关性,以及让相关领域的读者更好地理解本文内容。它是对作者提供的摘要的补充,而作者提供的摘要仍是文章的主要总结内容。完整文章才是最具权威性的版本。点击此处了解更多。

点击此处,可以对该总结的准确性、清晰度及实用性发表意见。您的反馈将有助于进一步优化未来的总结版本。

要查看此由AI生成的通俗语言总结,您需要拥有高级访问权限。

相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号