HAR-DoReMi:针对异构惯性测量单元(IMU)数据集,优化数据混合以提升自监督式人体活动识别的性能

《Neurocomputing》:HAR-DoReMi: Optimizing data mixture for self-supervised human activity recognition across heterogeneous IMU datasets

【字体: 大 中 小 】 时间:2026年05月16日 来源:Neurocomputing 6.5

编辑推荐:

  卢璐·班(Lulu Ban)| 朱涛(Tao Zhu)| 陆向晴(Xiangqing Lu)| 邱琪(Qi Qiu)| 韩文勇(Wenyong Han)| 李双健(Shuangjian Li)| 陈立明(Liming Chen)| 王凯凯(Kevin I-Kai Wang)| 聂

  卢璐·班(Lulu Ban)| 朱涛(Tao Zhu)| 陆向晴(Xiangqing Lu)| 邱琪(Qi Qiu)| 韩文勇(Wenyong Han)| 李双健(Shuangjian Li)| 陈立明(Liming Chen)| 王凯凯(Kevin I-Kai Wang)| 聂明星(Mingxing Nie)| 万亚萍(Yaping Wan)
中国湖南衡阳,华南大学计算机科学学院,421001

**摘要**
跨数据集人类活动识别(HAR)面临模型泛化能力有限的问题,这阻碍了其实际应用。尽管以往的研究主要集中在设计新的模型架构上,但训练数据组成的关键作用往往被忽视。为了解决这一难题,受到大型语言模型(LLMs)中数据混合优化成功的启发,我们引入了这种策略来优化HAR模型的多源训练数据组合。这种方法有助于创建平衡且有效的训练数据集,从而提高模型在各种条件下的性能。为了将这一策略应用于连续的多通道惯性测量单元(IMU)数据,我们提出了HAR-DoReMi框架,该框架包括两个互补的部分:领域重加权方案和传感器对齐的预处理步骤。领域重加权方案包括使用预计算的全局基线来提高训练稳定性的平滑稳定策略(Smooth-Stable Strategy)、用于更准确评估领域难度的条件批量得分(Conditional Batch Score, CBS),以及结合信号保真度和时间动态的复合均方误差(Mean Squared Error, MSE)和软动态时间弯曲(Soft-Dynamic Time Warping, Soft-DTW)损失。此外,预处理步骤采用Mahony融合算法来减少传感器方向的异质性,从而补充了跨数据集HAR中的领域重加权方案。在多个跨数据集迁移任务中的广泛实验表明,完整的HAR-DoReMi框架将平均准确率提高了10.5%,同时仅使用了大约30%到50%的训练数据,提高了模型在分布偏移下的鲁棒性和数据效率。代码将在https://github.com/ABan147/har-doremi上提供。

**引言**
物联网(IoT)和可穿戴惯性测量单元(IMU)的快速发展增强了人类活动识别(HAR)在医疗保健和智能家居等领域的应用潜力[1]。然而,一个主要挑战是模型在不同数据集间的泛化能力有限,这阻碍了HAR系统的实际部署。虽然基于传感器的HAR模型传统上假设训练数据和测试数据是独立同分布的(Independent and Identically Distributed, IID)[2],但这种假设在跨数据集场景中普遍存在的数据异质性面前被彻底打破了[3]。环境、参与者和设备的差异导致领域偏移,极大地降低了模型在未见数据集上的性能[4],[5]。为了解决这些挑战,研究主要追求两种范式:领域适应(Domain Adaptation)和领域泛化(Domain Generalization)[6]。领域适应[3],[7]旨在通过利用目标领域的数据来减轻分布偏移,但其对目标数据访问的依赖性限制了其在许多现实世界场景中的实用性。因此,领域泛化[8],[9]——通过在源数据上训练模型以泛化到完全未见的目标领域——成为了一个更有前景和实用的方向。领域泛化中的一个关键策略是自我监督预训练,模型通过执行掩码信号重建等伪装任务从大规模未标记数据中学习出鲁棒且可迁移的表示。最近的工作如CrossHAR[10]展示了这种方法的潜力,利用预训练来学习领域不变特征并有效提升跨数据集HAR的性能。然而,现有的自我监督方法主要集中在设计伪装任务和新架构上,而预训练数据组成的关键作用相对较少被探索。受到大型语言模型(LLMs)中数据混合优化成功的启发[11],我们提出了以下问题:(RQ1)如何系统地优化多源异构HAR数据集的混合比例,以提高在分布偏移下的鲁棒性?本文通过借鉴DoReMi框架[12]的思想,在HAR预训练中探讨了这个问题。我们利用群体分布式鲁棒优化(Group DRO)算法[13]来最小化最差领域损失,从而学习数据混合比例以增强预训练HAR模型的泛化能力。尽管DoReMi在LLM预训练中表现出了良好的性能,但其直接应用于HAR时面临相当大的适应挑战。DoReMi基于负对数似然(Negative Log-Likelihood, NLL)损失[14],专为离散语言序列预测任务设计,这与连续的、时间性的多通道HAR数据性质形成对比。这引出了我们的第二个研究问题:(RQ2)如何有效地将DoReMi框架适应于HAR?为此,我们提出了HAR-DoReMi框架,该框架包括两个互补的部分:领域重加权方案和传感器对齐的预处理步骤。领域重加权方案包括三个针对HAR的特定任务调整:(1)平滑稳定策略,用稳定的、预先计算出的领域特定参考损失替换易变的批量参考损失;(2)条件批量得分(CBS)机制,通过仅使用“困难”样本(具有正超额损失的样本)的数量来标准化聚合的超额损失,从而获得更集中的难度信号;(3)复合损失函数,将基础的均方误差(MSE)损失与软动态时间弯曲(Soft-DTW)损失相结合,使模型能够捕捉信号保真度和关键的时间动态。

**除了这些挑战之外,基于IMU的HAR数据本质上是异构的,还受到领域偏移和传感器方向变化的进一步复杂化。即使在相同的身体位置下,不同的传感器方向也会导致在局部坐标系中对相同动作的表示有显著差异。这引出了第三个问题:(RQ3)如何减轻传感器方向的异质性以支持鲁棒的跨数据集HAR?为了解决这个问题,我们引入了基于Mahony姿态融合算法[17]的传感器对齐预处理步骤,该算法最初是为姿态控制设计的。通过将多数据集的传感器数据对齐到统一的坐标系中,这一步骤减少了方向引起的异质性,并补充了跨数据集HAR中的领域重加权方案。**

**总结**
本文介绍了HAR-DoReMi框架,该框架结合了领域重加权方案和传感器对齐的预处理步骤。在四个公共HAR数据集上的广泛实验表明,完整的HAR-DoReMi框架将平均准确率提高了10.5%,同时仅使用了大约30%到50%的训练数据,提高了模型在分布偏移下的鲁棒性和数据效率。主要贡献总结如下:
• 我们研究了HAR预训练的数据混合优化,这是一个相对较少被探索的维度,用于提高跨数据集偏移下的鲁棒性,并通过广泛实验验证了其有效性。
• 我们提出了HAR-DoReMi,其领域重加权方案通过三种特定于任务的设计将数据混合优化适应于连续的多通道HAR数据:(1)使用固定全局基线的平滑稳定策略来减轻不稳定性;(2)条件批量得分(CBS),仅使用正超额损失样本来标准化分数,以获得更集中的难度信号;(3)复合损失函数,将均方误差(MSE)损失与软动态时间弯曲(Soft-DTW)损失相结合,使模型能够捕捉信号保真度和关键的时间动态。
• 我们在自我监督HAR流程中加入了基于Mahony融合算法的传感器对齐预处理步骤,以减轻传感器方向的异质性,并补充了所提出的领域重加权方案。

**相关工作**
本节回顾了两个关键领域的相关工作:跨数据集HAR和与DoReMi及Group DRO相关的数据混合优化方法。

**HAR-DoReMi的整体框架**
为了解决跨数据集HAR中的领域泛化挑战,我们引入了HAR-DoReMi框架,该框架用于从多个源领域计算数据混合权重,从而构建更平衡的训练集以进行后续的HAR模型训练。更具体地说,HAR-DoReMi包括两个互补的部分:一个学习多个源领域混合权重的领域重加权方案,以及一个传感器对齐的预处理步骤。如图1所示,我们的实验研究包括了六个公开可用的HAR数据集。这些数据集不仅在之前的研究中被广泛采用[32],[48],[49],而且在设备类型、活动、用户群体和环境方面也表现出显著的多样性。这种多样性使它们成为全面评估模型性能和与最新基线进行比较的合适基准。这些数据集的详细统计信息总结在表1中。

**数据预处理**
为了确保数据集之间的一致性,我们……

**讨论**
虽然HAR-DoReMi通过预处理步骤和领域重加权方案的互补效应改善了跨数据集HAR,但重要的是要承认其局限性并概述未来工作的方向。
(1)Mahony姿态融合算法的作用和局限性:为了解决IMU传感器方向异质性问题,我们将最初为姿态估计设计的Mahony算法纳入了自我监督HAR预训练流程中。

**结论**
在本文中,我们将数据混合优化应用于人类活动识别(HAR),并提出了HAR-DoReMi框架,以提高跨数据集分布偏移下的鲁棒性。受到大型语言模型(LLMs)中数据混合优化的启发,并根据HAR的特点进行了调整,HAR-DoReMi结合了领域重加权方案和传感器对齐的预处理步骤,以提高数据效率和跨数据集的迁移性能。实验结果表明……

**作者贡献声明**
卢璐·班(Lulu Ban):撰写——原始草稿、方法论、概念化。
朱涛(Tao Zhu):撰写——审阅与编辑、方法论、概念化。
陆向晴(Xiangqing Lu):可视化、数据整理。
邱琪(Qi Qiu):方法论、数据整理。
韩文勇(Wenyong Han):可视化。
李双健(Shuangjian Li):验证、调查。
陈立明(Liming Chen):撰写——审阅与编辑。
王凯凯(Kevin I-Kai Wang):撰写——审阅与编辑。
聂明星(Mingxing Nie):形式分析。
万亚萍(Yaping Wan):资源。

**利益冲突声明**
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

**致谢**
本工作部分得到了中国国家自然科学基金(62006110)、湖南省自然科学基金(2024JJ7428, 2023JJ30518)和湖南省教育厅科研项目(24B0385)的支持。
卢璐·班于2023年获得四川农业大学信息工程学院的学士学位,目前是华南大学计算机科学学院的硕士研究生。他的研究兴趣包括人类活动识别和时间序列分析。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号