DARD：一种基于残差级正则化和动态混合损失的双注意力网络，用于基于可穿戴传感器的多模态人体活动识别

《Neurocomputing》：DARD: Dual attention network with residual-level regularization and dynamic hybrid loss for multimodal human activity recognition using wearable sensors

　　

摘要

近年来，基于可穿戴传感器的人类活动识别（HAR）在智能家居、医疗系统和工业物联网（IoT）等实际应用中展现出巨大潜力。然而，现有的识别方法要么严重依赖领域专业知识，要么无法充分捕获多模态传感器数据中复杂的空间时间依赖性。为克服这些挑战，本文提出了一种新颖的深度学习框架DARD，该框架将残差块和门控循环单元（GRU）网络与时空双注意力机制相结合，用于多模态人类活动识别。双注意力模块旨在选择性地增强显著的空间和时间特征，同时在残差块中引入残差级正则化（DropPath）以提升模型的泛化能力。此外，本文设计了一种动态混合损失函数来替代标准交叉熵损失，有效增强了低频活动类别的识别性能，从而缓解了人类活动识别任务中的类别不平衡问题。所提出的DARD在三个公开基准数据集（OPPORTUNITY、PAMAP2和WISDM）上进行了评估。实验结果表明，与现有代表性方法相比，DARD在保持相对较低计算开销的同时实现了优越的性能，凸显了其实际部署的潜力。

引言

随着可穿戴设备和多模态传感器技术的创新，基于传感器的人类活动识别已成为普适计算领域的一个突出研究热点。作为人机交互的核心技术之一，HAR系统在智能交互[1]、医疗[2]和运动行为分析[3]等应用中展现出重要价值。现有的HAR方法主要分为两类：基于视觉的方法和基于传感器的方法[4]、[5]。尽管基于视觉的方法凭借其高分辨率取得了相对较高的识别准确率[6]，但其性能容易受到光照变化、视角遮挡和运动模糊等因素的影响。此外，在公共空间进行监控可能会带来用户隐私泄露的风险[7]。相比之下，基于可穿戴设备的HAR系统通过嵌入式传感器提供了更强的隐私保护和环境鲁棒性。

早期研究依赖于手工构建的时域统计特征和频域小波系数，并与kNN[8]、SVM[9]和随机森林[10]等浅层分类器结合用于活动识别。尽管传统方法在简单场景中表现良好，但手工构建的特征严重依赖领域专业知识[11]，难以捕获传感器数据中的高阶时空信息。近年来，深度学习方法通过端到端学习克服了传统框架的局限性，实现了无需人工干预的自动特征提取[12]。例如，LSTM-CNN架构[13]融合了卷积神经网络（CNN）和长短期记忆（LSTM）网络，有效捕获了局部空间特征和长期时间依赖。为增强模型捕获关键信息的能力，注意力机制[14]迅速兴起并被广泛应用于HAR研究。然而，大多数现有的HAR方法[15]、[16]、[17]采用解耦的注意力机制，即独立地对传感器模态和时间步长进行加权，从而忽略了它们之间的交互依赖性。例如，在"向右转"活动的识别中，陀螺仪通常因其对方向变化的敏感性而被赋予更高的模态权重。然而，加速度计可能在特定时刻携带更具区分力的特征。由于其全局模态权重的衰减，最终组合权重显著降低，从而抑制了关键特征的表达。为解决这一问题，近期研究尝试引入空间注意力机制对传感器模态和时间步长进行联合建模[18]，但未能充分考虑HAR作为时间分类任务的本质。

另一方面，类别不平衡是基于可穿戴传感器的人类活动识别任务中普遍存在的挑战，尤其是在涉及稀有但关键活动（如跌倒检测）的复杂应用场景中。这些少数类样本难以获取且发生频率低，导致其样本数量远低于大多数类日常活动，从而对模型性能产生不利影响[19]。为应对这一挑战，现有研究主要采用三类技术：（1）数据增强：生成或扩展少数类样本以平衡类别分布；（2）集成学习：通过组合多个子模型的预测结果来提高模型识别少数类的鲁棒性；（3）损失函数：开发新的损失函数以动态抑制高频类别的梯度贡献，同时迫使模型关注更难以区分的低频类样本，从而提升整体识别性能。尽管这些方法在缓解类别不平衡方面取得了一定成功，但其有效性和实用性仍面临挑战。例如，数据增强方法严重依赖合成样本的质量[19]，可能引入噪声或伪样本，且高计算开销使其难以在实时HAR场景中部署。同样，虽然集成学习有效增强了模型鲁棒性，但由于模型复杂度和计算开销较高，难以满足实际部署需求，且缺乏针对类别不平衡的定向建模。

为解决上述问题，本文提出了一种面向多模态可穿戴人类活动识别场景的方法，称为DARD，由两个协同组件组成：第一个组件构建了基于时空双注意力机制和残差级正则化的深度模型。具体而言，空间注意力模块用于捕获传感器模态与时间步长之间的交互依赖性，而时间注意力模块则强调显著的时间步长以增强时间特征建模。残差级正则化类似于集成学习，增强了模型对少数类样本的泛化能力和识别鲁棒性。第二个组件引入了动态混合损失函数以缓解复杂场景中的类别不平衡问题，从而提升模型的整体识别性能。

总之，本文的主要贡献如下。

• •
  我们提出了一种基于时空双注意力机制和残差级正则化的新型深度学习模型，用于多模态人类活动识别。
• •
  我们设计了一种动态混合损失函数来指导模型训练，旨在缓解复杂场景中的类别不平衡问题，从而提升系统性能。
• •
  所提出的DARD在保持极少模型参数的同时实现了高识别准确率，有效平衡了模型性能与效率。
• •
  我们在三个基准HAR数据集上进行了广泛实验以验证DARD的有效性。此外，我们探讨了架构参数对模型性能的影响，包括残差块配置和GRU层数。

本文其余部分组织如下。第2节回顾了基于传感器的人类活动识别相关文献。第3节详细阐述了所提出的方法。第4节描述了实验设置、基准数据集及相应结果。最后，第5节对本文的研究工作进行了总结。

章节摘要

用于人类活动识别的深度学习

随着深度学习的兴起，人类活动识别研究逐渐从传统机器学习转向自动特征学习。CNN已成为自动特征提取的基础技术。Yang等人[20]首次将CNN引入HAR领域，与传统方法相比，通过从原始传感器信号中自动学习特征实现了优越的分类性能。作为典型的时间序列分类任务，HAR

所提出的方法

本文提出了框架DARD（如图1所示），用于基于多模态传感器的人类活动识别，该框架融合了时空双注意力机制和动态混合损失函数。整体架构包含三个主要组件：（1）空间特征提取器：通过多级残差块实现，其中每个残差块包含多个卷积层、空间注意力模块和DropPath。该模块旨在

实验

在本研究中，采用滑动窗口技术对原始传感器信号进行分段。窗口参数的选择直接影响分类器的性能。现有研究[40]表明，较短的窗口尺寸可以提高实时检测效率并减少计算开销，但容易丢失长程依赖信息。相反，较长的窗口尺寸在捕获复杂行为模式方面更有效，但可能引入无关噪声并增加

结论

本文提出了DARD，一种面向多模态可穿戴传感器人类活动识别的轻量级深度学习框架，旨在解决现有HAR系统中时空依赖建模不足、类别不平衡和资源受限部署的挑战。该框架将时空双注意力机制和DropPath正则化整合到残差块中，从而实现稳健的时空特征提取。此外，动态

CRediT作者贡献声明

黄廷培：写作—审阅与编辑、监督、方法论、概念化。林峰：写作—初稿撰写、可视化、验证、软件、方法论。凌思齐：写作—审阅与编辑、形式化分析、数据整理。刘建航：监督、资源。李世宝：项目管理、经费获取。

利益冲突声明

作者声明不存在已知的可能影响本文所述工作的竞争性经济利益或个人关系。

致谢

本工作部分得到国家自然科学基金（批准号61872385）的资助，以及山东省自然科学基金（批准号ZR2020MF005和ZR2023LZH010）的资助。

黄廷培于2004年和2007年分别获得中国石油大学（华东）计算机科学学士学位和硕士学位，2013年获得中国科学院计算技术研究所博士学位。2013年至2015年，她在北京中国科学院大学任博士后研究员。目前她是中国石油大学（华东）计算机科学与技术学院青岛软件研究院副教授

黄廷培|林峰|凌思齐|刘建航|李世宝

中国石油大学（华东）计算机科学与技术学院青岛软件研究院，青岛，266580，中国