面向跨用户人体活动识别的域对抗解剖图网络

《Information Fusion》：Domain-Adversarial Anatomical Graph Networks for Cross-User Human Activity Recognition

　　

# EEG-ADG：基于解剖学相关性的边增强图对抗域泛化框架用于跨用户人体活动识别

• EEG-ADG融合解剖学单元以实现跨用户人体活动识别（HAR）泛化。
• 建模互联的、类比的、侧向的传感器关系。
• 变分边特征提取器增强多传感器融合。
• 对抗学习确保鲁棒的域不变特征。
• 在OPPORTUNITY和DSADS数据集上超越基线方法。

## 引言

利用可穿戴传感器进行人体活动识别（HAR）在医疗保健、体育和智能环境等领域具有变革性的应用[1]。然而，将HAR系统部署到多样化用户中面临一个根本性挑战：跨用户变异性。人体形态差异（如四肢长度、肌肉量）和运动风格差异（如步态模式）会导致传感器数据出现显著的分布偏移[2]。例如，手腕传感器在"从杯子喝水"时的加速度计读数在不同用户之间可能存在很大差异，这是由于手臂运动方式和握持风格的差异所致。传统机器学习模型假设训练和测试数据分布相同，在此类偏移情况下往往无法实现泛化。

传统的HAR方法通常涉及特征提取，然后使用卷积神经网络（CNN）或循环神经网络（RNN）等模型进行分类[3]。尽管这些方法在单个数据集内有效，但它们本质上学习的是用户特定的模式，导致在面对未见过的用户时性能显著下降[4]。为了解决这一局限性，近期研究探索了域适应和迁移学习技术[5]。然而，这些方法严重依赖目标用户数据，这在实际场景中往往难以获取。

域泛化提供了一种有前景的替代方案，能够处理在训练期间没有目标用户数据的场景[6]。尽管具有潜力，但大多数当前的域泛化方法主要关注对齐用户特定特征，而忽视了跨用户持续存在的共同生物力学模式[7]。尽管用户在性别、体重和身高等属性上存在差异，但身体部位之间某些解剖学相关性在所有个体中保持一致。

人体解剖学施加了共同的生物力学约束来支配运动模式，这可以作为HAR模型的强大先验知识。例如，互联单元，如相邻身体部位（上臂和前臂），在"开门"等活动中表现出耦合运动。类似地，类比单元，包括双侧肢体（如左右膝盖），在"跳跃"等对称活动中倾向于同步。此外，侧向单元涉及同一侧的身体部位，如左臂和左腿，在"侧弓步"等侧向运动中进行协调。这些生物力学不变量在所有用户之间持续存在，代表了传感器位置之间的解剖学相关性。尽管具有重要意义，但现有的域泛化方法往往忽视这种结构知识，仅专注于特征对齐而不利用这些内在关系。将此类相关性纳入HAR模型有望增强其在不同用户之间的泛化能力。

尽管利用解剖学相关性知识具有前景，但仍面临若干技术挑战。其中一个挑战是异质传感器关系，因为不同身体部位根据所执行活动的不同表现出不同程度的相关性；例如，"跑步"等活动主要由腿部运动主导，而"投掷"等任务中手臂运动更为突出。此外，域不变表示学习构成了重大挑战，因为需要在提取与活动相关的特征的同时，有效地将这些特征与用户特定的偏差解耦，以确保跨多样化用户的鲁棒泛化。解决这些挑战对于构建有效的跨用户HAR模型至关重要。

图神经网络（GNN）[8]已成为HAR中建模传感器关系的有前景框架，其中身体部位作为节点，其生物力学依赖性作为边。然而，现有的基于GNN的HAR方法存在根本性局限，阻碍了其在跨用户泛化中的有效性。首先，这些方法通常使用单一类型的边关系构建图——如骨架图中的物理相邻性——这无法捕捉传感器基于HAR中至关重要的多样化生物力学依赖性（如双侧协调、跨身体协同）[9]。其次，传统GNN中的边特征被视为静态或确定性的，忽略了运动执行中个体差异所导致的传感器间关系的固有变异性[10]。第三，当前HAR的域泛化方法主要通过分布匹配或不变特征学习等技术操作特征表示，而没有显式建模传感器之间在用户间保持一致的结构图关系[11]、[12]。基于图的表示学习与域泛化之间的这种脱节限制了对解剖学不变量用于鲁棒跨用户识别的利用能力。

为了解决这些局限，我们提出了边增强图对抗域泛化（Edge-Enhanced Graph-Based Adversarial Domain Generalization, EEG-ADG）框架，将生物力学知识与概率图学习相结合用于跨用户HAR。我们的关键贡献包括：

- **具有自适应注意力的变分边特征学习**：与使用固定或确定性边特征的传统GNN不同，我们引入了变分边特征提取器，学习传感器间关系的概率表示。这种设计显式地建模了跨用户生物力学相关性中的固有不确定性，从而实现了对未见个体的鲁棒泛化。此外，标准图注意力机制关注节点级重要性，而我们的边注意力机制根据活动上下文动态加权不同解剖学相关性的相关性——这是现有边增强GNN所不具备的能力，后者将所有边类型同等对待。

- **结构感知对抗域泛化**：现有的对抗域泛化方法在扁平化特征表示上操作而不考虑传感器拓扑结构，而我们的方法将对抗学习直接与图结构表示整合。这使模型能够在解耦用户特定变异的同时，保持解剖学基础支撑的跨个体不变的传感器间关系。生物力学图结构与对抗训练的结合提供了一种有原则的跨用户泛化框架，这是纯特征方法无法实现的。

- **统一多关系图表示的融合框架**：现有的基于GNN的HAR方法通常依赖于单一类型的边关系，如骨架图中的物理相邻性，这无法捕捉完整的生物力学依赖性谱。相比之下，我们的方法构建了一个统一图，同时编码三种互补的解剖学相关性——互联单元（相邻段）、类比单元（双侧肢体）和侧向单元（同侧协调）。这种多关系设计使模型能够捕捉单类型图无法表示的复杂协调运动，为跨用户泛化提供了更丰富的结构基础。

我们在两个基准数据集OPPORTUNITY和DSADS上评估了EEG-ADG，并展示了其在跨用户HAR任务中的最先进性能。我们的框架将生物力学原理与概率图对抗学习相结合，为HAR系统中的跨用户变异性问题提供了一种鲁棒的解决方案。论文的其余部分组织如下：第2节介绍跨用户变异性和GNN在HAR中的背景。第3节详细阐述我们提出的EEG-ADG方法。第4节描述实验设置和结果，第5节总结论文并展望未来工作。

---

## 片段章节

### 跨用户HAR中的跨用户变异性

HAR中的跨用户变异性源于传感器放置位置、身体动力学和行为模式的差异[13]。这些差异导致分布偏移，给传统机器学习模型带来挑战[14]，特别是在医疗保健、监控和智能环境等关键应用中，跨多样化用户的鲁棒性能至关重要[15]。为了解决这一问题，HAR研究提出了多种方法，可大致分为微调方法、域适应方法等类别。

### 问题定义

在域泛化设置下的跨用户HAR问题中，我们有来自K个源用户的标注数据。每个源用户k的数据集表示为$S^{\text{Source}}_k = \{(x^k_i, y^k_i)\}_{i=1}^{n_k}$，其中$n_k$表示用户k的数据实例数量，$x^k_i$表示特征向量，$y^k_i$表示对应的活动标签。每个源用户k关联一个独特的数据分布$P^{\text{Source}}_k$，这些分布在用户之间不同，即对于$i \neq j$，$P^{\text{Source}}_i \neq P^{\text{Source}}_j$，其中$i, j \in \{1, 2, ..., K\}$。

### 实验设置

为了评估我们提出的EEG-ADG方法在跨用户活动识别中的有效性，我们使用两个广受认可的基准数据集进行了实验：OPPORTUNITY（OPPT）和Daily and Sports Activities Dataset（DSADS）。这些数据集涵盖了多样化的活动和传感器配置，使其非常适合测试我们方法的泛化能力。表1提供了两个数据集的主题簇和传感器放置位置的摘要。表2……

---

## 结论

在本文中，我们提出了边增强图对抗域泛化（EEG-ADG），一个将解剖学相关性知识整合到基于图的对抗学习中用于跨用户HAR的新型框架。我们的方法通过利用生物力学先验和域不变图表示有效地解决了跨用户变异性的挑战。通过变分边特征提取器，EEG-ADG动态地建模传感器关系，实现了鲁棒且……

---

## 未引用浮动元素

表5和表7。

## CRediT作者贡献声明

Xiaozhou Ye：原创草稿撰写、验证、软件、方法论、调查、概念化。Kevin I-Kai Wang：审阅与编辑、监督、资源、项目管理、概念化。

## 利益冲突声明

作者声明他们没有已知的可能影响本文所报告工作的竞争性经济利益或个人关系。

Xiaozhou Ye | Kevin I-Kai Wang