DPBGFL：一种去偏的原型双向引导联邦学习方法，用于人类活动识别

《Knowledge-Based Systems》：DPBGFL: Debiased Prototype Bidirectional Guided Federated Learning for Human Activity Recognition

隐私保护环境下多域人类活动识别模型优化研究，提出双向引导去偏原型联邦学习框架（DPBGFL），通过无监督聚类构建全局去偏原型指导客户端分离行为风格与不变特征，并设计原型感知聚合策略动态调整模型权重，有效缓解数据孤岛与域偏移问题，在四个公开数据集上验证准确率平均提升9.1%-16.5%。

　　

包一飞|张景辉|程毅|张登银

南京邮电大学物联网学院，新模范路，南京，210003，中华人民共和国

摘要

人类活动识别（HAR）在未来的普适计算中具有巨大潜力，但严格的隐私法规禁止从个人设备中收集大规模数据，这阻碍了HAR模型的升级。作为一种有前景的隐私保护分布式计算范式，联邦学习（FL）受到了广泛关注。然而，实际上，由于年龄、体型、行为风格等方面的个体差异，跨不同源域训练的模型在未见过的目标域上的泛化性能较差。针对数据孤岛下的领域不变表示学习（1）和领域迁移下的模型聚合（2）这两个挑战，本文提出了一种去偏的双向引导联邦学习（DPBGFL）领域泛化框架。具体来说，我们使用无监督聚类来构建全局去偏原型（DBPs），并利用它们从两个方面指导联邦领域泛化。首先，DBPs指导客户端学习领域不变表示。我们为每个客户端设计了一个风格解耦的自编码器，以在将知识从DBPs传输给客户端时分离领域偏差。其次，DBPs指导服务器聚合模型。我们提出了一种原型感知的聚合（PAA）策略，以自适应地分配聚合权重，使全局模型更接近具有更好泛化能力的客户端模型。我们在UCI-HAR、PAMAP2、USC-HAD和HARBOX数据集上进行了大量实验。实验结果表明，与传统和最先进的基线方法相比，DPBGFL在泛化性能上具有显著优势（平均准确率提高了9.1%至16.5%）。

引言

随着人工智能[1]的发展以及智能手机、运动手环、VR/AR眼镜等智能可穿戴设备的普及，基于人类活动识别（HAR）的普适计算在个人智能健康、健身跟踪、数字娱乐等多个领域发挥了越来越重要的作用[2]。通过分析加速度计和陀螺仪传感器生成的数据，可穿戴设备可以实时监控站立、坐着和行走等活动。主流的识别方法通常基于深度学习，这需要大规模的数据驱动训练[3]。然而，随着全球数据隐私法规的相继实施，如欧盟的GDPR 2018[1]和美国的CPRA 2020[2]，设备制造商和算法提供商几乎无法从个人设备中收集包含隐私信息的传感器数据用于深度神经网络训练，这严重阻碍了设备上识别模型的迭代升级，并限制了HAR技术的发展。

鉴于这一限制，联邦学习（FL）作为一种新兴且有前景的分布式隐私保护训练范式，受到了广泛关注[4]。FL遵循在本地训练和在中央聚合的原则，允许客户端在本地存储数据，仅将加密的模型参数或梯度上传到中央服务器，从而避免了数据泄露的风险。尽管许多研究已经探讨了FL在HAR领域的应用[5]，但现有工作忽略了一个实际问题：由于用户之间的固有个体差异，传感器信号的分布通常受到年龄、体型和行为风格等因素的影响，导致来自不同源域的模型难以泛化到未知的目标域。如图1所示，通过传统FL在成人和儿童数据上训练的模型在老年人数据上的表现不佳，因为不同的行为模式使得数据分布高度多样化。在FL环境中实现领域泛化比在集中式学习中更具挑战性，这可以从两个维度来总结。

• 1)
  数据孤岛下的领域不变表示学习。 数据孤岛阻止了客户端之间的数据共享，阻碍了客户端学习不变信息。从领域泛化的角度来看，模型应广泛探索多个不同的源域以获得领域不变性[6]。但在FL环境中，大多数需要数据整合的领域泛化方法无法正常工作。每个客户端只能访问自己的本地数据，限制了模型充分利用其他源域的能力，从而限制了可泛化表示的学习。因此，在不进行任何直接数据交换的情况下，如何从其他源域获取知识是一个挑战。
• 2)
  领域迁移下的模型聚合。 领域迁移会导致局部模型的聚合结果不够理想，从而影响泛化能力。与客户端数据来自相似领域的简单FL设置不同，联邦HAR的数据集来自各种不同的领域。不同特征分布的过拟合会导致客户端之间的模型能力差异，这种模型能力的碎片化会影响它们对全局模型构建的贡献[7]。因此，仅通过平均参数或根据数据量来聚合模型无法获得良好的性能。因此，如何为受到不同程度领域迁移影响的客户端模型分配适当的聚合权重是一个挑战。

近年来，联邦领域泛化问题已成为学术研究的热点，相关研究也相继开展[8]。一种常见的方法是消除每个孤立领域中的表示偏差。刘等人[9]提出了一种基于元学习的泛化方法。张等人[10]通过生成对抗训练提取了领域不变特征。阮等人[11]利用内积最大化找到了一个不变的梯度方向。基于正则化的方法也得到了探索[12]、[13]、[14]。然而，这些方法未能实现有效的跨领域信息交换，阻碍了领域不变表示的学习。其他一些工作则专注于模型聚合。张等人[15]为全局模型分配了动态聚合权重以实现公平的性能。周等人[16]利用数据影响的概念为局部模型分配权重。然而，这些方法都忽略了当局部模型中的领域迁移导致全局模型偏斜时，聚合权重也会受到影响的事实。总之，现有方法无法应用于具有高度异质性领域差异的HAR场景。

为了解决这个问题，我们提出了一种名为去偏原型双向引导联邦学习（DPBGFL）的HAR联邦领域泛化方法。具体来说，我们通过一种称为分层密度基础空间聚类算法（HDBSCAN）的无监督聚类算法，从所有客户端的本地原型生成全局去偏原型（DBPs），该算法可以自动将原型分组，并排除不属于任何组的原型。这些DBPs被用来指导联邦领域泛化，以解决上述两个挑战。首先，DBPs指导客户端学习领域不变表示。我们为每个客户端设计了一个风格解耦的自编码器，并配备了一个可学习的轻量级行为风格记忆矩阵（BSMM），以便在将知识从全局DBPs传输给客户端时分离领域偏差。其次，DBPs指导服务器自适应地聚合模型。我们提出了一种原型感知的聚合（PAA）策略，根据DBPs与每个客户端本地领域不变原型之间的协方差距离来分配聚合权重。这样，可以对受到较大领域迁移影响的模型分配较小的权重。为了证明DPBGFL的有效性，我们在四个公开可用的数据集上进行了大量实验。实验结果表明，与传统的和最先进的FL算法相比，DPBGFL在HAR任务中表现出更强的领域泛化能力。总结来说，我们的主要贡献如下：

• •
  我们提出了DPBGFL，一种新颖的联邦领域泛化HAR方法，用于应对数据孤岛和领域迁移问题，其核心思想是利用构建的去偏原型来指导领域不变表示学习和模型聚合。
• •
  我们为每个客户端设计了一个风格解耦的自编码器，并配备了一个可学习的轻量级行为风格记忆矩阵，以便将个人行为风格从潜在空间中分离出来，从而高效学习领域不变表示。
• •
  我们提出了一种原型感知的聚合策略，根据去偏原型与本地领域不变原型之间的协方差距离来分配权重，从而减轻了领域迁移的负面影响。
• •
  我们基于四个公开可用的数据集UCI-HAR、PAMAP2、USC-HAD和HARBOX进行了大量实验。实验结果从泛化、收敛性和鲁棒性等多个维度验证了DPBGFL的优越性。

节选内容

联邦学习

作为新兴的分布式计算框架，FL近年来得到了广泛研究。FedAvg[17]是最早也是最广泛使用的FL算法。它将本地模型参数上传到服务器，通过加权平均进行聚合，然后将这个平均值广播回所有客户端。这个过程会重复进行，直到收敛。此后，Karimireddy等人[18]提出了SCAFFOLD算法，该算法解决了客户端漂移问题

问题描述

在联邦HAR中，使用可穿戴设备的用户在年龄、体型、行为风格等方面存在高度异质性，因此必须训练出一个高度泛化的模型以适应不同的目标域。为了清晰描述这一联邦领域泛化任务，我们用X和Y表示HAR任务的数据空间和相应的标签空间。N个客户端（或领域）参与训练，以获得一个泛化的全球模型θ_g，其中客户端i拥有一个私有数据集$D_i={(x^k,y^k)}_{\}}k=1$

基准数据集

为了确保实验的全面性和避免随机性，我们选择了四个公开的HAR基准数据集进行评估。这些数据集来自人们日常活动中佩戴的加速度计和陀螺仪等传感器。在数据集预处理阶段，对原始传感器数据应用滑动窗口处理操作，将连续的时间序列数据分割成固定长度（相同的滑动窗口大小，见表1）的不重叠时间片段

结论

在实际应用中，联邦HAR遇到了数据孤岛和领域迁移等重大跨领域障碍。在本文中，我们提出了一种名为DPBGFL的新联邦领域泛化框架，以实现更好的泛化性能。具体来说，我们使用原型聚类来构建全局去偏原型，以指导客户端的表示学习和服务器的模型聚合。详细来说，我们采用了一种风格解耦的自编码器和一种原型感知的聚合策略

CRediT作者贡献声明

包一飞：撰写——原始草案、可视化、验证、方法论、调查。张景辉：撰写——审稿与编辑、验证、监督。程毅：撰写——审稿与编辑、监督。张登银：监督、调查、资金获取。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

致谢

本工作得到了国家自然科学基金 [编号：62471241]和江苏省研究生研究与实践创新计划[KYCX24_1201]的支持。