引言
人类活动识别(HAR)利用传感器数据来识别一个人在做什么。现代HAR系统通常结合不同的传感流,如惯性测量、深度图像和压力图。在实际应用中,使用这些数据面临诸多挑战:测量值可能嘈杂或缺失,标注数据有限,且用户之间存在差异。当原始传感器数据无法集中存储时,隐私是另一个值得关注的问题(Das, Sil, Singh, Bhateja, Sarkar, 2020, Garain, Dawn, Singh, Chowdhury, 2022, Xiong, Yang, Qi, Xu, 2022, Yang, Xiong, Huang, Xu, 2024)。
联邦学习(FL)通过协作训练而不共享原始数据来解决上述最后一个问题。然而,它并不能防止从模型更新本身推断出信息,而差分隐私(DP)(Abadi, Chu, Goodfellow, McMahan, Mironov, Talwar, Zhang, 2016, El Ouadrhiri, Abdelhadi, 2022, Wei, Li, Ding, Ma, Yang, Farokhi, Jin, Quek, Poor, 2020)提供了联邦学习本身所缺乏的可量化保证。将联邦学习与差分隐私结合会带来一个实际问题:添加的噪声并非以相同方式影响所有模型架构。一个在没有隐私保护时表现良好的模型,一旦梯度被扰动,可能会失去大部分效用。本研究探讨了基于图的结构如何影响这种权衡。
图神经网络已被引入联邦HAR(GraFeHTy(Sarkar, Tanmay, & Roy, 2021))将图卷积与联邦学习相结合,在嘈杂且数据有限的条件下对单一传感模态进行处理。多模态HAR增加了另一个挑战,因为不同传感器捕获不同类型的信息。因此,保持每种模态的关系结构可能是有益的,而非将所有传感器强制映射到单一共享表示中。在客户端之间交换图参数也带来了自身的隐私考量(Ahmad, Jin, Zhang, Lai, Tang, Lin, 2021, Wang, Chen, Zheng, Liu, Huang, 2023),特别是在医疗领域。然而,图传播为记录级差分隐私带来了一个问题:一条记录可以通过图影响其他记录的表示和损失。在图模型中,一个窗口的表示取决于附近窗口的表示。因此,一条训练记录可以通过图传播影响多个其他节点的损失。受影响的记录数量随着图度和传播深度的增加而增长。我们证明,当图度受限时,这种效应可以被约束。这给出了一个有限的灵敏度倍增器,可以纳入隐私噪声中。
这一观察为GraMFedDHAR的设计提供了动机。每种模态由分段窗口上的独立时间图表示。节点通过基于特征的相互κ近邻相似性进行连接,且入度受到限制。图传播在训练前被应用一次,作为固定的、无参数的变换。可训练网络随后分别处理每个窗口,并使用节点级注意力来组合模态特定的表示。这种分离具有重要的隐私优势:可训练模型不会在记录之间传播信息。因此,可以精确计算每条记录的梯度,并在添加噪声前进行截断。
我们在MEx数据集上评估GraMFedDHAR,采用留被试法评估和时间块分割。比较对象是提出的模型与未使用图传播的同一模型,两者使用相同的训练和隐私设置。在所测试的隐私预算范围内,图传播带来了更高的精度。这种差异在没有隐私保护时并未出现,表明图在存在梯度噪声时有所帮助。我们还考察了图度和传播深度对隐私条件下精度和灵敏度倍增器的影响。成员推断用于评估训练模型的隐私行为。
本研究的贡献如下:
- •
记录级隐私下图传播的灵敏度:我们推导了图度为D、传播深度为K的图传播的记录级灵敏度界限。所得倍增器为。我们将此倍增器纳入差分隐私的噪声规模中。
- •
控制对比与隐私评估。我们通过将提出的模型与未使用传播的同一模型进行对比来隔离图传播的影响。两个模型使用相同的训练和隐私设置。我们还通过成员推断评估模型,以检查隐私泄露情况。
- •
隐私下图参数的影响:我们研究了图度和传播深度如何影响隐私条件下和非隐私条件下的精度。这些参数对非隐私条件下的精度影响较小,但会影响差分隐私条件下的精度。
本文的结构如下。第2节回顾了HAR的相关工作。第3节介绍了图传播、多模态联邦图学习和差分隐私,并推导图传播的灵敏度界限。第4节给出了问题定义和威胁模型、训练方案、误差分解、收敛行为以及隐私保证。第5节描述了数据集、评估方案和模型。第6节展示了结果和讨论,第7节为结论。