GraMFedDHAR:基于图的多模态差分隐私联邦人体活动识别

《Expert Systems with Applications》:GraMFedDHAR: Graph Based Multimodal Differentially Private Federated Human Activity Recognition

【字体: 大 中 小 】 时间:2026年09月21日 来源:Expert Systems with Applications 9.4

编辑推荐:

   摘要可穿戴传感器为活动识别提供信号,但共享传感器数据可能会损害用户隐私。联邦学习保留了原始数据在本地,但模型更新仍可能泄露有关训练记录的信息。差分隐私通过向梯度添加噪声来保护记录。这种噪声会降低精度,尤其是在使用图传播时。我们提出了GraMFedDHAR,一种使用记录级差分隐

  

摘要

可穿戴传感器为活动识别提供信号,但共享传感器数据可能会损害用户隐私。联邦学习保留了原始数据在本地,但模型更新仍可能泄露有关训练记录的信息。差分隐私通过向梯度添加噪声来保护记录。这种噪声会降低精度,尤其是在使用图传播时。我们提出了GraMFedDHAR,一种使用记录级差分隐私进行图传播的多模态联邦框架。对于每种模态,我们根据分段窗口的特征构建时间图,并限制每个窗口的邻居数量。然后使用节点级注意力将模态特定的特征结合起来。图在训练前构建并保持固定,这使我们能够计算精确的每条记录梯度并对每条记录应用差分隐私。我们在MEx数据集上测试该方法,使用留被试法评估和时间块分割。在差分隐私下,图传播将所测试隐私预算范围内的精度差距减少了5.7至6.7个百分点,所提供的效用约为未使用传播的模型的倍。在没有隐私保护的情况下,并未观察到这种改进,表明图主要在梯度被扰动时提供帮助。控制灵敏度倍增器的参数不会改变非隐私条件下的精度,但会影响隐私条件下的精度。因此,传播深度必须与其灵敏度成本一并考虑。成员推断攻击的成功率也随着隐私预算的降低而减少。

引言

人类活动识别(HAR)利用传感器数据来识别一个人在做什么。现代HAR系统通常结合不同的传感流,如惯性测量、深度图像和压力图。在实际应用中,使用这些数据面临诸多挑战:测量值可能嘈杂或缺失,标注数据有限,且用户之间存在差异。当原始传感器数据无法集中存储时,隐私是另一个值得关注的问题(Das, Sil, Singh, Bhateja, Sarkar, 2020, Garain, Dawn, Singh, Chowdhury, 2022, Xiong, Yang, Qi, Xu, 2022, Yang, Xiong, Huang, Xu, 2024)。
联邦学习(FL)通过协作训练而不共享原始数据来解决上述最后一个问题。然而,它并不能防止从模型更新本身推断出信息,而差分隐私(DP)(Abadi, Chu, Goodfellow, McMahan, Mironov, Talwar, Zhang, 2016, El Ouadrhiri, Abdelhadi, 2022, Wei, Li, Ding, Ma, Yang, Farokhi, Jin, Quek, Poor, 2020)提供了联邦学习本身所缺乏的可量化保证。将联邦学习与差分隐私结合会带来一个实际问题:添加的噪声并非以相同方式影响所有模型架构。一个在没有隐私保护时表现良好的模型,一旦梯度被扰动,可能会失去大部分效用。本研究探讨了基于图的结构如何影响这种权衡。
图神经网络已被引入联邦HAR(GraFeHTy(Sarkar, Tanmay, & Roy, 2021))将图卷积与联邦学习相结合,在嘈杂且数据有限的条件下对单一传感模态进行处理。多模态HAR增加了另一个挑战,因为不同传感器捕获不同类型的信息。因此,保持每种模态的关系结构可能是有益的,而非将所有传感器强制映射到单一共享表示中。在客户端之间交换图参数也带来了自身的隐私考量(Ahmad, Jin, Zhang, Lai, Tang, Lin, 2021, Wang, Chen, Zheng, Liu, Huang, 2023),特别是在医疗领域。然而,图传播为记录级差分隐私带来了一个问题:一条记录可以通过图影响其他记录的表示和损失。在图模型中,一个窗口的表示取决于附近窗口的表示。因此,一条训练记录可以通过图传播影响多个其他节点的损失。受影响的记录数量随着图度和传播深度的增加而增长。我们证明,当图度受限时,这种效应可以被约束。这给出了一个有限的灵敏度倍增器,可以纳入隐私噪声中。
这一观察为GraMFedDHAR的设计提供了动机。每种模态由分段窗口上的独立时间图表示。节点通过基于特征的相互κ近邻相似性进行连接,且入度受到限制。图传播在训练前被应用一次,作为固定的、无参数的变换。可训练网络随后分别处理每个窗口,并使用节点级注意力来组合模态特定的表示。这种分离具有重要的隐私优势:可训练模型不会在记录之间传播信息。因此,可以精确计算每条记录的梯度,并在添加噪声前进行截断。
我们在MEx数据集上评估GraMFedDHAR,采用留被试法评估和时间块分割。比较对象是提出的模型与未使用图传播的同一模型,两者使用相同的训练和隐私设置。在所测试的隐私预算范围内,图传播带来了更高的精度。这种差异在没有隐私保护时并未出现,表明图在存在梯度噪声时有所帮助。我们还考察了图度和传播深度对隐私条件下精度和灵敏度倍增器的影响。成员推断用于评估训练模型的隐私行为。
本研究的贡献如下:
  • •
    记录级隐私下图传播的灵敏度:我们推导了图度为D、传播深度为K的图传播的记录级灵敏度界限。所得倍增器为M=∑k=0KDk。我们将此倍增器纳入差分隐私的噪声规模中。
  • •
    控制对比与隐私评估。我们通过将提出的模型与未使用传播的同一模型进行对比来隔离图传播的影响。两个模型使用相同的训练和隐私设置。我们还通过成员推断评估模型,以检查隐私泄露情况。
  • •
    隐私下图参数的影响:我们研究了图度和传播深度如何影响隐私条件下和非隐私条件下的精度。这些参数对非隐私条件下的精度影响较小,但会影响差分隐私条件下的精度。
本文的结构如下。第2节回顾了HAR的相关工作。第3节介绍了图传播、多模态联邦图学习和差分隐私,并推导图传播的灵敏度界限。第4节给出了问题定义和威胁模型、训练方案、误差分解、收敛行为以及隐私保证。第5节描述了数据集、评估方案和模型。第6节展示了结果和讨论,第7节为结论。

章节摘要

深度与多模态HAR

早期的HAR系统依赖于手工构建的特征和经典分类器,如支持向量机、决策树和k近邻(Kulsoom, Narejo, Mehmood, Chaudhry, Butt, Bashir, 2022, Subasi, Khateeb, Brahimi, Sarirete, 2020)。深度模型后来直接从传感器信号中学习特征。卷积神经网络、ConvLSTM模型、时间卷积网络和轻量级Transformer已被应用于可穿戴HAR(Ek, Portet, & Lalanda, Gong, Zhang, Li, 2024, Lamaakal, Yahyati, Maleh, et al., 2025, Navakauskas,

基本原理

本节介绍了所提出框架的基础概念:图表示与传播、多模态联邦图学习,以及图传播所需的差分隐私及其灵敏度分析。

理论分析

本节介绍了GraMFedDHAR的理论框架:问题定义与威胁模型、梯度误差分解、收敛行为以及形式化的隐私保证。

数据集

我们在公开可用的MEx数据集(Wijekoon, Wiratunga, & Cooper, 2019)上评估所提出的框架,该数据集包含30名参与者执行7种物理治疗练习的多模态记录。每位参与者贡献八条记录(练习4在两侧均执行);第22号参与者贡献了七条记录,共计239条记录。提供了四种传感模态:两个三轴加速度计分别佩戴在大腿(act)和手腕(acw)上,标称频率为100 Hz,以及一台深度相机(dc)

结果与讨论

本节评估了图传播的贡献、其在不同隐私预算下的行为,以及其在不同参与者和练习间的表现。我们首先使用相同的架构和训练设置,将所提出的方法与无图对照进行比较。随后考察收敛性、表示质量、练习级表现以及与多模态基线的对比。其余实验研究图范围、截断、图构建、模态子集、缺失数据等

结论

本工作提出了GraMFedDHAR,一种多模态联邦框架,通过在逐窗口可训练层之前应用固定的、度受限的时间图传播步骤,实现了关系建模与形式化差分隐私(DP)的协调。这种解耦使得精确的灵敏度核算成为可能,通过有限倍增器M=∑k=0KDk扩展隐私噪声,并实现了有效的记录级梯度截断。仅在MEx数据集上进行评估,我们的实证结果表明这种受限的

CRediT作者贡献声明

Labani Halder:概念化,方法论,数据管理,形式分析,调查,验证,可视化,写作——原始草稿撰写,审阅,编辑。
Sarbani Palit:写作——审阅与编辑
Tanmay Sen:概念化,监督,写作——审阅与编辑。

未引用的引用

缺失引用:表2,表3,表5,表6,表11,[图]1

利益冲突声明

作者声明,他们没有已知的竞争性财务利益或个人关系,这些利益或关系可能影响本论文中报告的工作。
Labani Halder|Sarbani Palit|Tanmay Sen
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号