《Neurocomputing》:Feature-driven layer specialization for label heterogeneous federated learning
编辑推荐:
标签异质性联邦学习中的动态分层更新与细调方法,通过分析类激活图自动分离通用层和专用层,在医疗影像数据集上验证了性能优势。
Obed Jamir | Angshuman Paul
印度理工学院焦特布尔分校,计算机科学与工程系,焦特布尔,342030,拉贾斯坦邦,印度
摘要
联邦学习(FL)通过实现去中心化训练,重新定义了如何在分布式系统中训练模型,同时不损害数据隐私。这使得拥有敏感信息的组织和机构能够有效协作,同时确保数据的保密性。然而,客户端数据分布的多样性带来了独特的挑战,需要创新的解决方案。最近在FL方面的进展表明,通过为每个客户端的数据分布定制个性化模型已经取得了有希望的结果,但很少有方法能够解决标签异质性带来的复杂性。现有方法要求客户端与服务器共享他们的类别标签,以构建所有客户端的统一标签分布。然而,对于有严格隐私规定的客户端(如医疗机构),这可能是不可行的。在这项研究中,我们提出了一种新的方法,可以在不共享标签的情况下管理客户端之间的标签异质性。我们的方法动态地将客户端模型分为通用层和专用层,分别处理与客户端无关的特征和特定于客户端的特征。在每一轮通信中,通用层使用全局模型的参数进行更新,而专用层保持不变。这种选择性层更新之后,会对每个客户端模型进行微调,以便更好地适应客户端的本地数据分布,同时利用通用层共享的表示。在公开可用的胸部X光和自然图像数据集上的实验评估表明,我们的方法优于几种最先进的FL技术。代码将在审稿过程完成后发布。
引言
联邦学习(FL)[1]通过允许在多个去中心化设备上训练模型同时保护数据隐私,对分布式机器学习产生了重大影响。与传统集中式方法不同,FL允许每个客户端在本地保留他们的数据,从而降低了数据共享相关的隐私风险。在FL设置中,多个客户端使用他们的私有数据集独立训练他们的本地模型。然后将本地训练的模型传输到中央服务器,生成一个聚合的全局模型。这个全局模型再分配给客户端,完成一次联邦训练过程。通过多次这样的通信轮次,FL促进了强大模型的开发,而无需客户端之间直接共享数据。尽管有这些优势,FL仍然面临着客户端数据分布的各种形式的异质性挑战。这些包括统计异质性(客户端的数据分布不同);模型异质性(客户端之间的模型架构存在差异);通信异质性(与网络条件不一致有关);以及设备异质性(反映了不同的硬件能力)。其中,标签异质性是一个主要障碍。当客户端的数据集具有不同的标签分布或完全不同的标签集时,就会出现标签异质性,这会复杂化聚合过程并降低模型性能。
现有的FL方法主要通过为每个客户端的独特数据分布开发个性化模型来应对数据异质性[2],[3]。诸如FedRep [4]和FedBABU [5]等技术已经证明了将神经网络分解为共享的特征提取器和个性化分类器的有效性。虽然这些方法提高了模型对个别客户端数据的适应性,但它们无法有效处理标签分布在客户端之间异质或不重叠的情况。因此,大多数个性化FL方法隐含地假设所有客户端共享统一的标签空间。现有方法要么假设服务器可以访问全局标签分布,要么要求客户端向服务器披露他们的本地标签。在现实世界的联邦医疗和跨领域应用中,这些假设是不切实际的,因为客户端通常处理不相交的标签集,并且由于隐私或监管限制而无法披露标签信息。为了弥合这一差距,我们引入了FD-Fed(针对标签异质性联邦学习的特征驱动层专门化),这是一种新的FL方法,旨在处理客户端之间的标签异质性。我们的方法分析了每个客户端模型中卷积层类别激活图中显著区域的行为。通过评估每个客户端数据的激活图中显著区域的数量及其相对大小,FD-Fed区分了捕捉跨客户端数据共同特征的和捕捉每个客户端标签分布特有的特征的区域。
FD-Fed的主要创新在于它在每次通信轮次中更新客户端层的过程。这与现有的个性化FL方法不同,在现有方法中,每次通信轮次后只有分类层保持客户端特定,而所有其他层都使用聚合模型进行更新。这样的方法可能会抑制通过卷积层学到的客户端特定特征。通常,在深度学习模型中,初始层捕获粗略的特征表示,而更深层的层学习细粒度的信息。如果在每次轮次后用相应的聚合层更新更深层,可能会导致这些独特的客户端特定特征的丢失。
FD-Fed为每个客户端维护一组专用层和通用层。最初,只有客户端模型的特定于客户的分类层被视为专用层,其余的被归类为通用层。现在,对于通用层集中的最后一个卷积层,FD-Fed为每个客户端的数据样本生成类别激活图。如果这些激活图中的显著区域平均数量较少且这些区域的相对大小较小,我们将其归类为专用层。我们这样做是为了识别并保留对于准确将数据样本分类到相应客户端独特标签分布至关重要的层。此外,在所有后续的通信轮次中,专用层不会被聚合层替换。这个过程在每次通信轮次中对更新的通用层集重复进行,如图1所示。这种选择性层更新确保了通用层能够适应客户端本地数据中的与客户端无关的特征,而专用层适应每个客户端独特标签分布的特定于类别的特征。此外,FD-Fed还包括一个针对专用层的微调过程,以便更好地适应客户端的本地数据分布,同时利用通用层共享的表示。
我们在本文中的主要贡献包括:
- •
我们引入了FD-Fed,这是一种通过动态层更新来应对标签异质性的联邦学习方法。
- •
我们分析了客户端模型的类别激活图,将各个层分为通用层和专用层。最初,除了分类层之外的所有层都被归类为通用层。
- •
我们为专用层引入了微调机制,使每个客户端能够适应其本地数据分布,同时利用共享的表示。
- •
我们通过在公开可用的胸部X光数据集上进行的广泛实验验证了FD-Fed的有效性,与现有的最先进联邦学习方法相比,展示了更好的性能。
本文的其余部分组织如下。第3节详细介绍了与FD-Fed相关的方法论及其组成部分,并展示了FD-Fed算法的逐步实现。第4节展示了将FD-Fed应用于各种胸部X光数据集(包括NIH胸部X光数据集和CheXpert数据集)的实验设置和结果。最后,第5节总结了我们的发现,并讨论了未来研究的潜在方向。
节选
联邦学习
基础方法FedAvg [1]通过聚合本地模型来构建全局模型,有效地利用了多样化的数据,而无需将其集中化。然而,在客户端数据非独立且分布相同(非IID)的情况下,FedAvg的性能会下降。为了解决这个问题,提出了几种扩展方法。FedProx [6]在局部损失函数中引入了一个近似项,减少了局部模型和全局模型之间的差异,提高了收敛速度
方法
传统的FL方法通常假设客户端具有相同的模型架构和相似的数据分布,但在标签异质性环境中这可能不成立。当客户端的数据集具有不同的标签分布时,就会出现标签异质性,这带来了重大挑战。为了解决这个问题,我们只聚合客户端模型架构中的共同层,而将分类层排除在聚合过程之外。我们将这些共同层称为
实验和结果
为了评估我们提出的方法1的有效性,我们进行了多次实验,将FD-Fed与几种最先进的方法进行了比较,包括FedPer [2]、FedPav [3]、FedRep [4]和FedBABU [5]。这些方法作为我们实验的合适基线,因为它们与标签异质性配置兼容。虽然许多最近的方法解决了标签异质性问题,但它们通常假设模型架构和标签是共同的
结论
我们引入了FD-Fed,这是一种联邦学习方法,允许具有异质标签的客户端参与联邦学习。客户端模型分为两类:通用层和专用层。通用层捕获跨客户端的共同特征,而专用层捕获特定于类别的特征。在每次通信轮次中,保留专用层,同时用全局模型的参数更新通用层
伦理声明
本研究使用了公开可用且完全去标识化的数据集:NIH Chest X-ray14、CheXpert和MIMIC-CXR。由于这些数据集不包含可识别的人类数据,并且是在原始数据集提供者的事先伦理批准下收集的,因此本研究不需要额外的机构审查委员会(IRB)批准。所有使用均符合相应数据使用许可证的条款和条件。
CRediT作者贡献声明
Obed Jamir:撰写——原始草稿、软件、方法论。Angshuman Paul:撰写——审阅与编辑、监督、概念化。
利益冲突声明
作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。
Obed Jamir在印度Lovely Professional大学获得了计算机科学与工程的学士学位(2021年)。他在完成硕士-博士学位项目的硕士阶段后,目前正在印度理工学院焦特布尔分校攻读计算机科学与工程的博士学位。他的研究重点是异构联邦学习,特别是针对医学图像分析,解决分布式客户端之间的标签、模态和任务异质性问题。