ProtoFedGAN：一种新型的联邦学习框架，通过动态双原型对齐方法训练生成对抗网络

《Future Generation Computer Systems》：ProtoFedGAN: A Novel Federated Learning Framework for Training Generative Adversarial Networks via Dynamic Dual-Prototype Alignment

联邦学习环境下，针对数据异质性和模型架构差异，提出动态双原型对齐机制。通过原型学习抽象客户端特征为轻量级类原型，结合服务器端动态聚合与客户端自适应调整，实现全局分布一致性优化与局部多样性增强，在MNIST、CIFAR-10等数据集上验证其生成质量（FID/IS指标最优）和通信效率优势。

　　

王志刚|李宇梓|张庆华|赵俊峰

内蒙古大学，中国内蒙古自治区呼和浩特市赛罕区西学院路235号，邮编01002

摘要

生成对抗网络（GANs）在数据生成任务中展现了巨大的潜力。然而，传统的集中式训练需要共享原始数据，这存在敏感信息泄露的风险。联邦学习提供了一种解决方案，从而催生了联邦GANs的发展。这种方法通过允许在不交换原始数据的情况下进行分布式训练，在一定程度上降低了这种风险。尽管如此，现有的联邦GAN框架在面对异构客户端数据和异构客户端模型的现实世界场景时仍面临挑战，包括生成性能下降、模式崩溃以及潜在的隐私泄露问题。为了解决这些挑战，本文提出了基于动态双原型对齐的联邦生成对抗网络ProtoFedGAN。具体而言，ProtoFedGAN引入了一种基于原型学习的联邦知识共享范式，它将本地客户端特征抽象为轻量级的类别原型，并在服务器上进行动态聚合。这种方法促进了异构客户端模型之间的知识共享，通过特征抽象增强了隐私保护，并减少了通信开销。此外，还提出了一种潜在空间对齐机制，以确保客户端生成器的潜在空间与全局分布之间的一致性，并结合了一个动态原型聚合器，通过相似性加权参数调整来减轻由非独立同分布（Non-IID）数据引起的特征偏移。最后，提出了一种双原型驱动的生成增强策略，其中主原型通过在各客户端之间固定共识特征来确保全局分布的稳定性，而子原型则促进多模态特征表达，从而共同优化生成数据的真实性和多样性。在四个基准数据集（MNIST、Fashion-MNIST、CIFAR-10和CIFAR-100）上的实验结果表明，ProtoFedGAN在独立同分布（IID）和非独立同分布（Non-IID）环境下均一致地实现了最低的FID、KL和MMD值，性能优于最近的联邦GANs，如CAP-GAN、IFL-GAN、PRIVATE FL-GAN和PerFED-GAN，尤其是在异构环境中。

引言

生成对抗网络[1]作为深度学习中的一个开创性框架，利用生成器和判别器之间的动态对抗机制，使生成器能够高效地学习从潜在空间到目标数据分布的映射。这里的潜在空间表示一个低维的连续向量表示（通常是高斯分布的噪声），它封装了数据变化的潜在因素；每个点对应一个潜在的数据实例[2]。通过学习这种映射，生成器可以将随机潜在向量转换为高保真样本，有效捕捉真实数据的流形结构，而无需显式的分布建模。GANs的一个关键优势在于它们能够在不要求明确数据分布定义的情况下生成高质量样本，仅依赖于对抗训练。这一能力已在包括图像合成、数据增强、医学图像分析和自动驾驶模拟[3]、[4]、[5]、[6]、[7]在内的多个领域取得了显著进展。然而，现有的GAN训练范式主要遵循集中式架构，所有数据都在单个中央服务器上聚合，假设数据是独立同分布的。这种方法与现实世界数据的非独立同分布（Non-IID）性质相矛盾，并且由于原始数据的集中式暴露，在医疗和金融等敏感领域存在重大的隐私风险[8]。为了解决这些挑战，联邦GANs将联邦学习的分布式协作机制与GAN的生成能力相结合，旨在通过分布式知识共享来提升客户端生成器模型的性能，同时优化数据隐私保护和跨领域知识传输。例如，FedGAN[9]和FeGAN[10]等框架使数据所有者能够在不共享本地数据的情况下协作训练分布式生成模型。

尽管联邦GANs在保护隐私和跨领域协作建模方面展现了潜力，但它们的实际部署仍面临两个主要挑战。首先，由于数据异质性导致的多源分布差异显著限制了模型的性能[11]。在实际应用场景中，客户端之间通常观察到特征分布、类别支持集和数据密度的变化。这种数据异质性阻碍了生成器从潜在空间学习全局一致的数据表示。例如，客户端之间的类别或特征变化可能导致判别器局部过拟合，并使生成器遇到冲突的对抗梯度，从而导致模式崩溃和生成样本的多样性和保真度下降。其次，模型异质性进一步复杂化了知识共享。当客户端采用由于计算限制或特定任务要求而具有不同深度的异构网络架构（如生成器或判别器）时，传统的联邦学习聚合方法（如FedAvg[12]和FedProx[13]）由于维度不匹配而变得无效。在这种情况下，迫切需要新的知识共享机制来克服模型异质性带来的挑战，并实现客户端之间的高效联邦协作。

虽然一些研究试图减轻联邦GANs中数据和模型异质性带来的挑战，但它们的有效性在适用性和隐私保护方面仍然有限。在解决数据异质性方面，FedPA[14]通过生成特征级数据而不是原始样本来应对Non-IID挑战，使用原型学习通过对抗训练捕获难处理的特征。这使得全局模型规范化成为可能，并显著减少了数据异质性引入的偏差。同时，IFL-GAN[15]采用基于最大均值差异（MMD）的加权聚合策略来对齐客户端生成器的潜在空间中的分布差异，显著增强了全局模型对Non-IID数据的适应性。然而，这些方法主要依赖于参数聚合进行知识共享，这严格假设客户端之间的模型架构是同质的。当客户端由于资源限制或特定任务要求而采用异构模型架构时，参数维度的不匹配直接阻碍了聚合的可行性。更严重的是，模型参数或梯度的显式传输可能会无意中泄露有关本地模型架构的信息，从而可能导致专有网络设计的逆向工程，进而引发知识产权泄露[16]、[17]、[18]、[19]。在解决模型异质性方面，PerFED-GAN[20]通过在每个客户端部署本地GAN对来实现个性化客户端模型，其中生成器在本地进行训练，合成数据在服务器上聚合以便重新分配。由于在协作过程中仅传输合成数据而非模型参数，客户端可以自由采用异构模型架构。类似地，MD-GAN[21]通过将生成器卸载到服务器上来支持结构异质性，而客户端仅托管判别器。在对抗训练期间，服务器和客户端之间交换合成数据，消除了传输模型参数的需要，从而允许每个客户端使用不同的模型结构。然而，这些方法通常依赖于通过公共网络传输合成数据来实现跨客户端知识传输。这带来了两个关键风险：（1）隐私泄露风险，因为生成的样本可能与原始数据具有强烈的视觉或统计相似性（例如，医学图像中的病变形态或金融记录中的交易模式），从而无意中暴露了敏感的用户信息[22]；（2）通信效率低下的风险，因为高维合成数据（例如1024×1024分辨率的图像）的频繁传输显著增加了通信开销，特别是在带宽有限的边缘环境中对联邦学习系统造成重大瓶颈[23]。总之，现有方法由于数据和模型异质性的双重挑战而面临显著限制：基于参数聚合的方法无法处理模型异质性，而合成数据共享方法容易发生隐私泄露并存在通信效率低下的问题。因此，迫切需要开发一种新的联邦GAN框架，通过轻量级的知识表示和安全协作机制实现数据分布对齐和模型兼容性，同时不暴露模型结构或原始数据。

本研究的主要目标是建立一个统一的联邦GAN框架，能够稳健地处理非独立同分布（Non-IID）数据和异构客户端架构，同时不损害隐私或通信效率。为此，我们提出了基于动态双原型对齐的ProtoFedGAN（即使用主原型实现全局一致性，使用子原型实现局部多样性）。这一贡献的根本原因在于原型的独特属性：与模型参数不同，原型提供了轻量级且与架构无关的知识表示。这使得ProtoFedGAN能够弥合不同客户端模型之间的差距（解决模型异质性），并对齐全局类别分布（解决数据异质性），而无需传输敏感的原始或合成数据，从而解决了现有参数共享和数据共享方法的关键限制。 我们的文章与相关工作的比较通过几个关键特征在表1中进行了总结。本工作的关键贡献总结如下。

•

基于原型的知识共享：ProtoFedGAN将本地特征抽象为类别级别的原型，这些原型在服务器上聚合后重新分配给客户端以实现跨客户端知识共享。这种与模型无关的方法降低了通信成本，同时保护了数据隐私。

•

潜在空间对齐和自适应原型聚合：ProtoFedGAN对齐客户端生成器的潜在空间，以确保语义一致性，并根据分布相似性动态聚合原型。这种联合机制减轻了Non-IID效应并稳定了全局表示。

•

双原型对齐机制：采用双原型策略，其中主原型保持全局稳定性，子原型增强局部多样性。这种设计防止了模式崩溃，并提高了生成数据的质量和多样性。

本文的其余部分组织如下。我们在第二节简要回顾了相关研究。第三节介绍了系统模型和生成对抗网络的基础知识。第四节详细描述了提出的ProtoFedGAN框架。第五节展示了实验结果及相应的分析，第六节总结了本文。

相关工作

相关工作

如表1所示，现有的联邦GAN方法可以根据它们的知识共享机制大致分为两种范式：模型参数聚合和合成数据共享。以下小节对每种范式进行了详细分析，特别强调了它们如何应对数据异质性和模型异质性的双重挑战。

初步介绍

在介绍所提出的算法之前，详细描述了采用的系统模型。此外，还详细阐述了客户端GAN的原理和训练过程，重点介绍了每个客户端执行的局部对抗学习过程。

方法论

本节描述了提出的ProtoFedGAN框架。我们首先提供了ProtoFedGAN的系统性概述，然后详细介绍了框架的核心组件，最后分析了其通信复杂性。

实验评估

本节通过定量实验对提出的框架进行了全面评估。我们首先详细介绍了实验设置，包括数据集、模型架构、评估指标和基线方法。随后，我们展示了多个指标（如数据质量和多样性）上的性能结果，并与现有的联邦GAN方法进行了比较，以证明我们方法的有效性和可扩展性

结论

本文介绍了ProtoFedGAN，这是一种新颖的联邦GAN框架，旨在解决异构联邦学习环境中的性能、隐私和通信挑战。通过利用动态原型聚合和双原型对齐，ProtoFedGAN克服了传统参数聚合和合成数据共享的局限性，实现了在不同客户端之间安全高效的知识协同优化，同时保护了数据隐私和知识产权

CRediT作者贡献声明

王志刚：写作——审阅与编辑，撰写——原始草稿，可视化，验证，监督，软件，资源，项目管理，方法论，资金获取，正式分析，数据管理，概念化。李宇梓：验证，软件，调查。张庆华：验证，软件，调查。赵俊峰：写作——审阅与编辑，监督，资源，项目管理，方法论，资金获取。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。