复活节：在垂直联邦学习中嵌入基于聚合的异构模型训练

《IEEE Journal on Miniaturization for Air and Space Systems》：EASTER: Embedding Aggregation-Based Heterogeneous Models Training in Vertical Federated Learning

本文提出了一种名为EASTER的新方法，通过嵌入聚合和主动方协助的梯度计算，有效解决了垂直联邦学习中异构模型导致的优化收敛和泛化问题，实验表明其性能比现有方法提升7.22%。

　　

摘要：

垂直联邦学习（VFL）允许在不共享本地数据的情况下进行协作式机器学习。然而，现有的VFL方法在处理参与者之间异构的本地模型时面临挑战，这影响了优化的收敛性和参与者本地知识聚合的泛化能力。为了解决这一挑战，本文提出了一种名为“基于嵌入聚合的垂直联邦学习中的异构模型训练”（EASTER）的新方法。EASTER专注于在前向传播过程中聚合每个参与者的本地嵌入。我们提出了一种基于轻量级混淆因子的嵌入保护方法，将这些混淆因子注入被动方的本地嵌入中。但是，被动方并不拥有样本标签，因此无法在本地计算本地模型的梯度。为了克服这一限制，我们提出了一种新方法，即主动方协助被动方计算其本地异构模型的梯度。理论分析和大量实验表明，EASTER能够同时训练多个异构模型，并且在模型性能上优于一些最新的方法。例如，在CIFAR-10数据集上，与最先进的方法相比，EASTER的模型准确率提高了7.22%。

引言

随着移动客户端和物联网（WoT）设备生成的数据量不断增加，这推动了各种机器学习应用的发展。移动客户端和WoT设备一直需要与云端共享数据以帮助机器模型训练。由于隐私问题，移动客户端和WoT设备对共享原始数据持谨慎态度。作为一种新的分布式机器学习范式，联邦学习（FL）[1]提供了一种利用移动设备和WoT设备的数据在本地训练机器模型的解决方案。特别是，FL实现了一种多参与者协作训练方法，该方法可以在本地保持数据，确保数据安全。近年来受到广泛关注的两大类FL包括水平联邦学习（HFL）[2]和垂直联邦学习（VFL）[3]。具体来说，HFL允许具有相同特征集但样本空间不同的参与者进行协作训练，而VFL则适用于参与者持有同一样本空间中不同特征子集的场景[4]。这一特性使得VFL在跨组织协作中成为首选，因为HFL需要参与者之间具有重叠的特征[5]。在本研究中，我们专注于VFL。