引言
随着分布式设备和移动应用的普及，越来越多的数据在网络边缘生成。这些本地数据集通常包含敏感的个人或机构信息（Deng等人，2023年；Nguyen等人，2021年），这使得集中式训练变得越来越不切实际，因为集中式训练需要在中央服务器上收集原始数据，这会带来隐私风险和通信成本。为了解决这些问题，联邦学习（FL）作为一种突出的分布式学习范式应运而生，它允许客户端通过本地优化和全局参数聚合来协作训练模型，而无需共享他们的私人数据（Kairouz等人，2021年；Lin, Kong, Stich, & Jaggi，2020年；McMahan, Moore, Ramage, Hampson, & Aguera y Arcas，2017年）。然而，由于用户行为、设备类型和环境因素的固有多样性，客户端之间的本地数据分布通常是非独立同分布的（Wang, Liu, Liang, Joshi, & Poor，2020年）。尽管FL具有保护隐私的能力，但在数据异质性较大的情况下，其性能会显著下降（Li, Sahu, Talwalkar, & Smith，2020年）。有偏的本地数据分布会在客户端之间产生冲突的优化梯度，使得单个全局模型很难在不同本地领域泛化（Karimireddy等人，2020年）。为了缓解这个问题，个性化联邦学习（PFL）获得了显著的关注（Chen, Tong, Chen等人，2021年；Chen & Chao，2021年；Dinh, Tran, & Nguyen，2020年；Fallah, Mokhtari, & Ozdaglar，2020年；Wang等人，2023年），通过划分共享的全局知识和客户端特定的组件来增强本地适应性（Arivazhagan, Aggarwal, Singh, & Choudhary，2019年；Collins, Hassani, Mokhtari, & Shakkottai，2021年）。然而，仍然存在一些挑战阻碍了在现实环境中的有效个性化。
首先，现有的PFL方法主要依赖于确定性表示学习（McLaughlin & Su，2024年；Yao, Wang, Wen等人，2023b；Zhang, Chen, Wang, & Yang，2023b；Zhang等人，2023c），它们将本地特征视为固定点估计，而没有明确表征它们的可靠性。在异构的联邦环境中，数据噪声、有限的本地样本和分布变化可能会引入个性化表示中的不确定性（Corinzia, Beuret, & Buhmann，2019年；Zhang, Li, Li, Guo, & Shao，2022年），使得不可靠的特征难以与有信息量的特征区分开来（Huang等人，2021年）。虽然初步的努力已经在参数级别探索了概率建模以稳定联邦优化（Cao等人，2023年；Zhu, Togo, Ogawa, & Haseyama，2026年），但明确建模特征级别的不确定性并使用它来评估个性化表示的可靠性却受到了相对较少的关注。其次，除了个性化表示的可靠性之外，有效个性化还需要共享表示和客户端特定表示之间的有效协调。尽管最近的研究将对比学习和知识蒸馏结合到FL中以提高表示质量（Jeong, Oh, Park, Kim, & Cha，2018年；Li, He, & Song，2021a；Yang等人，2023年；Yao等人，2023a；Zhu, Hong, & Zhou，2021年），但这些技术主要是为单分支架构设计的，用于促进局部-全局一致性或实例级别的区分性。在解耦的个性化架构中，全局和客户端特定的分支是共同优化的，两个表示空间之间的交互可能不够结构化，这可能会限制它们的对齐和分离，从而导致表示漂移以及共享知识和个性化知识之间的协调效果减弱。
这些观察结果促使我们提出了一种方法，该方法同时考虑了个性化表示的可靠性和它们与共享表示的协调性。为此，我们提出了FedVRU，这是一个个性化联邦学习框架，它结合了特征级别的不确定性建模和多对比表示规范。具体来说，在客户端特定的分支中引入了变分公式，将个性化特征表示为概率潜在变量并估计它们的不确定性。然后，不确定性感知门控（UAG）机制使用估计的不确定性来适应性加权个性化特征的贡献。此外，多对比蒸馏（MCD）策略通过时间对齐和对比分离来规范全局表示和个性化表示之间的交互。这些组件共同建模特征可靠性，并在异构FL下调节全局-个性化表示之间的交互。本工作的主要贡献总结如下：
- •
我们提出了FedVRU，一个个性化联邦学习框架，它引入了特征级别的变分建模来表征客户端特定表示的可靠性。
- •
我们开发了一种UAG机制，根据估计的不确定性适应性调节个性化表示，同时采用MCD策略来促进全局的时间一致性和全局-个性化表示的分离。
- •
在多种异构设置下的广泛实验表明，FedVRU在不同联邦学习条件下都是有效的。
