基于原型和特征蒸馏的联邦多视角信息融合：一种针对数据异质性的隐私 - 性能权衡方法

《Information Fusion》：Federated Multi-view Information Fusion Based on Prototype and Feature Distillation: A Privacy-performance Tradeoff Method for Data Heterogeneity

　　

• 提出了一种分阶段联邦训练框架FedTPF，在严格保护客户端数据隐私的前提下提升全局模型精度，从而在联邦数据异质性背景下实现隐私与性能的权衡。
• 提出了一种两级多视图信息融合机制。第一级融合旨在增强蒸馏模型的过滤效果，第二级融合则涉及服务器构建全局共享视图，并将其分发至各客户端，与本地数据视图进行多视图融合训练。
• 将本地原型引入蒸馏模型的生成器组件中，通过最小化潜空间中的约束距离实现深度特征融合。该方法解决了传统蒸馏模型因重建约束而导致特征过滤不足的问题，同时避免了来自源端的隐私泄露。
• 提出了一种自适应权重衰减聚合机制，以缓解不同客户端的特征蒸馏模型收敛速度不一致所导致的模型过拟合问题。

引言

分布式智能系统的快速发展，使得多源、多设备协作建模成为前沿研究热点。各种感知终端和计算节点不断生成海量异构数据，这些数据天然具有分散性、异质性和隐私敏感性。集中式学习范式无法高效处理并安全利用此类数据。在此背景下，在收集原始数据的同时实现跨节点协作建模，并保证满意的模型精度和数据隐私保护，已成为分布式智能领域的一个基本研究问题。

为了在分布式环境中实现隐私保护的协作学习，联邦学习（FL）已被广泛应用于跨设备和跨域联合模型训练。联邦学习允许各客户端在不暴露原始数据的情况下参与全局模型迭代，从而同时维持模型性能和数据隐私安全。然而，联邦学习的实际部署面临一个关键瓶颈：客户端数据表现出显著的非独立同分布（non-IID）特征[1]，不同节点间的数据分布、类别规模和特征空间差异显著。这种数据异质性导致本地模型更新与全局优化目标之间产生偏差，严重降低了全局模型的收敛速度、泛化能力和精度。

目前，共享客户端信息被视为解决数据异质性挑战的有效方案之一，共享信息主要包括原始数据、统计信息和合成生成数据[2]、[3]、[4]。例如，文献[5]通过共享一小部分（如5%）原始数据来缓解联邦学习中的异质性问题。尽管该方法在一定程度上提高了模型精度，但引入了相当大的隐私风险。从一个新颖的角度出发，文献[6]重新审视了联邦学习中的数据异质性问题，并提出了一种结合本地学习和统计信息共享的方案来应对异质挑战。该方法在异构数据环境中提高了模型精度并有效避免了原始数据泄露，但仍受限于统计信息只能简单表征数据分布，无法捕捉数据内在的丰富相关性和多样性。文献[7]研究了各种合成数据生成技术，并制定了增强合成数据泛化能力的策略，提升了其在异构数据条件下的适用性，进一步提高了全局模型精度。合成数据保留了分布结构和类别特征等关键信息，有助于在不同客户端数据分布下进行模型校准。共享合成数据可以同时实现防止原始数据泄露和提高异构场景下模型精度的双重目标。遗憾的是，共享的合成数据仍携带大量原始信息，容易受到推断攻击[8]，原始隐私数据可能被重建。为解决这一问题，文献[9]提出了一种结合差分隐私的合成数据生成方法，在共享前向本地客户端数据的统计信息注入差分隐私噪声，服务器随后使用受保护的统计信息生成合成数据。尽管该方法通过引入噪声保护了共享数据，但无法在模型精度和隐私保护之间实现理想平衡。过度注入噪声会损害特征有效性并导致模型精度急剧下降，而噪声注入不足则必然引发隐私泄露、成员推断攻击和模型反转攻击[10]。因此，在异构联邦场景中实现隐私保护与模型性能之间的有效权衡仍然是一个关键且紧迫的挑战。

针对上述问题，我们提出了一种基于原型和特征蒸馏的联邦多视图信息融合框架，命名为FedTPF，旨在异构联邦数据场景中实现隐私与性能的平衡优化。该框架的核心由两级多视图信息融合机制组成：第一级使用蒸馏模型生成器中的样本潜特征和本地原型构建双特征视图，通过潜空间约束和距离最小化实现深度特征融合，从而精确提取有益于全局泛化的最小特征集并过滤冗余信息；第二级将过滤后的特征构建为全局共享视图，分发至各客户端与本地数据视图进行多视图融合训练，从根本上缓解了数据异质性导致的模型漂移。由于过滤后的全局泛化信息足够紧凑，结合差分隐私保护全局泛化信息的隐私开销大大降低，使客户端能够在不泄露隐私的情况下维持高精度模型训练。此外，我们设计了一种自适应权重衰减聚合机制，以解决不同客户端蒸馏模型收敛速度不一致导致的过拟合问题[11]。实验结果表明，FedTPF在严格保护客户端隐私的同时显著提高了模型精度，在各种异构数据设置下优于现有的最先进方法。通过理论分析和充分实验，本文验证了FedTPF能够为异构联邦数据场景中隐私与性能的有效权衡提供解决方案。

本文的主要贡献如下：
• 提出了一种基于特征蒸馏和原型学习的联邦多视图信息融合框架。通过采用分阶段模型训练机制和两级多视图信息融合机制，该框架在异构联邦数据场景中实现了隐私保护与模型性能的平衡优化。
• 提出了一种基于本地原型的双视图潜空间融合策略。在蒸馏过程中，通过潜空间约束和距离最小化实现深度特征融合，解决了传统蒸馏模型因重建约束导致特征过滤不足的问题，避免了源端隐私泄露。
• 提出了一种自适应权重衰减聚合机制，以缓解不同客户端特征蒸馏模型收敛速度不一致导致的模型过拟合问题。对于提前收敛的模型，冻结其参数，并在聚合过程中根据全局模型精度的变化实施自适应权重衰减。
• 采用三种分布（Dirichlet分布、#C=k分布和子集分布）模拟客户端数据异质性。实验结果表明，在相同的隐私预算下，FedTPF的测试精度比现有最先进方法提高了3.7%，实现了隐私安全与模型性能之间更好的平衡。

本文其余部分组织如下：第2节介绍相关工作；第3节讨论当前挑战及相应解决方案；第4节呈现实验结果并进一步分析；第5节总结全文并展望未来工作。

相关工作

在联邦学习中，当各客户端数据表现出非独立同分布（non-IID）特征时，全局模型的融合效果和泛化性能将显著下降[12]。为了缓解跨客户端数据异质性带来的负面影响，现有研究主要通过引入额外的信息融合、辅助损失函数和改进的模型聚合方案[13]、[14]来应对跨客户端数据异质性问题。

FedTPF总体框架

为了解决在联邦学习中利用客户端信息共享来缓解数据异质性问题时所面临的隐私-性能权衡问题，本文提出了一种名为FedTPF的联邦多视图信息融合框架，集成了特征蒸馏、原型学习和自适应加权聚合。FedTPF采用两阶段训练模式，阶段转换通过预设条件实现，完成从蒸馏模型训练到……

实验设置

在三个数据集上进行了大量实验以验证所提方法，并与六种基线方法进行了比较。对于联邦场景，采用潜在狄利克雷分配（LDA）[37]来模拟非IID数据分布，其中LDA配置中的α分别设置为0.1、0.3和1.0。LDA可以实现每个客户端类别分布的灵活调整，从高度不平衡到近似非IID的设置，以模拟数据分布……

结论

本文提出了一种联邦学习框架FedTPF，旨在联邦数据异质性下实现隐私与模型性能之间的有效权衡。基于特征蒸馏和原型学习，该框架构建了两级多视图信息融合机制，通过蒸馏模型将本地私有特征与可泛化特征解耦。在蒸馏模型的生成器中，对潜样本表示和本地……

CRediT作者贡献声明

林辉：监督、资源、方法论、资金获取。周天怡：撰写—初稿、项目管理、调查。郭晶晶：可视化、资源、形式化分析、概念化。刘智权：验证、资源、方法论、调查。刘建敏：可视化、软件、调查、数据整理。

利益冲突声明

作者声明不存在已知的可能影响本文所报告工作的竞争性经济利益或个人关系。

林辉 | 周天怡 | 郭晶晶 | 刘智权 | 刘建敏