异构模型与数据环境下联邦学习的个性化无数据知识蒸馏方法

《ACM Transactions on Knowledge Discovery from Data》：Personalized Data-Free Knowledge Distillation for Federated Learning under Heterogeneous Models and Data

　　

摘要AI总结

要查看此由AI生成的总结，您需要拥有高级访问权限。

了解更多登录

摘要

摘要

知识蒸馏是一种有效的替代联邦学习中参数平均的方法，旨在处理具有不同模型架构的客户端。尽管依赖各客户端和服务器之间预先准备的蒸馏数据集，但在实际应用中，知识蒸馏仍可能面临诸多难题。现有研究探讨了在联邦学习中的无数据知识蒸馏方法，即在现场生成蒸馏数据集。然而，这些先进方法生成的具有全局数据分布的蒸馏数据集无法适应本地非独立同分布的数据。在本文中，我们提出了一种新的个性化无数据知识蒸馏方法——PDKD，用于处理具有不同模型和数据的联邦学习场景。PDKD通过为每个客户端生成个性化的蒸馏数据集，同时保护客户端数据隐私，从而解决因蒸馏数据集与本地数据分布不一致而导致的模型漂移问题。此外，我们还设计了一种蒸馏数据集更新方案，通过最大化教师模型与客户端模型在蒸馏数据集上的输出差异，实现更深入的知识传递。为了实现教师模型与客户端模型的共同演化，PDKD还采用了相互蒸馏机制。大量实验表明，PDKD的性能显著优于多种现有先进算法，其预测准确率提升了18%，且通信成本也远低于其他对比算法。

AI总结

AI生成的总结（实验性）

该总结是通过自动化工具生成的，并非由文章作者撰写或审核。它旨在帮助读者发现相关内容、评估文章相关性，以及让相关领域的读者更好地理解本文内容。它是对作者提供的摘要的补充，而作者提供的摘要仍是文章的主要总结。完整文章才是权威版本。点击此处了解更多。

点击此处，可以对该总结的准确性、清晰度及实用性发表意见。您的反馈将有助于改进未来的总结版本。

要查看此由AI生成的通俗语言总结，您需要拥有高级访问权限。