重新思考协作式机器学习中的知识蒸馏：记忆、知识及其相互作用

《IEEE Transactions on Network Science and Engineering》：Rethinking Knowledge Distillation in Collaborative Machine Learning: Memory, Knowledge, and Their Interactions

本文系统探讨协作学习中的知识蒸馏（KD）机制，分析记忆与知识在分布式、分层及去中心化架构中的动态交互，揭示任务异构性（如联邦学习、多智能体领域适应等）对KD效能的影响，总结模型、数据及资源异构性下的隐私挑战，并提出未来研究方向。

　　

摘要：

协作学习已成为大规模智能系统中的关键范式，它使分布式代理能够在解决隐私问题的同时协同训练他们的模型。这一范式的核心是知识蒸馏（KD），这是一种促进代理之间高效知识传递的技术。然而，KD利用代理间记忆和知识的潜在机制仍尚未得到充分研究。本文旨在通过全面回顾协作学习中的KD来填补这一空白，重点关注记忆和知识的作用。我们定义并分类了KD过程中的记忆和知识，并探讨了它们之间的相互关系，从而清晰地理解了在协作环境中知识是如何被提取、存储和共享的。我们研究了各种协作学习模式，包括分布式、层次化和去中心化结构，并深入分析了记忆和知识动态如何影响KD在协作学习中的有效性。特别是，我们强调了分布式学习模式中的任务异质性，涵盖了联邦学习（FL）、多代理领域适应（MADA）、联邦多模态学习（FML）、联邦持续学习（FCL）、联邦多任务学习（FMTL）和联邦图知识嵌入（FKGE）。此外，我们还指出了这些任务中的模型异质性、数据异质性和隐私问题。我们的分析根据现有工作处理记忆和知识的方式对它们进行了分类。最后，我们讨论了当前面临的挑战，并提出了在协作学习背景下推进KD技术的未来方向。

引言

深度学习的最新突破，尤其是在基础模型方面，已经在交通、医疗和教育等多个领域带来了深刻的变化。例如，像GPT-4 [1] 和 BERT [2] 这样的大型语言模型（LLMs）在自然语言理解和生成方面展现了卓越的上下文学习能力，从而推动了从对话式AI到特定领域任务的高级助手等一系列应用的发展。这些进展促使人们重新审视基础AI模型与人类认知之间的相似性，特别是记忆与学习之间的关系，从而开发出了行为日益复杂的基础模型驱动的学习代理。