编辑推荐：
在联邦学习（FL）中，传统方法假定客户端资源充足且模型架构相同，与现实不符。研究人员提出异构 FL 方法 HNN-LSFL，在异构数据集上评估发现，该方法提升客户端资源利用率、优化 FL 性能、降低隐私泄露风险，为解决模型异构问题提供新途径。
一、研究背景
随着人工智能的蓬勃发展，联邦学习（Federated Learning，FL）作为一种新兴的机器学习方法崭露头角。它允许众多参与者在不共享原始数据的情况下，协同训练一个共享模型，巧妙地避开了本地设备数据暴露的风险，有效解决了数据隐私和安全问题，同时也降低了数据集中化带来的风险。
然而，传统的 FL 存在一个不太符合现实的假设：所有客户端都被认为拥有充足的本地资源，并且能够训练相同架构的模型。但在真实世界里，参与 FL 的用户设备千差万别，具有显著的异构性。不同设备的存储和计算能力参差不齐，例如智能手机和车辆的性能差距巨大。这就导致一些资源受限的设备难以承担大型模型的训练成本，只能选择小型模型；而资源充足的设备若使用小型模型，则会造成计算资源的浪费，还会削弱其性能表现。这种设备间的差异使得模型异构问题逐渐凸显，成为制约 FL 发展的重要因素。
此外，当前研究大多聚焦于解决数据异构性问题，对于模型异构性的关注相对较少。虽然已有部分基于知识蒸馏（Knowledge Distillation，KD）的方法尝试应对模型异构问题，但这些方法依赖额外的公共数据集来校准学生模型和教师模型的输出。一旦公共数据集与客户端数据集的分布差异增大，基于 KD 的 FL 性能就会大幅下降。在这样的困境下，开展新的研究来突破模型异构的瓶颈迫在眉睫。
内蒙古大学的研究人员挺身而出，致力于解决这一难题。他们提出了一种全新的异构 FL 方法 ——HNN-LSFL（Heterogeneous Neural Networks with Layer Similarity Relations in Federated Learning）。该研究成果发表在《Future Generation Computer Systems》上，为联邦学习领域带来了新的曙光。
二、关键技术方法
研究人员采用云边端分层架构，利用边缘服务器先聚合同构模型，减少异构模型聚合频率；通过计算异构模型间的层相似性，建立不同模型层之间的连接，并在小模型中适当填充层以实现异构模型聚合；还将模型层划分为块，提出基于层相似性的模型分区块聚合方法，仅聚合不同模型间相似性高的块，以此降低通信成本。
三、研究结果
- HNN-LSFL 框架设计：研究人员精心设计了 HNN-LSFL 框架，它允许客户端根据自身的计算资源，选择不同架构的神经网络模型进行本地训练。通过这种方式，充分发挥了不同设备的优势，提高了资源利用率。
- 层相似性计算与模型聚合：通过计算异构模型之间的层相似性，成功建立了不同模型层之间的联系。在小模型中合理填充层，实现了异构模型在联邦学习中的有效聚合，使得不同模型能够相互借鉴、协同进步。
- 模型分区块聚合降低通信成本：基于层相似性对模型层进行分块，提出模型分区块聚合方法。该方法只聚合不同模型间相似性高的块，大幅减少了联邦学习中的通信成本，提高了学习效率。
- 实验验证：在图像分类任务中对 HNN-LSFL 进行评估。结果令人惊喜，与其他方法相比，HNN-LSFL 不仅将准确率提高了 1.32% - 5.46%，还将近乎减半地降低了通信成本，充分证明了其有效性和优越性。
四、研究结论与讨论
HNN-LSFL 的出现，为解决联邦学习中的模型异构问题提供了一种创新且有效的解决方案。它通过独特的云边端分层架构，充分利用了云服务器强大的计算能力，降低了异构模型多次对齐和聚合的计算成本，同时减少了与云服务器的通信成本，非常适合大规模客户端场景。
计算层相似性的方法就像是为不同模型搭建了一座沟通的桥梁，让它们能够找到彼此的共性，实现更有价值的聚合，减少不必要参数的传输，进而降低了隐私泄露的风险。在图像分类任务中的出色表现，有力地证明了 HNN-LSFL 在提升模型性能和优化联邦学习效率方面的巨大潜力。
不过，研究也存在一定的局限性。例如，随着客户端数量的增加，尽管采用了云边端架构，但对齐的计算成本仍然会有所上升，客户端的等待时间也可能随之延长。未来的研究可以朝着进一步优化计算复杂度、提高系统响应速度的方向展开，以更好地适应更加复杂和大规模的应用场景。
总体而言，这项研究成果为联邦学习在异构模型领域的发展开辟了新的道路，为后续研究提供了重要的参考和借鉴，有望推动联邦学习技术在更多实际场景中的广泛应用，助力人工智能领域的持续创新与发展。
