《Neurocomputing》：CroSSFed: Prototype-guided server-side finetuning with client-server reweighting for cross-domain semi-supervised federated learning
编辑推荐：
联邦学习（Federated Learning, FL）是一种无需数据交换即可跨多个客户端数据中心训练神经网络的方法。由于仅交换神经网络权重而非全部数据，FL不仅保障数据隐私，还降低了客户端数据中心与服务器之间的通信成本。因此，FL已被广泛应用于病理学、自动驾
联邦学习（Federated Learning, FL）是一种无需数据交换即可跨多个客户端数据中心训练神经网络的方法。由于仅交换神经网络权重而非全部数据，FL不仅保障数据隐私，还降低了客户端数据中心与服务器之间的通信成本。因此，FL已被广泛应用于病理学、自动驾驶和文本预测等领域。经典FL方法包括FedAvg，其在每个客户端数据上进行本地训练后计算客户端本地模型的加权平均，但当客户端分布过于异构时易出现客户端漂移。为解决该局限，FedProx采用本地正则化机制，通过在本地训练期间使用近端损失项限制本地模型更新，防止本地模型过度偏离全局模型。SCAFFOLD同样通过利用校正项更新本地模型以模拟独立同分布客户端数据来应对数据异构性（及客户端漂移）。经典FL方法面向全监督场景，即客户端所有数据实例均配有标签。此外，大量现有文献通常采取大型企业的视角，将FL任务分发给众多较小客户端，从而利用众多拥有有限个体数据集的客户端构建FL学习任务。然而在许多实际场景中，全标注数据假设并不成立。而且许多应用场景偏离典型的多客户端FL任务结构。一种更常见且新兴的任务形式涉及多个拥有大量无标签数据的大型企业（如工厂或医院），希望利用FL系统进行协作学习。因此，近期研究日益关注半监督FL场景，即仅少量数据实例有标签而大多数数据实例无标签。个体客户端同时拥有大量无标签数据集的情况引入了另一个关键挑战：由于客户端间数据域偏移（或域差异）导致的学习偏差。该场景在计算机视觉（Computer Vision, CV）领域频繁出现。例如，不同工厂或设施间摄像头或设备的差异意味着即使学习任务目标一致，个体客户端间固有数据偏差也可能显著损害FL过程的最终结果。现有半监督FL（Semi-Supervised Federated Learning, SSFL）研究根据对有标签和无标签数据放置位置的假设可大致分为三类。第一类假设所有客户端均混合有标签和无标签数据，通常无标签数据远多于有标签数据，而服务器无任何数据。第二类假设部分客户端数据完全有标签而其他客户端数据完全无标签，服务器同样无数据。第三类称为"标签在服务器端"（labels-at-server），假设服务器拥有有标签数据而客户端仅拥有无标签数据，如SemiFL、FedMatch和FedSTO。虽然SemiFL和FedMatch实现了处理该标签在服务器端场景的特定机制，但它们面向跨设备而非跨孤岛（cross-silo）数据设置。即它们更适用于拥有大量客户端且每个客户端拥有少量数据的设置，而非少量客户端且每个客户端拥有大量数据的设置。因此，它们对跨孤岛使用的有效性尚不明确。此外，它们假设服务器和客户端数据共享相同数据源（因而具有相同分布）。然而该假设对许多实际场景不成立，几乎无法保证不同数据中心的数据具有相同分布。因此，为使用来自一个域的服务器数据指导使用来自不同域的客户端数据的模型训练，有必要将SSFL场景扩展至跨域设置，其中有标签的服务器数据与客户端数据来自不同分布。鉴于标签在服务器端数据场景与现实世界实际约束的关联性，本研究特别关注该数据分布场景。为满足该需求，本研究提出一种新的半监督联邦学习方法，以促进服务器域与客户端域不同时的标签在服务器端联邦学习。所提方法命名为CroSSFed，融合了原型引导服务器端微调（Prototype-Guided Server-side Finetuning）机制，促使全局模型利用服务器域类分布进行学习，从而缓解服务器端微调可能产生的服务器域偏差。此外，采用本地-全局模型重加权（Local-Global Model Reweighting）机制，在本地模型纯聚合与服务器端微调所得模型之间计算简单加权平均，权重随训练推进而变化，逐步倾向于本地模型聚合，最终降低服务器域偏差的影响。本研究主要贡献如下：据作者所知，CroSSFed是首个在标签在服务器端半监督联邦学习场景中显式缓解服务器域偏差影响的方法；提出一种简单而有效的全局模型客户端-服务器动态重加权机制，在客户端与服务器端模型更新之间取得动态平衡，从而缓解服务器域偏差；引入新的微调和重加权方法，利用客户端特征分布信息执行服务器端微调，从而使服务器端微调亦能强化客户端特征分布。总体而言，CroSSFed为标签在服务器端设置的实际应用铺平了道路，使专用数据中心能够利用精心标注的数据存储库为其他无标签数据但希望训练深度神经网络供内部使用的数据中心提供联邦训练服务。
**研究背景与问题**：联邦学习（Federated Learning, FL）允许多个客户端在不交换原始数据的情况下协作训练神经网络，经典方法如FedAvg通过本地训练与加权聚合实现，但面临客户端漂移问题，FedProx和SCAFFOLD分别通过近端项和校正项加以缓解。然而现有FL方法多面向全监督场景，且通常采取大型企业向众多小客户端分发任务的视角。现实中出现一种新兴任务形式：多个拥有大量无标签数据的大型企业（如工厂、医院）希望利用FL系统协作学习，即半监督联邦学习（Semi-Supervised Federated Learning, SSFL）。现有SSFL研究按标签与无标签数据放置假设分为三类，其中"标签在服务器端"（labels-at-server）场景与实际问题高度契合，即服务器拥有少量有标签数据而客户端仅有无标签数据。SemiFL和FedMatch虽针对该场景设计，但面向跨设备（cross-device）而非跨孤岛（cross-silo）设置，且假设服务器与客户端数据同分布。现实场景中不同数据中心数据分布几乎无法保证一致，因此需将SSFL扩展至跨域（cross-domain）设置。在此设置下，服务器端微调会产生服务器域偏差（server-domain bias），导致客户端伪标签质量下降和训练性能受损。本研究提出CroSSFed方法以解决该问题。
**主要技术方法**：研究人员提出CroSSFed，采用三阶段交替训练流程：服务器预热阶段（仅执行一次）、客户端本地训练阶段、服务器聚合-微调-重加权阶段（后两阶段循环交替）。核心机制包括原型引导服务器端微调（Prototype-Guided Server-side Finetuning）和本地-全局模型重加权（Local-Global Model Reweighting）。实验在三个模拟场景进行：CIFAR10/CINIC10（中等数据异构）、SVHN/MNIST（高度数据异构）、CAMELYON17（小型真实域偏移），固定10个客户端（CAMELYON17为4个）。数据集来源：CIFAR10、CINIC10、SVHN、MNIST和CAMELYON17（来自五家医疗机构的乳腺癌组织病理图像）。模型训练150个联邦轮次，服务器端每轮微调1至4个epoch，在NVIDIA Tesla V100 GPU上实现。
**研究结果**：
（1）探索性实验：通过条件微调机制验证了服务器域偏差假设，发现在中后期轮次中分发聚合本地模型比服务器微调模型获得更高的客户端分类精度，表明服务器端微调虽对学习特征空间到标签空间的映射至关重要，但在后期倾向于损害客户端域拟合。
（2）CroSSFed与SemiFL对比：在CIFAR10-CINIC10设置下，CroSSFed提升了客户端测试精度、伪标签精度和伪标签数量，且精度曲线更平滑；在SVHN-MNIST设置下，SemiFL无法应对大域差异，而CroSSFed仍能利用MNIST知识对SVHN进行分类，精度达66.1%（SemiFL仅7.31%）；在CAMELYON17设置下，CroSSFed仅获适度提升（89.8% vs 87.2%），因该数据集中服务器与客户端间及客户端彼此间均存在显著特征异构，削弱了服务器端指导能力。
（3）消融研究与敏感性分析：在CAMELYON17上，重加权机制是性能提升的主要驱动因素（89.7%），单独使用原型引导服务器端微调未能带来增益（84.6%）；完整CroSSFed框架虽未显著超越单独重加权机制，但原型信息对稳定客户端训练至关重要，可对齐各客户端至统一表示空间，使增加本地训练轮次时训练过程更稳定；原型更新系数超参数（0.1至0.9）对训练结果影响可忽略（差异仅0.01至0.02），故统一设为0.5。
**讨论与结论**：本研究提出CroSSFed方法用于标签在服务器端设置下的跨域半监督联邦学习。本地-全局模型重加权机制随训练进程逐步增加聚合模型对最终全局模型的贡献，缓解服务器端微调产生的服务器域偏差，显著提升异构场景下的模型训练精度。原型引导服务器端微调机制在客户端更新类原型、在服务器端聚合后利用聚合类原型影响从服务器数据提取的特征分布，从而弥合客户端与服务器域间差距，更有效抑制本地训练迭代次数增加导致的表示漂移，作为重加权机制的有力补充。实验结果表明：以CINIC10为有标签数据集、CIFAR10为无标签客户端数据集时，CroSSFed客户端分类精度达83.4%，较SOTA SemiFL的76.2%提升约7%；以MNIST为有标签数据集、SVHN为无标签客户端数据集时，CroSSFed达66.1%，显著优于SemiFL的7.31%；CAMELYON17数据集上分类精度提升2.6%。此外，CroSSFed将服务器端微调成本限制在总训练时间的约15%，保持高效率。其在数据异构下稳定训练且计算负担低的能力凸显了工业部署的实用性与可行性。
