《Sensors》：FedMCP++: Integrating Modular Expert Heads with Prototype-Guided Contrastive Distillation for Wireless Personalized Federated Learning
编辑推荐：
联邦学习（Federated Learning, FL）能够在分散客户端间协同训练模型并保护数据隐私，然而实际部署仍面临通信瓶颈、异构客户端数据下性能退化以及个性化不足等挑战。研究人员提出FedMCP++，一种模块化且通信高效的个性化FL框架，其中每个客户端拥
联邦学习（Federated Learning, FL）能够在分散客户端间协同训练模型并保护数据隐私，然而实际部署仍面临通信瓶颈、异构客户端数据下性能退化以及个性化不足等挑战。研究人员提出FedMCP++，一种模块化且通信高效的个性化FL框架，其中每个客户端拥有完整私有模型——轻量卷积骨干加私有专家头（expert head），协作完全通过知识交换而非参数交换实现。每轮中客户端仅共享在小型公共代理集（public proxy set）上计算的温控软化类预测与类级特征原型（prototype）；服务器将其融合为精度加权教师（accuracy-weighted teacher）并广播，客户端通过知识蒸馏（knowledge distillation, KD）、实例级对比目标与原型对齐来重新对齐自身模型。研究人员在六个视觉基准与10/20/30客户端设定下评估FedMCP++，结果表明其带来依赖数据集的权衡而非一致优势：在十八种配置中有十二种通过协同蒸馏较独立本地训练提升平均客户端精度，在每客户端数据极度稀缺时提升最明显（如20–30客户端下KMNIST最高+2.7个百分点、STL-10最高+2.4个百分点），而在所设预算下SVHN与CIFAR-10上独立训练集成仍最强。因不传输任何参数，每轮上行负载为固定42.6 KB的软化预测与原型消息，较全模型同步小9.9–12.8倍且与模型容量无关。这些特性使FedMCP++成为带宽与隐私受限的无线边缘及物联网（Internet of Things, IoT）环境中个性化FL的灵活框架。
研究背景方面，智能设备与传感器在医疗、金融与移动通信等场景的广泛部署使边缘去中心化数据激增，传统集中式机器学习受隐私法规与带宽限制难以适用。联邦学习（Federated Learning, FL）允许在不交换原始数据的前提下协同训练全局模型，但现实部署仍受统计异质性（即非独立同分布（non-IID）数据）、通信开销与个性化不足制约。现有个性化联邦学习（Personalized Federated Learning, PFL）方法如FedRep与FedPer采用共享骨干与私有头解耦，MOON依赖单一全局锚点做模型对比，FedCPG用全局类原型但缺对比与模块化头，均未能同时实现无参数通信、实例级对比对齐与类原型引导。为此，研究人员开展FedMCP++研究，将架构相同但参数私有的轻量卷积骨干、私有专家头、双投影模块解耦，协作仅借由公共代理集上的软化预测与类原型完成，服务器按代理集精度加权融合为教师并广播，客户端以四信号复合目标（本地交叉熵、logit级KL蒸馏、实例级InfoNCE对比、类原型MSE对齐）重对齐。结论显示：该方法在严重每客户端数据稀缺的灰度任务（KMNIST、Fashion-MNIST）与STL-10上显著提升客户端级精度，在SVHN与CIFAR-10上独立集成仍占优；因零参数上行，每轮固定42.6 KB负载较全模型同步降9.9–12.8倍，从结构上剔除梯度与参数重建攻击面，残差输出通道泄漏经成员推断协议评估；结果呈数据集依赖性而非一致优越，意义重大在于为无线边缘与IoT提供容量无关、可解释、可开关组件的个性化协同层。
关键技术方法上，研究人员在六个公开视觉基准（MNIST、Fashion-MNIST、KMNIST、SVHN、STL-10、CIFAR-10）上按均匀随机不重叠分片模拟10/20/30客户端，每客户端1本地epoch共15轮，SGD（momentum 0.9）优化小CNN骨干（灰度105.2K参数/1.12M FLOPs，RGB 136.2K/1.75M），私有专家头输出10类，双线性投影Ps:?64→?32、Pt:?10→?32；公共代理集为各测试集随机1000样本，仅用于产软化预测（温度T=1.5）与类均值原型；服务器端按代理精度ai加权得教师预测pT与原型PtT；客户端分三阶段更新——logit级T2·KL(pi‖pT)、代理mini-batch上InfoNCE对比（τ=1.5，正对为同样本教师投影，余为负）、单步α‖Pti?PtT‖22；评估含客户端级（CAcc、CF1）与软预测集成全局级（GAcc、GF1），并以独立Local与均匀平均EnsKD为知识基线与FedAvg/FedPer/FedRep参数平均基线对照，Dirichlet(β)偏斜作修订实验。
研究结果部分，第1节引言阐明FedMCP++相对MOON与FedCPG的三点唯一组合：骨干永不参数平均、代理集上原型引导对比蒸馏、零参数通信，并辨析与微调语言模型的FedMCP同名异法。第2节相关工作通过对比表指出经典FedAvg/FedProx缺个性化、MOON缺类级对齐、FedCPG缺对比与专家头、FedDF/DS-FL虽零参数但无精度加权与原型，确立本框架填补空白。第3节材料与方法给出系统概览六步工作流、客户端架构（骨干+私有专家头+双投影）、代理集软化预测与类原型采集、服务器精度加权聚合式(2)、三阶段蒸馏对齐与四信号损失式(4)、集成推断协议及隐私效率论述（无梯度无参数外传，残差输出通道受成员推断评估）。第4节结果中4.1据六个基准均匀分片说明异质性来自样本稀缺而非工程化标签偏移；4.2表6证所有对照共享同一骨干预算使差异归算法；4.3表7–9示10客户端时灰度内误差<0.5pp、RGB上Local/GAcc占优SVHN(0.7085)与CIFAR-10(0.5993)，20客户端时KMNIST的CAcc+2.20pp、STL-10的CAcc+2.39pp显现，30客户端时KMNIST+2.74pp但SVHN全局反超+2.84pp，原型对齐在KMNIST@20有益（+1.86pp CAcc）在STL-10@30有害（?3.24pp GAcc）；4.4表10–12 Uniform下FedAvg占17/18客户端精度最优、Dirichlet(β=0.3)下FedRep占16/18部署分布最优，FedMCP++以十分之一上行居共识—专化谱中段，且在SVHN偏斜下FedAvg崩至0.16时本框架最差客户端仍0.302。第5节讨论重申非一致优越而是机制依赖：稀缺灰度与STL-10靠软预测耦合提质，富样本RGB上弱教师共识拖累；对比项在噪声包络（复制行达0.73pp）内近中性，原型项双向越界；通信审计订正为每轮42.6 KB上下行、较RGB全同步12.8倍压缩；运行时较Local增12–52%而内存增<2%；100客户端实验续证KMNIST+2.2pp客户端精度、Fashion-MNIST为诚实例外。
讨论与结论翻译部分，研究人员总结FedMCP++并非基线压倒者，而是可按机制启停组件的零参数协同层：完整配置用于数据稀缺灰度任务、原型对齐在数据稀缺RGB关闭、每客户端样本充足时退化为独立本地训练；其固定且与模型容量无关的通行负载、私有专家头消除参数干扰失效模式、代理集限定披露面为可审计输出通道，这三点构成无线边缘部署核心资产；在Uniform分区下最坏客户端精度18配置中改善12、最佳最差间隙收窄13，Dirichlet(β=0.3)的STL-10@30最差客户端0.302对全局平均模型0.096证伪共识洗刷少数客户端；局限在于极端标签偏斜（β=0.1）下独立训练自身分布最优、RGB上亦超本框架集成全局，故该 regime 推荐回退独立训练，β=0.3为协作重现边界。论文发表于《Sensors》。
