联邦学习中骨干网络困惑度与最差客户端性能增益的相关性探索

《Electronics》：Does Perplexity Predict Protection? Backbone Selection for Worst-Client Fairness in Federated Parameter-Efficient Fine-Tuning

　　联邦学习允许多方在不汇集各自数据的情况下训练共享模型，但当某个客户端的数据量远少于其他方时，即使群体平均准确率看起来不错，该客户端最终也可能得不到良好服务。我们探讨在 LoRA 微调下，预训练骨干网络的选择是否会影响这一情况，以及联邦训练开始前目标文本上的逐词困惑度是否与哪个骨干网络对最不利客户端帮助更大相关联。我们在三个文本分类数据集和三个规模相近的骨干网络（RoBERTa、BERTweet、PubMedBERT）上开展了 313 次实验，每次均在相同数据划分下与任务特定基线进行比较。较低困惑度的骨干网络与表现最差客户端的更大增益相关（在九个数据集–骨干网络配对上的秩相关为 ?0.87；块置换检验 p = 0.028，这是该设计所能产生的最小值）。这是一个探索性发现：一个被排除在分析之外的骨干网络在方向上与之一致，但仅是一次前瞻性检查，而非验证。同样的排序也能同等良好地预测平均客户端准确率，因此该相关性并未分离出特定于最差客户端的效果；跨客户端离散度指标也与困惑度相关，但该系列中没有任何结果能通过多重性校正。同样地，在我们测试的设置和偏斜条件下，仅恢复了单独训练与完全联邦之间差距的 4–12%；其他个性化方法未被测试。移除聚合后益处消失，且客户端的更新与群体的更新接近正交，这与我们操作化的一个拟议解释不一致。实际上，任务文本样本上的逐词困惑度可作为骨干网络选择的临时入围信号。我们公开了代码、预测结果和完整结果，供他人测试。