迈向联邦长尾图学习：一种能量引导的双解耦方法

《Knowledge-Based Systems》：Towards Federated Long-Tailed Graph Learning: An energy-guided dual decoupling approach

　　

摘要

联邦图学习（Federated Graph Learning）通过在分布式客户端之间进行协作图建模来保留数据隐私。然而，现实世界中的数据类别通常呈现长尾分布。这种统计稀缺性从两个方面严重降低了性能：它使全局模型偏向于多数类别，并且通过异质性的、头部主导的邻域将少数节点结构隔离。现有方法尝试进行与拓扑无关的统计补偿，但在数据稀缺条件下往往失效。它们无法恢复尾部节点，反而会对邻近主导类别的结构噪声过拟合，导致表征退化。为解决这些局限性，我们提出FedEPD，一种基于双重解耦范式的框架，将拓扑净化与语义重校准分离开来。具体而言，FedEPD利用分布感知的狄利克雷能量剪枝来过滤空间异质性边。随后，它在安全聚合协议下，从净化后图上拓扑中心的节点中提取鲁棒的全局原型，并通过空间低通原型注入将这些原型整合到局部表征中。此外，两阶段交替优化策略在稳定多数类别决策边界的同时提高了少数类别的准确率。大量实验表明，FedEPD在各种长尾基准上取得了极具竞争力或更优越的性能，准确率绝对提升高达4.90%，Macro-F1提升高达5.66%。

引言

联邦学习（Federated Learning）建立了一种分布式范式，能够在多个客户端之间进行协作机器学习优化，同时保护本地数据隐私[1], [2]。将此去中心化框架扩展到复杂图数据，联邦图学习（FGL）实现了图神经网络（GNNs）的分布式训练。这种方法克服了协作图挖掘中的数据隔离困境，允许去中心化实体在不暴露原始拓扑或节点属性的情况下综合结构信息和关系依赖。

因此，FGL已成为需要数据治理的领域中最有前途且日益被采用的技术之一。近期的部署已将FGL整合到银行业风险管理[3]、用于协作药物发现的分子性质预测[4], [5]，以及保密医疗信息学[6]中。然而，传统FGL研究假设的统计均衡数据分布与实证条件不符。经验图网络遵循幂律分布，如图1所示，表现为多类长尾分布，其中少数多数类别主导拓扑结构，形成以数据稀缺为特征的尾部少数类别[7]。在去中心化的非独立同分布（Non-IID）环境中，这种统计不平衡被局部放大，导致数据稀疏，即单个客户端缺乏特定尾部类别的结构样本[8]。此外，这种统计稀缺的主要挑战因图异质性而加剧，这是一种经验网络中的结构条件，其中连接的节点具有不同的语义标签[9], [10]。因此，尾部节点的表征学习受到结构冲突的制约：这些节点不仅统计上稀少，而且其表征还会因来自相邻多数类别的异质性结构噪声而退化。

当前为不平衡学习设计的方法在解决联邦图环境中的多类长尾分布时表现出局限性[11]。现有解决方案的一个局限性在于，它们倾向于将长尾挑战视为统计稀缺问题，忽视了少数类别的结构缺陷。具体而言，空间过采样技术试图通过特征插值来合成尾部节点[12]，而在特征空间中操作的方法，如DULL[13]，通过潜在特征解耦和部分遗忘来解决不平衡。然而，在具有数据稀缺特征的孤立客户端子图中，在没有足够结构上下文的情况下合成或解耦少数特征会生成不一致的表征，从而改变潜在的拓扑流形。或者，联邦统计校准方法依赖于与类别稀缺度成比例的logit调整[8]。最近的联邦策略如FedYoYo[14]在此基础上进行了改进，通过将自主知识蒸馏与分布自适应logit调整相结合，以减少集中式和联邦式范式之间的性能差异。FedPuReL[15]通过执行到零样本锚点的正交梯度投影来强制执行类别平衡，并将个性化建模为logit空间残差。由于与拓扑无关，这些方法导致分类器盲目扩展尾部类别的决策边界。当这些少数节点与多数类别相邻时，这种扩展会导致对局部结构噪声的过拟合。

为了经验性地验证这种表征退化，我们在两个具有代表性的长尾图数据集上进行了初步研究：70类的CoraFull和167类的Amazon-Electronics数据集，两者均表现出高度倾斜的多类分布。我们采用标准的联邦设置，使用Louvain算法将10个客户端进行分区以模拟现实的结构非独立同分布（Non-IID）环境，全面评估了三个具有代表性的联邦基线：FedGTA[16]、CReFF[17]和FedLC[8]。通过将节点按类别频率划分为头部、中部和尾部类别，如图2所示，我们的实验结果揭示了一个性能差异：虽然标准模型在多数类别上保持高准确率，但在尾部类别上的性能会下降。我们将这种现象归因于现有模型无法协调统计频率与拓扑结构。具体而言，我们确定了当前联邦图学习的两个局限性：

局限性1. 统计-拓扑不对齐。现有的长尾学习方法主要从频率视角处理类别不平衡，未能将数据统计与潜在图拓扑对齐[11]。传统范式要么依赖特征合成来插值少数属性[12], [13]，要么通过logit扩展强制执行与类别稀缺度成比例的统计校准[8], [14]。然而，在长尾异质图环境中，这些与拓扑无关的修改迫使分类器盲目地将边界扩展到多数类别。在GNN邻域聚合期间，这种空间不对齐导致少数节点对相邻头部类别的结构噪声过拟合，扭曲共享决策边界并放大错误分类。

局限性2. 多数-少数优化冲突。尽管尾部类别补偿是必要的，但在端到端管道中耦合这些调整可能会加剧梯度干扰。在采用过采样或logit适应的统一框架中[8], [12], [14]，针对少数类别的损失修改通过单个共享的特征提取器进行反向传播。我们在第4.7节中的控制机制分析表明，头部和尾部类别的梯度经常负向对齐。当这些相互冲突的更新被传播到共享编码器时，它们会降低学习到的类簇的紧凑性并退化表征几何结构。这种优化困境迫使进行权衡：激进地提高尾部准确率可能会破坏已经为占主导地位的多数类别建立的判别性类簇，从而无法实现统一性能提升。

方法。为了解决耦合的拓扑异质性和类别不平衡问题，我们提出联邦能量剪枝与解耦（Federated Energy Pruning and Decoupling，FedEPD），该系统将空间拓扑净化与语义校准隔离开来。在第一阶段，在GNN训练之前，FedEPD使用度归一化特征距离量化局部狄利克雷能量，并通过动态变异系数阈值剪枝高差异异质性边，有效地抑制头部类别特征对尾部邻域的侵入。在第二阶段，FedEPD引入架构和表征解耦来缓解多数-少数梯度冲突。具体而言，两阶段交替优化在图编码器冻结以保护表征几何结构的同时仅细化分类器参数，而在净化拓扑上通过迭代个性化PageRank识别的鲁棒全局原型，在安全聚合协议下聚合后，仅注入到低频表征组件中。最后，同源性门控的拓扑感知logit调整在不扭曲主导多数类簇的情况下重新校准少数边界。

总之，本文的主要贡献总结如下：

新视角。我们将联邦长尾图学习的关注点从样本稀缺转移到邻域聚合过程中的结构干扰，揭示了与拓扑无关的数值调整如何在异质性环境中退化少数表征。

新方法。我们提出FedEPD，一个由双重解耦范式驱动的框架，系统地协调空间拓扑净化和语义模型校准以缓解优化冲突，同时通过安全原型聚合严格保护客户端隐私。

SOTA性能。在六个真实世界基准上的大量实验表明，FedEPD始终优于当前最先进的基线，准确率提升高达4.90%，Macro-F1提升高达5.66%，尾部类别准确率提升高达11.94%。

章节片段

符号与问题形式化

设G=(V,E,X,Y)表示一个无向全局图，其中V是N个节点的集合，E表示具有邻接矩阵A∈{0,1}^{N×N}的边。对于任何节点vi∈V，其拓扑邻域记为Ni={vj∈V∣(vi,vj)∈E}。X∈R^{N×d}是节点特征矩阵，Y∈{0,1}^{N×C}表示C个类别上的one-hot标签矩阵。在一个标准的联邦子图系统中，有K个客户端，全局图被划分为K个分布式子图{G1,G2,…,GK}。对于客户端k，其局部子图标记为

方法论

为了解决统计与拓扑之间的不对齐以及多数类别和少数类别之间的优化冲突，我们提出了FedEPD框架。与依赖与拓扑无关的数值补偿的方法不同，FedEPD通过双重解耦范式重新定义了长尾挑战，将拓扑净化与语义重校准隔离开来。该框架通过两阶段管道运行。在第一阶段，分布感知的狄利克雷能量剪枝

实验

为了评估FedEPD框架的有效性和鲁棒性，所有实证评估都在OpenFGL[33]框架内实现。这些实验解决了以下研究问题：Q1：FedEPD在各种图拓扑下是否表现出优于现有基线的性能？Q2：在自然长尾分布下，FedEPD如何在牺牲多数类别性能的情况下恢复尾部类别？Q3：每个模块对性能的贡献如何？

结论

在本文中，我们解决了联邦图学习（FGL）中长尾分类的关键挑战，在这种挑战中，结构缺陷和异质性噪声在邻域聚合期间严重退化少数表征。为了解决这个问题，我们提出了FedEPD，一个能量引导的双重解耦框架，严格地将拓扑净化与语义重校准隔离开来。具体而言，FedEPD采用非参数狄利克雷能量剪枝来过滤异质性边

作者贡献声明

Lianshuai Guo：撰写—初稿、软件、方法论、调查、形式分析、数据整理、概念化。
Zhongzheng Yuan：撰写—审阅与编辑、软件。
Xunkai Li：撰写—审阅与编辑、可视化、监督、方法论。
Meixia Qu：监督。
Wenyu Wang：监督。

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系，这些利益或关系可能影响本文所述的工作。

致谢

本工作由中国深圳市基础研究项目资助，基金编号：JCYJ20230807094104009。

Lianshuai Guo|Zhongzheng Yuan|Xunkai Li|Meixia Qu|Wenyu Wang