FedSHA：基于结构感知的异构性适配技术，用于个性化联邦图节点分类

《Neurocomputing》：FedSHA: Structure-aware heterogeneity adaptation for personalized federated graph node classification

　　摘要：联邦图学习（FGL）能够在不集中原始节点特征、标签或本地图结构的情况下，基于分布式图数据训练图神经网络。在基于子图的联邦节点分类中，每个客户端仅能观察到原始图的局部视图。缺失的跨客户端邻域信息可能导致本地消息传递出现偏差，而非独立同分布的标签分布则会使不同客户端的本地目标产生差异，进而引发客户端漂移。这两个问题相互关联，因为在不完整的本地图上进行的个性化处理仍可能依赖于有偏的表示和梯度。本文提出了FedSHA，这是一种具备结构感知能力的异构性适配方法，用于实现个性化的联邦图节点分类。FedSHA首先进行一次性的结构增强，以弥补缺失的跨客户端邻域信息，并将增强后的上下文缓存于本地。随后它采用自适应的本地聚合方式，让每个客户端根据自身本地目标将全局模型与之前的本地模型相结合。这样一来，FedSHA是在经过增强的本地图视图上进行个性化处理，而非直接在原始的不完整子图上操作。在Cora、Citeseer、Amazon-Computers以及ogbn-arxiv数据集上的实验，结合扩展的基线方法和机制分析表明，FedSHA在大多数测试场景下都能获得具有竞争力的加权准确率，尤其是在标签分布严重偏斜的情况下。消融实验进一步证明，一次性结构增强和自适应本地聚合都对最终性能有所贡献。相关代码可在https://github.com/ZIyang-LU/FedSHA获取。

引言：图神经网络（GNN）通过递归消息传递和邻域聚合来学习节点表示[1]、[2]。图注意力、图同构、选择性传播以及逐跳传播机制则进一步优化了节点表示学习过程中邻域信息的权重分配、选择方式或转换过程[3]、[4]、[5]、[6]、[7]。GNN已被广泛应用于各种关系型数据，包括引文网络、推荐图和交通网络[8]、[9]。然而在许多实际场景中，图数据并非由单一机构存储，节点特征、标签以及本地边可能分散在不同的机构、平台或边缘设备中。由于隐私要求、数据所有权限制以及监管规定，直接将这些本地图收集到中央服务器往往不可行。联邦学习（FL）提供了一种无需将原始本地数据传输到服务器即可跨多个客户端训练模型的方法[10]、[11]、[12]、[13]。但非独立同分布数据仍是联邦学习面临的核心挑战之一，因为不同的客户端数据分布可能导致目标不一致、客户端漂移以及聚合结果不稳定[14]。当联邦学习应用于图结构数据时，所形成的联邦图学习场景与传统联邦学习存在差异——客户端不仅拥有独立的样本集合，还拥有本地子图，而这些子图中的节点仍可能与其它客户端存储的节点存在结构上的依赖关系。这些跨客户端依赖关系给在隐私约束下的GNN消息传递带来了更多挑战[15]、[16]、[17]。图划分并不能消除拓扑依赖关系，当全局图被分割到不同客户端后，边界节点可能会失去部分跨客户端邻域，此时产生的本地消息传递方式会与完整图上的传播方式有所不同。因此，每个客户端都是在结构上不完整的本地子图上开展训练。这种划分方式会导致统计层面的异质性和结构层面的异质性。统计异质性源于非独立同分布的标签分布，这使得不同客户端的本地目标存在差异，可能在联邦优化过程中引发客户端漂移[18]、[19]、[20]；而结构异质性则是由缺失的跨客户端邻域造成的，对于边界节点而言，从本地子图聚合得到的消息可能与完整图中的消息不同，从而导致有偏的节点表示[21]、[22]、[23]、[24]。因此，联邦节点分类需要同时考虑由标签差异导致的目标不一致问题以及由图划分带来的传播偏差问题。现有的联邦图学习和个性化联邦学习方法仅解决了这一耦合问题的一部分。FedGCN通过在训练前传递跨客户端邻域信息来减少结构不完整性，从而缓解因缺失邻居而产生的传播偏差[22]，但其后续的训练阶段仍依赖统一的全球聚合策略。当客户端标签分布极度偏斜时，单一的全球更新方向可能无法满足所有客户的本地需求。像FedALA这类个性化联邦学习方法则从优化角度入手，通过自适应地将全局模型与之前的本地模型相结合来解决这一问题[25]，这类方法虽能在统计异质性环境下提升本地适应性，但它们主要是为传统联邦学习场景设计的，并未明确考虑图划分带来的结构信息损失。在基于子图的联邦图学习中，若直接在不完整的本地子图上进行个性化处理，所使用的本地损失函数和梯度可能已经受到缺失跨客户端邻域的影响，因此个性化步骤仍可能继承部分由图划分导致的传播偏差，从而限制其在联邦节点分类中的效果。图1展示了所研究的非独立同分布联邦图场景。FedSHA首先通过补偿缺失的跨客户端邻域信息来增强本地图视图，然后再对增强后的视图进行个性化聚合。这样的处理顺序十分重要，因为若在原始的不完整子图上进行个性化处理，依然会依赖于有偏的本地表示和梯度。本文的主要贡献如下：•我们提出了FedSHA，这是一种具备结构感知能力的联邦节点分类框架，能够分阶段解决结构异质性和统计异质性问题。•我们将一次性结构增强与自适应本地聚合相结合，使得用于学习针对不同客户端的融合权重的本地损失函数和梯度是在增强后的图上而非原始不完整图上计算的，结构上下文只需构建一次，便可在后续的迭代联邦训练中重复使用。•我们在Cora、Citeseer、Amazon-Computers以及ogbn-arxiv数据集上对FedSHA进行了评估，同时使用了多种针对图数据的扩展联邦学习基线方法。•我们还进一步分析了边界节点的行为特征、缺失邻居的影响、结果的统计显著性、运行时间和结构增强带来的开销、超参数敏感性以及实际应用中的限制。

相关研究：联邦图学习旨在在不集中原始节点特征、标签或本地图结构的情况下，基于分布式图数据训练图模型[15]、[16]。与传统联邦学习相比，联邦图学习还需要考虑图结构的划分问题。一旦图被分割到不同客户端，不仅会影响每个客户端上的标签分布，还会改变GNN消息传递中的结构依赖关系。最近的综述文章进一步探讨了这一领域的相关内容。

问题定义：我们考虑在分布式图数据上开展联邦节点分类任务。设全局带属性图为G=(V,E,A)，其中V是节点集合，E是边集合，A是节点特征矩阵，y是节点标签，其中部分标签可用于训练，w则是目标函数。我们的目标是在不集中原始节点特征、标签或本地图结构的前提下，通过分布式本地子图协作训练图神经网络模型。

FedSHA概述：我们提出了FedSHA，这是一种具备结构感知能力的异构性适配框架，用于联邦节点分类。如图2所示，FedSHA包含两个连续的阶段：在联邦优化之前进行一次性结构增强，然后在增强后的本地图视图上开展个性化的联邦训练。第一阶段用于弥补因图划分而缺失的跨客户端邻域信息；第二阶段则采用自适应的本地聚合方式，以降低在非独立同分布数据环境下的客户端漂移问题。

实验设置：数据集方面，我们在四个用于半监督节点分类的公共图数据集上对FedSHA进行了评估（见表1），这四个数据集分别是Cora、Citeseer、Amazon-Computers和ogbn-arxiv。Cora和Citeseer属于Planetoid基准测试中的引文网络，这些数据集中的节点代表文档，边代表引文链接[56]；Amazon-Computers是基于亚马逊共同购买数据构建的，其中的节点代表产品，边则表示产品之间的共同购买关系[57]；ogbn-arxiv则是一个大规模的引文网络数据集。

结论与未来工作：本文提出了FedSHA，用于在存在结构异质性和统计异质性的情况下实现个性化的联邦图节点分类。其核心思路是将结构补偿置于个性化处理之前：FedSHA首先进行一次性结构增强，以弥补缺失的跨客户端邻域信息，随后再通过自适应的本地聚合方式，为每个客户端调整全局模型与本地模型的融合方式。在Cora、CiteSeer、Amazon-Computers和ogbn-arxiv数据集上的实验结果表明……

CRediT作者贡献声明：吕子阳负责论文的初稿撰写、软件开发、方法设计以及概念构思；李轩负责验证工作、方法设计、形式化分析以及概念构思；张帅负责可视化处理、方法设计以及数据整理工作；何博文负责方法设计、研究分析以及概念构思；林海峰负责验证工作、资源协调以及研究分析；夏敏负责论文的审阅与编辑、项目管理、方法设计以及概念构思；郑博超负责验证工作、监督指导、研究分析以及概念构思。

利益冲突声明：作者声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。吕子阳于2021年在中国沈阳的沈阳工业大学获得自动化专业学士学位，目前他正在中国南京的南京信息工程大学攻读控制工程专业硕士学位，他的研究兴趣包括联邦学习、图神经网络以及深度学习应用领域。

吕子阳|李轩|张帅|何博文|林海峰|夏敏|郑博超
中国南京210044，南京信息工程大学，大气环境与装备技术协同创新中心