缓解有符号图学习中的极性偏差

《Neurocomputing》：Mitigating degree polarity bias in signed graph learning

　　方贺|薛瑞珍|盛文飞|曹昌|赵凯奇|王茂军|张泽宇
中国湖北省武汉市华中农业大学湖北洪山实验室，作物遗传改良国家重点实验室，邮编430070

摘要
在现实世界的带符号网络中，不同度数的节点往往面临严重不平衡的正负关系，从而导致表示学习过程中语义上下文的不均衡。我们的实证分析表明，这种结构不对称性会系统性地使低度数节点处于不利地位，进而导致带符号图神经网络中出现明显的公平性差距。我们将这种现象称为“度-极性偏差”。为解决这一问题，我们提出了DPFairFormer，这是一种旨在提升代表性不足节点语义曝光度的度-极性公平框架。DPFairFormer引入了具有极性感知的结构编码以及极性感知的头部到尾部上下文传递机制，以补充缺失的关系信息的同时保留极性语义。我们还通过基于熵的分析展示了标准框架如何放大语义差异，而具有极性感知的上下文增强机制则可以缓解这一效应。在五个带符号网络上的实验表明，该方法最多可减少58%的公平性差距，同时保持较高的AUC/F1值，这一结果还得到了相关性分析、身份保留性分析和可扩展性分析的支持。

引言
在过去十年中，图学习，尤其是图神经网络，受到了广泛关注。GNN通常采用消息传递机制，即图中的每个节点通过聚合邻居的信息来生成自身的综合表示。尽管这种方法十分有效，但许多研究指出，GNN模型往往存在公平性问题，这些问题主要源于节点的同质性（即具有相同属性的节点更容易相互连接）以及拓扑结构，而这些问题还会因聚合机制而进一步加剧[1] [2] [3] [4] [5]。由于GNN无法完全覆盖某些场景，如社交网络，带符号图神经网络便将GNN扩展到包含正负边的带符号图中，其中极性用于编码具有语义意义的关联，如信任与对立。这种额外的复杂性引出了一个自然的问题：既然图数据中存在偏差问题，且这些问题在GNN的聚合过程中会被进一步放大，那么具有更丰富语义和边极性的SGNN是否也会出现类似的偏差？

我们首先可以设想现实世界中的带符号网络可能出现的偏差类型。如图1所示，情况如下：(A) 社交网络往往存在两极分化：在同一个群体内部，人们通常形成密集的正向联系（如共识、支持），而不同群体之间的联系则较少且多为负面（如分歧、不信任）[6] [7]。这种模式出现在美国国会议员的投票行为或Twitter上的政治辩论中[8]。(B) 在遗传学领域的AI应用中，偏向某一极性的关联可能导致模型过度强调正向特征相关性，从而忽略重要的负向调控关系。在棉花作物中，GhHOX3基因就表现出与多种特征的正面关联，这可能导致模型在判断其实际对生长速率的负向调控作用时出现误解。(C) 在推荐系统中，如果虚假的正向评价大量存在，可能会掩盖少量的真实负向评价，从而使买家误购有缺陷的商品。

这些例子表明，带符号网络存在的偏差形式比无符号图更为复杂，这促使我们需要对SGNN中的“偏差”进行系统性的描述。在GNN中，偏差问题通常源于性别或种族等敏感属性[4] [10]。同质性问题是指具有相同敏感属性的节点更有可能相互连接，从而导致敏感属性偏差。然而，在带符号图中由于不存在同质性，这类预先定义的敏感属性通常无关紧要。因此，我们转而讨论拓扑结构偏差。在无符号图中，结构偏差往往与度数差异有关。度数较高的节点通过聚合能获取更多信息，而低度数节点则代表性不足[5] [11]。在带符号图中，由于边缘的极性存在，情况变得更加复杂。例如，一个高度数节点可能拥有大量的正向连接，但缺乏足够的负向连接，而低度数节点则可能以负向连接为主。也就是说，偏差既源于节点度数的差异，也源于连接极性分布的不均。如图2所示，我们在多个带符号数据集中观察到正向边占主导地位，正负边比例严重失衡。同时，两个子图中都存在低度数节点的长尾分布。随着SGNN层数的增加，我们进一步观察到了不同类别之间的差距。结果表明，SGNN中的偏差源于度数差异与极性失衡的相互作用。特别是在低度数节点中，增加负向边数量能够改善情况，这说明负向信息虽然占比低但非常重要。随着层数加深，正向信号占据主导，这表明聚合机制主要有利于高度数节点，而削弱了低度数节点的影响。因此，增加模型深度会放大度-极性偏差，即DP-Bias。

这些发现表明，SGNN确实存在偏差问题。忽视这一偏差可能会导致模型优先考虑那些连接紧密的节点，而错误地表现那些结构角色并非由简单邻域模式决定的、但至关重要的稀疏节点。这类扭曲可能导致不公平或具有误导性的预测，这就凸显了在带符号图中进行公平性感知的表示学习的必要性。为了实现公平的学习，每个节点都应该能够平等且充分地获取正负两种类型的上下文。

总之，在追求更高公平性的过程中，我们面临着带符号图特有的两大挑战，它们分别源自数据结构和模型架构：
•与极性失衡交织的度数偏差：节点可能缺乏足够的正向、负向或两类关系信息，从而导致其表示能力低于那些拥有更丰富上下文的节点。此外，目前尚未建立针对SGNN的定量公平性指标。
•聚合机制导致的偏差放大：SGNN的聚合机制可能会加剧DP偏差。最初，高度数节点获取的信息多于低度数节点，负向信息则暴露不足。后续层通过不同的节点间交互，可能会进一步扩大这些信息差异。此外，浅层聚合往往限制了低度数节点获取远程和全局信息的能力，尤其是在负向信息方面。

基于上述动机和挑战，为解决第一个问题，我们正式定义了SGNN中的公平性指标，称之为DP Fairness。在链接符号预测任务中，我们的指标用于衡量每个节点在其最终嵌入中保留两种极性信息的程度。因此，我们的主要优化目标是最小化节点间的信息差异。为进一步解释为什么SGNN本质上存在DP偏差，我们提供了理论分析，说明了度数差异和极性失衡如何共同影响消息聚合过程。

为解决第二个问题，我们提出了DPFairFormer，这是一种经过改进的去偏Transformer模型，专为在带符号图中实现度-极性公平而设计。它结合了一个轻量级的Transformer结构以及两种具有极性感知的编码方式：极性感知路径编码（PAPE），通过聚合两个节点之间多条路径的极性一致性来捕捉路径级别的符号语义；以及极性感知度数编码（PADE），用于描述与极性相关的度数信息。这些编码将具有极性感知的上下文注入注意力机制，让每个节点都有更平等的机会获取多样化的信息。此外，解决DP偏差不仅需要实现节点间信息获取的平等，还需要弥补结构上处于劣势的节点的代表性不足。为此，我们设计了头部到尾部的传输机制，为低度数节点补充缺失的极性上下文，从而使表示学习与公平性目标相一致。

在性能评估方面，我们采用了标准的AUC和F1分数。更重要的是，为了在DP偏差存在的情况下评估公平性，我们引入了一种新的公平性指标，用于将我们的模型与基线模型进行比较。在真实世界数据集上的大量实验表明，我们的方法能够在保持良好模型性能的同时，显著缩小DP公平性差距。代码地址为https://github.com/GloFori/DPFairFormer。

综上所述，我们的贡献如下：
•我们首次对SGNN中的度-极性偏差进行了深入研究，给出了该问题的正式定义，并从理论上分析了结构不对称性如何影响公平性。
•我们提出了DPFairFormer，这是一种结合了基于Transformer的极性感知编码器与头部到尾部传输机制的去偏框架，旨在实现节点间极性曝光度的均衡。
•我们为带符号图设计了新的公平性指标，并在五个基准数据集上验证了该方法的有效性，结果显示该方法能够在不牺牲AUC或F1性能的前提下持续缩小公平性差距。

相关工作
近期的研究已将图公平性从基于属性的群体公平性拓展到考虑结构特征和分布特征的公平性。基于公平性的图学习基准测试为比较不同图任务中的公平性约束、敏感属性处理方式以及效用与公平性的权衡提供了系统的评估方案。像FnRGNN[12]这样的分布感知方法进一步表明，公平性差距可能源于表示分布的不匹配，而非分类器本身的问题。

形式化定义
设为一个带符号网络，其中为节点集合，分别为正边和负边集合，且。设为嵌入维度，为节点的初始特征，其中为节点的表示。在Transformer编码器中，和分别表示线性投影的输入和输出维度。定义的邻居集为，其中和分别是其正向邻居和负向邻居。我们遵循传统的链接符号预测方法。

为何SGNN会放大度-极性偏差
现实世界中的带符号网络往往存在结构失衡现象，即正向连接占主导，而负向连接则较为稀少。因此，不同节点获取负向信息的机会不均。尽管SGNN旨在根据平衡理论同时建模正负两种上下文，但其聚合机制可能会无意中加剧这种不对称性。那些连接较多的节点能够接收到更多语义多样的信号，而那些邻居较少或仅为单向连接的节点则不然。

方法论
受理论分析的启发，我们设计了DPFairFormer。整个框架如图3所示，由三个重要组成部分构成：(1)极性感知编码模块，(2)通过头部到尾部机制实现的极性感知上下文传递，以及(3)邻居补全与更新机制。本节将对每个组件进行详细阐述。

实验
在本节中，我们将全面评估和分析所提出方法的有效性。我们的实验旨在回答以下研究问题：
RQ1：在带符号链接预测任务中，DPFairFormer与常见的图学习基线模型以及最先进的无符号图结构公平性方法相比表现如何？
RQ2：在表示层面上的度-极性差异是否与预测层面的公平性差距存在实证关联？
RQ3：所提出的方法能在多大程度上解决这一问题？

结论
在这项工作中，我们系统地研究了带符号图学习中固有的度-极性偏差问题。我们正式定义了这一结构偏差问题，并证明传统的SGNN框架会无意中扩大头部节点与尾部节点之间的差异。为解决这一问题，我们提出了DPFairFormer，这是一种整合了极性感知编码、头部到尾部信息传递以及公平性正则化的架构。我们的框架能够有效地为那些连接较少的节点重建缺失的极性上下文。

CRediT作者贡献说明
方贺：写作——审稿与编辑，写作——初稿撰写，可视化，验证，项目管理，方法论，研究，形式化分析，数据整理，概念构建。薛瑞珍：写作——审稿与编辑，写作——初稿撰写，可视化，方法论，概念构建。盛文飞：验证，软件开发。曹昌：验证，方法论。赵凯奇：写作——审稿与编辑，验证。王茂军：监督，资金获取。张泽宇：写作——利益冲突声明。

作者声明他们没有已知的、可能影响本文研究的财务利益或个人关系。方贺目前在中国武汉的华中农业大学攻读计算机科学技术硕士学位，她的研究主要集中在可信深度学习、图神经网络以及科学领域的AI应用方面。