用于跨社区链接预测的训练条件修复的渐进多分支学习方法

《Neurocomputing》：Progressive multi-branch learning for training-condition repair in cross-community link prediction

　　梁晨|郭聪浩|胡俊阳 中国苏州苏州大学 摘要 在推荐系统与知识发现等现实世界图应用中，稀疏的跨社区交互起着关键作用。对这类交互进行建模有助于捕捉全局连通性并支持可靠推理。然而，稀疏的社区间连通性会通过限制监督数据、阻碍结构传播以及削弱特征级区分能力来影响训练过程，从而导致不可靠的跨社区预测。为解决这一问题，我们提出了一种渐进式多分支框架，用于修复跨社区链接预测中扭曲的训练条件。该框架通过增加跨社区伪边来增强监督信号，从而丰富稀疏的训练数据；同时通过选择性拓扑注入来扩展传播范围，提高跨社区的可访问性并促进更有效的信息流动。在拥有更丰富的监督数据和更好的传播条件的基础上，该框架还通过特征扰动进一步稳定区分能力，减少对有偏局部线索的依赖，并通过统一的融合机制整合这些特征以进行最终预测。在多个真实世界数据集上的实验表明，该框架在保持整体性能的同时，显著提升了跨社区链接预测的效果。这些结果证明，所提出的框架为这一任务提供了有效且稳健的解决方案。引言 对异质群体之间的稀疏交互进行建模是许多现实世界图应用中的基本问题，包括推荐系统、社交网络分析以及知识发现。跨社区链接预测旨在捕捉具有强社区结构的图中的此类交互[1]、[2]、[3]。在许多现实世界网络中，大多数边都存在于同一社区内，而跨社区的边虽然稀少，但对于模拟全局连通性和信息流却至关重要。尽管现有方法能取得良好的整体性能，但在处理跨社区链接时往往表现不佳。这种局限性并非主要源于模型容量不足，而是由于稀疏的社区间连通性会限制监督数据的获取、阻碍结构传播，并削弱特征级的区分能力。近期关于消息传递限制的研究也表明，图拓扑结构可能会妨碍长距离信息的传播，使得图神经网络难以处理那些依赖于远距离交互的任务[4]。因此，即使模型在单个社区内的表现良好，它们也难以实现跨社区的一般化。这种困难并非仅仅由类别不平衡造成，而是源于与社区结构相关的学习条件。如图1所示，跨社区的正面链接极为罕见，而局部邻域和消息传递场景则主要由社区内部结构主导。因此，用于跨社区预测的训练数据既有限又存在结构偏差，无法为学习能够连接不同社区的可迁移关系模式提供足够依据。此前关于考虑社区因素的动态网络链接预测的研究也表明，社区结构会影响已观察到的边的分布以及预测缺失边的难度[5]、[6]。因此，跨社区链接预测应被视为一个受结构约束的学习问题，其中破碎的连通性和有偏的局部环境共同导致了不可靠的跨社区泛化能力。现有研究从不同角度尝试解决这一挑战。一些研究将社区信息纳入链接预测流程，例如将社区检测与图神经网络预测器相结合，或利用考虑社区因素的信号来优化图结构[7]、[8]。另一些研究则着眼于有向或动态场景，其中结构不对称性和时间演化要求采用适应性更强的特征或架构，比如用于有向图的局部-全局融合设计，以及用于连续时间动态链接预测的HG-Former[9]、[10]、[11]。最近的研究还表明，显式地对更高阶结构进行建模可以提升链接预测的性能，使其超越单纯的局部传播机制[12]、[13]。然而，这些方法通常只是单独加强监督、传播或结构建模，未能对结构稀疏性导致的跨社区预测失败给出统一的解释。跨社区链接预测更恰当的描述应是存在多重训练条件缺陷的问题。这里的训练条件指的是三个核心学习要素：监督数据的获取程度、传播的可行性以及区分能力的稳定性。稀疏的跨社区连通性会同时降低监督数据的获取程度、限制传播的可行性，并使区分能力倾向于依赖不稳定的局部线索，而非可迁移的关系证据。从这个视角出发，要提升跨社区预测性能，就需要协同修复这些相互关联的训练条件，而非仅单独强化各个组成部分。基于这一思路，我们提出了一种与模型无关的渐进式训练条件修复框架，用于跨社区链接预测。该框架通过添加具有结构支撑的伪边来增强稀疏的跨社区监督数据，通过选择性结构注入来提高传播的可行性，以及通过特征扰动来稳定区分能力，从而解决这三种相互关联的缺陷。这些经过修复的特征会被不同的分支编码后整合起来，用于最终预测。在多个真实世界数据集及常见的图神经网络架构上的实验表明，该策略能够持续提升跨社区链接预测的效果。我们的贡献可总结如下：•我们从多重训练条件缺陷的角度，为跨社区链接预测提供了统一的分析视角。•我们提出了一种与模型无关的渐进式训练条件修复框架，通过协同修复监督、传播和区分能力来应对这些缺陷。•在多个真实世界数据集及常见图神经网络架构上的大量实验表明，该框架能够在保持优秀的社区内预测性能和整体性能的同时，显著提升跨社区链接预测的效果。章节节选 通用链接预测 链接预测旨在根据已观察到的图结构和节点信息来推断缺失或未来的边。最新综述表明，这一领域涵盖了多种图结构及不同的方法体系，包括启发式方法、图表示学习以及基于图神经网络的方法[2]、[14]、[15]、[16]、[17]、[18]。由于简单性和可解释性，基于经典拓扑结构的方法在稀疏场景下依然具有竞争力，而近期研究则进一步探讨了如何…… 图表示 设 为一个无向图，其中 为节点集， 为边集。每个节点 都对应一个维度为 的特征向量，所有节点的特征则被整合成一个特征矩阵。图结构 和节点特征 共同作为表示学习与链接预测的输入。具体而言，图神经网络编码器 将 映射为节点嵌入：其中 为嵌入维度， 为节点 的表示形式。社区划分与边类型 现实世界中的图往往具有明显的社区结构…… 数据集 我们在三个涵盖用户-用户关系和用户-物品关系的真实世界图上测试了我们的方法：DBLP（学术合著网络）、Epinions（用户信任网络）以及LastFM（用户-音乐互动网络）。这些数据集的统计信息见表1。这三个数据集都具有明显的社区结构，且跨社区链接较为稀少，因此非常适合用于评估跨社区链接预测的性能。社区检测与数据分割 我们采用Louvain算法[7]将每个图划分为不同的社区。结论 本研究认为，跨社区链接预测性能差距的产生，与其说是由于模型容量不足，不如说是由于结构稀疏性导致的训练条件扭曲。当跨社区监督数据稀缺、社区间的信息传播受到限制，且预测依赖于不稳定的特征级简化方法时，即便是非常强大的图神经网络，也可能无法在密集的社区内部结构之外实现可靠的泛化。为解决这一挑战，我们提出了一种渐进式的训练条件修复框架……CRediT作者贡献声明 梁晨：撰写——初稿、验证、软件、方法论、正式分析、数据整理。郭聪浩：撰写——初稿、资源准备、方法论、研究实施。胡俊阳：撰写——初稿、可视化、验证。利益冲突声明 作者声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。梁晨博士于2023年从华东师范大学数据科学与工程学院获得软件工程博士学位。他目前是苏州大学未来科学与工程学院的讲师兼硕士生导师，同时担任苏州大学与吴江区大数据公司合作的“大数据应用技术联合创新实验室”的副主任。他的研究方向为……