面向无样本持续图学习的实例-原型亲和性学习

《Pattern Recognition》：Instance-Prototype Affinity Learning for Non-Exemplar Continual Graph Learning

　　

• 实证和理论研究表明，原型对比学习（PCL）比原型回放（PR）引发的特征漂移更少。
• 我们提出了一种基于PCL的新型非范例持续图学习（NECGL）范式，有效地平衡了稳定性与可塑性。
• 我们将图拓扑结构融入原型计算中，以提升学习能力。
• 我们提出了一种灵活的蒸馏方法，在保留模型可塑性的同时缓解了灾难性遗忘。
• 我们在PCL中引入难例，以提高类间可分性。

引言
作为图数据分析的有力范式，图神经网络（GNN）近年来受到了学术界的广泛关注。然而，现有研究大多遵循静态数据模式，即完整训练集在训练前即可用，模型参数在初始优化后不再改变。而现实世界本质上具有动态特性，信息不断产生，例如社交媒体上的用户交互或领域特定论文的传播，这对静态建模范式提出了重大挑战。持续图学习旨在吸收新知识的同时保留已获得的表示。然而，任务之间的分布差异常常导致灾难性遗忘，表现为先前任务上的性能明显下降。基于回放的方法通过回顾性地从先前任务中纳入精选示例子集来缓解这一挑战。然而，由于每个任务的代表性示例都保留在内存缓冲区中，随着任务序列的延长，内存占用不断攀升，可能导致内存爆炸。此外，在隐私敏感的场景下，原始示例的访问可能受到限制。

为了克服上述挑战，我们研究了非范例持续图学习（NECGL），这是一种更为严格的范式，禁止在新任务出现时访问先前的原始示例。在此背景下，灾难性遗忘被进一步加剧。现有的非范例方法通过回顾历史原型表示——即编码器隐空间中先前类别的嵌入——来克服这一限制，即通过原型回放（PR）实现。然而，模型参数的连续更新使得早期类别的原型逐渐过时，导致特征漂移——体现在其在不断演变的特征空间中的错位。大多数现有方法在训练后通过特征漂移补偿技术修正先前类别的原型，或在线应用知识蒸馏来调控特征空间的演变。虽然特征漂移仍然是NECGL中固有的挑战，但实证证据表明，原型对比学习（PCL）比传统的PR引发的漂移更少。如图1所示，我们可视化了CS-CL和CoraFull-CL数据集上基础任务样本的特征漂移程度。传统PR使用交叉熵目标进行训练，利用先前类别的原型进行分类。随着模型参数的演变，原型错位加剧，导致更大的预测误差和更严重的特征漂移。PCL鼓励学习实例与原型之间的关联结构，明确区分先前遇到的类别与新的类别，从而减轻任务干扰。为阐明这一现象，我们引入Kullback–Leibler（KL）散度来量化图2中的特征漂移，并在附录B中提供了正式的理论分析。在每个增量学习阶段之后，利用公式(B.3)来评估基础任务样本上的特征漂移。随着持续学习的展开，可以观察到特征空间经历了逐渐加剧的漂移。PCL在缓解这一方面始终表现出优于PR的效能。与图对比学习不同，PCL内在地在实例与类别对齐的原型之间建立正样本对，在实例与类间原型之间建立负样本对，无需预定义的增强策略，如边扰动或属性掩蔽。受此观察启发，我们提出了一种基于PCL的新型NECGL范式。

尽管现有的非范例方法通过PR和知识蒸馏维持模型稳定性，但仍存在明显局限。首先，大多数现有工作通过平均特征表示来推导原型，但这种各向同性方式忽略了节点的重要性差异。对于图结构数据而言，节点的重要性受其独特拓扑结构和邻居影响的影响。其次，特征蒸馏因其即插即用的特性而被广泛应用于非范例方法中。然而，近期研究表明其对特征空间施加了过度约束，抑制了模型的可塑性。第三，单一原型往往不足以捕获一个类别的完整分布。在PCL的语境下，仅依赖单一类别原型可能导致类间歧义，从而加剧灾难性遗忘。

为了克服上述局限，我们提出了实例-原型亲和学习（IPAL），一种专为NECGL定制的新型框架。我们通过PageRank算法评估节点影响力，并生成拓扑集成高斯原型（TIGP），将类别分布引导至高影响力节点，以促进新知识的吸收。为对抗灾难性遗忘，我们提出了实例-原型亲和蒸馏（IPAD），对齐实例-原型关系以实现对特征空间更灵活的约束。值得注意的是，IPAD与PCL无缝集成，相较于特征蒸馏具有显著优势。此外，我们将决策边界感知（DBP）机制嵌入PCL中，通过排斥接近决策边界的实例来促进更清晰的类间区分。

本文的主要贡献如下：
• 我们首次从实证和理论上研究了PR与PCL在特征漂移方面的行为差异。基于PCL，我们进一步提出了IPAL，一种专为NECGL定制的新型范式，在稳定性与可塑性之间取得了有利的平衡。
• 我们利用PageRank算法生成更鲁棒的TIGP，将图拓扑结构融入原型计算中以增强学习能力。我们设计了IPAD，一种与PCL天然兼容的知识蒸馏方法，实现了更灵活的历史知识保留。我们将DBP机制纳入PCL目标函数，以实现更清晰的类间分离。
• 在四个节点分类基准数据集上的大量实验表明，我们提出的IPAL在非范例场景下优于现有最先进的方法。

持续图学习
持续图学习旨在吸收新知识同时防止GNN遗忘历史知识。先前的研究采用正则化、回放、参数隔离或其组合来缓解灾难性遗忘。基于正则化的方法通过量化关键参数的重要性来强化约束，或通过知识蒸馏对模型logits进行输出对齐来促进输出一致性。基于回放的方法存储先前任务中精心挑选的示例子集。

问题定义
本文探讨类增量学习（CIL）设置，其中GNN在任务序列 ??={???,???,…,??_N} 上连续优化，|??|=N+1。每个任务 ??_t 定义为半监督节点分类任务，其中 ??_t={??_t,?_t} 表示任务图，包含节点集 ??_t 和边集 ?_t。?_t 可通过二元邻接矩阵 A_t 表示，其中1表示存在边，0表示不存在。标签集由 ??_t 给出，且当 i≠j 时 ??_i∩??_j=?。在NECGL中……

方法论
图3概述了所提出IPAL的整体流程。基于PCL，我们设计了三个关键组件——拓扑集成高斯原型（TIGP）、实例-原型亲和蒸馏（IPAD）和决策边界感知（DBP）——每个组件都精心针对第一节中所述现有非范例方法的三个固有局限进行改进。以下是对各组件的详细分析。

实验设置
数据集。我们在四个节点分类基准数据集上评估IPAL：CS-CL、CoraFull-CL、Arxiv-CL和Reddit-CL。表1列出了四个基准数据集的统计信息。按照问题定义，每个数据集通过类顺序排列的按标签分层方法划分为基础任务 ??? 和一系列增量任务 {??_t}。图被分解为N+1个不相交的子图，每个子图专用于一个特定训练任务。

局限性
尽管我们的方法在非范例持续图学习中表现具有竞争力，但仍有若干局限需要进一步探索：(i) 包括我们方法在内的现有方法假设统一数据集，任务通过在单个图内进行基于类别的子图划分来模拟。然而，在涉及异构领域的真实场景中，显著的领域分布偏移可能损害关系蒸馏的效能，且跨领域泛化能力仍有待……

结论与未来工作
本文通过实证揭示了，PCL利用实例与原型之间的内在关系拓扑，相比传统的PR显著减弱了特征漂移。我们进一步提出了基于PCL的新型NECGL范式IPAL。具体而言，我们通过PageRank算法评估节点重要性并生成拓扑感知的TIGP以促进PCL训练。为应对NECGL中固有的特征漂移和灾难性遗忘，我们提出了IPAD来……

作者贡献声明
Lei Song：论文初稿撰写、可视化、验证、方法论、调查研究、概念构思。Jiaxing Li：论文初稿撰写、调查研究、数据整理。Shihan Guan：论文初稿撰写、形式化分析。Youyong Kong：指导监督、资源提供、经费获取。

生成式AI和AI辅助技术在稿件准备过程中的声明
在准备本工作过程中，作者使用了ChatGPT以润色语言表达。使用该工具/服务后，作者对内容进行了审查和编辑，并对所发表文章的内容承担全部责任。

利益冲突声明
作者声明不存在可能影响本文所报告工作的已知的竞争性经济利益或个人关系。

致谢
本工作部分由国家自然科学基金（资助编号：62471133）和东南大学大数据计算中心资助。

Lei Song | Jiaxing Li | Shihan Guan | Youyong Kong