MIP：基于互信息的提示方法，用于类别逐步增加的连续图学习

《Pattern Recognition》：MIP: Mutual information-guided prompt for class-incremental continual graph learning

　　齐傲源 | 朱博轩 | 黄伟志 | 关胜维 | 高洛曼
利物浦大学，利物浦，L69 3BX，英国

**摘要**
图被广泛用于建模关系数据，其中持续图学习（CGL）旨在从一系列图任务中逐步学习，而不会出现灾难性遗忘。现有的CGL方法（基于正则化、基于回放和基于架构的方法）在平衡稳定性和可塑性方面存在困难。最近，基于提示的方法通过将共享知识分离到固定的主干网络和特定任务的提示中展现了潜力。然而，这些方法可能会遇到提示坍塌的问题，即不同的提示被压缩到一个狭窄的表示空间中，导致表达能力降低和性能下降。在这项工作中，我们提出了基于互信息的提示学习（MIP），这是一种用于CGL中类别渐进式节点分类的新框架。从信息论的角度出发，我们将提示学习分解为三个目标：（1）最小化基于提示增强后的节点表示的分类损失；（2）通过高效的对比损失最大化提示与拉普拉斯平滑节点特征之间的互信息，以更好地捕捉图依赖关系；（3）在高斯先验下对提示分布进行正则化。我们进一步引入了低秩双线性余弦相似性来增强样本与提示之间的匹配。在多个基准测试上的广泛实验表明，MIP在保持内存和计算效率的同时，实现了最先进的性能，并有效缓解了提示坍塌和灾难性遗忘问题。代码已提供。

**引言**
图是表示结构化对象的常用数据结构，其中节点代表实体，边代表它们之间的关系（例如社交网络、引用网络和知识图谱）。在过去的十年中，图学习成为一个重要的研究领域，提出了许多算法来处理图结构化数据相关任务[1]。然而，大多数现有方法关注的是静态图。在现实世界场景中，随着新数据的出现，图往往持续演变。从头开始重新训练模型在计算上非常昂贵，而使用新数据微调则可能导致严重的灾难性遗忘。这激发了对高效学习策略的需求，这些策略能够处理流式数据或任务，同时不会忘记之前获得的知识。
持续图学习（CGL）因其能够从不断演变的图任务中逐步学习而受到关注。与欧几里得域中的传统持续学习（CL）不同，CGL必须考虑图拓扑引入的节点依赖关系。CGL方法通常分为三类：基于正则化、基于回放和基于架构的方法[2]。基于正则化的方法通过施加惩罚项来限制参数更新，有助于防止遗忘[3][4]。虽然这些方法保持了稳定性，但可能会限制可塑性。基于回放的方法通过将代表性样本存储在内存缓冲区中来减轻遗忘。与正则化相比，回放允许存储一部分之前的代表性数据以供将来回放使用。基于架构的方法将特定于任务的参数隔离[5][6]，使每个任务可以独立学习而不干扰之前学习到的任务。然而，这些方法必须仔细设计以避免不受控制的网络扩展，否则可能导致模型退化为一系列特定于任务的学习器。
尽管这些方法旨在平衡稳定性和可塑性，但它们往往会导致次优的折中。最近，在传统持续学习中出现了基于提示的方法[7][8]。作为基于架构方法的一个子类，基于提示的方法通过将模型分为固定的预训练主干网络（存储共享知识）和特定于任务的提示（学习新知识）来消除遗忘的潜力。一些最近的研究将提示学习扩展到图上[9][10]，为基于提示的CGL奠定了基础。最近，[11]提出了一个带有特定于任务提示的任务身份模块，其中每个节点特征通过提示池的注意力得到增强。然而，它忽略了提示的分布式特性。这种疏忽可能导致提示坍塌，即提示变得难以区分，从而导致性能下降（如图4所示）。一些传统CL中的工作试图通过添加多样性损失来缓解这个问题[12]，虽然这种策略可以产生信息丰富的提示，但它不能保证这些信息与任务相关。因此，提示可能会为了追求多样性而牺牲其区分能力。

为了解决这些限制，我们提出了基于互信息的提示学习（MIP），用于CGL中的类别渐进式节点分类。我们的方法从图持续学习中提示学习目标的原则性表述出发，并将其理论分解为三个子目标：1. 使用带有提示的节点表示进行分类损失最小化；2. 最大化提示与拉普拉斯平滑节点特征之间的互信息；3. 最小化提示分布的熵。关于第二个目标，在获得样本级提示后，我们显式地最大化提示与拉普拉斯平滑节点特征之间的互信息，从而更好地尊重图结构数据的非独立同分布特性。受Deep InfoMax[13]的启发，我们设计了一个对比损失来促进这种互信息最大化。第三个目标通过假设提示的高斯分布自然引入了?2正则化。此外，我们提出了低秩双线性余弦相似性来匹配样本和提示，增强了注意力机制的表达能力。图4表明MIP成功提高了提示的多样性并支持分类。在基准数据集上的广泛实验证明了我们方法的有效性，在类别渐进式节点分类任务中实现了最先进的性能，同时也证明了其在空间和时间上的效率。

**实验**
本节首先介绍实验设置，然后展示主要结果，并最后进行进一步分析。实验旨在解决以下研究问题：
Q1：提出的框架MIP及其变体MIPv在性能上是否优于现有的基线？
Q2：MIP和MIPv是否保持可接受的空间和时间复杂性？
Q3：各向同性假设是否足以用于提示建模？
Q4：MIP框架的所有组件是否都有效？

**结论**
在这项工作中，我们解决了类别渐进式持续图学习（CGL）中的灾难性遗忘这一关键挑战。我们发现，现有的基于提示的方法经常会出现提示坍塌，导致性能随任务积累而下降。为了解决这个问题，我们提出了基于信息论原理的MIP框架。MIP将提示学习定义为三个核心目标：最小化分类损失、最大化提示之间的互信息。

**作者贡献声明**
齐傲源：撰写——原始草稿、可视化、验证、软件、方法论、调查、数据策展、概念化。
朱博轩：撰写——审阅与编辑。
黄伟志：撰写——审阅与编辑、可视化。
关胜维：撰写——审阅与编辑、监督、项目管理、资金获取、概念化。
高洛曼：撰写——审阅与编辑、监督。

**关于在手稿准备过程中使用生成式AI和AI辅助技术的声明**
在准备这项工作时，作者使用了ChatGPT来纠正语法问题。使用该工具后，作者根据需要审查和编辑了内容，并对发表文章的内容负全责。

**关于利益冲突的声明**
作者声明他们没有已知的财务利益或个人关系可能会影响本文报告的工作。

**致谢**
本研究得到了西安交通大学利物浦大学（XJTLU）PGRS博士生奖学金基金（编号PGRS2006022）的支持。