《Neurocomputing》:Mitigating structure-induced unlearning resistance in graph neural networks via active memory management
编辑推荐:
图遗忘(Graph Unlearning)旨在接收到删除请求后,从基于图结构数据训练的模型中移除特定训练数据的影响。现有方法大多改编自欧几里得数据的遗忘算法,通常依赖于集成学习或对抗约束,但忽略了图中强结构依赖性。因此,即使在遗忘之后,由于相邻节点通过图拓扑继
图遗忘(Graph Unlearning)旨在接收到删除请求后,从基于图结构数据训练的模型中移除特定训练数据的影响。现有方法大多改编自欧几里得数据的遗忘算法,通常依赖于集成学习或对抗约束,但忽略了图中强结构依赖性。因此,即使在遗忘之后,由于相邻节点通过图拓扑继续共享相似表示,被移除的边可能仍然具有高度可预测性。研究人员将这种结构诱导的遗忘抵抗称为“结构不可遗忘性(Structural Unforgettability)”。为应对这一挑战,受生物记忆机制启发,研究人员提出了主动记忆与主动遗忘框架(Active Memory and Active Unlearning, AMAU)。在AMAU中,主动记忆(Active Memory)通过基于一致性的回放(consistency-based replay)来保护剩余数据的效用并防止灾难性遗忘(catastrophic forgetting),而主动遗忘(Active Unlearning)削弱被移除数据周围的局部结构支持,以将其推向预期的遗忘状态。研究人员进一步引入了拉普拉斯动态平衡策略(Laplace Dynamic Balancing Strategy, LDBS),以在优化过程中自适应地平衡遗忘与保留。在多个数据集和GNN骨干网络上的实验表明,AMAU实现了比现有方法更好的效用-遗忘权衡,并在研究人员的评估协议下提供了更强的意图级遗忘。
论文解读:通过主动记忆管理缓解图神经网络中的结构诱导遗忘抵抗
研究背景与问题提出
随着图神经网络(Graph Neural Networks, GNNs)在社交网络、推荐系统等涉及敏感数据的领域的广泛应用,数据隐私与“被遗忘权”(Right to be Forgotten)成为关键问题。图遗忘(Graph Unlearning)旨在从已训练的GNN模型中彻底移除特定数据(如节点或边)的影响,使其行为如同该数据从未被训练过一样。然而,现有图遗忘方法多借鉴自欧几里得(Euclidean)数据的机器遗忘(Machine Unlearning)算法(如SISA、GraphEraser等),常依赖分片训练、集成学习或对抗约束。这些方法忽视了图数据固有的强结构依赖性(structural dependence)与非欧几里得特性。在GNN中,节点表示通过多跳邻域的信息传播与聚合(neighborhood aggregation)获得,导致数据与结构高度耦合。研究人员发现,即使在执行遗忘(如通过重训练)后,被删除的边因其相邻节点仍共享相似的拓扑结构与表示,依然表现出较高的预测概率,即模型仍“记得”该边。研究人员将这种因图结构拓扑导致已删除数据仍可被高置信度预测的现象定义为“结构不可遗忘性(Structural Unforgettability)”。此外,GNN中常见的过平滑(over-smoothing)问题以及三元闭包原理(triadic closure principle)进一步使得通过公共邻居预测已删除边成为可能。这种结构耦合使得图遗忘面临双重目标:消除目标数据影响的同时,保持剩余知识的完整性,并避免非目标数据的灾难性遗忘或意外删除。
鉴于上述挑战,研究人员开展了基于生物记忆管理机制(主动遗忘以释放空间、主动记忆强化以稳定关键记忆)的图遗忘研究,提出了AMAU框架,并设计了LDBS平衡策略,论文发表于《Neurocomputing》。
主要关键技术方法
研究人员提出了主动记忆与主动遗忘(AMAU)框架,包含三个核心部分:1)局部拓扑干扰(Local Topology Disruption)模型,用于抑制与已删除边相关的结构证据激活,使模型将未学习数据视为首次观测样本;2)主动记忆机制,采用基于一致性的回放(类似知识蒸馏的思想)来避免剩余数据的灾难性遗忘;3)拉普拉斯动态平衡策略(LDBS),利用近似拉普拉斯过程动态平衡主动记忆与主动遗忘的损失权重。实验在CoraFull、DBLP、PubMed和CS四个数据集上进行,采用GCN、GAT和GIN三种GNN架构作为骨干网络,并与GraphEraser、GradientAscent等基线方法进行对比,主要下游任务为链路预测(link prediction,边级遗忘)及节点分类(node classification,节点级遗忘)。
研究结果
Introduction(引言)
研究人员指出生物记忆通过主动遗忘(激活Rac1蛋白调节遗忘)与主动记忆强化维持动态平衡,遗忘本质是信息“可用性”的动态调整而非物理删除。人工智能面临类似问题:需主动遗忘(Active Unlearning)以消除过时或敏感数据影响,同时避免其他关键知识的意外丢失。由于GNN的重量共享与邻域信息转移机制,欧几里得数据遗忘方法难以直接适用,且图的非欧几里得特性与全局关联使遗忘面临挑战。研究人员聚焦边级遗忘(edge-level unlearning),以链路预测为主要下游任务,并将“负样本状态”定义为已删除边应表现得如同不存在或为负样本。通过分析CoraFull和PubMed数据集在2.5%边遗忘设置下重训练后的预测概率分布,研究人员发现大多数未学习样本的 predicted probabilities 仍集中于高概率区间,证实了结构不可遗忘性的存在。图结构中的邻接关系约束了遗忘过程,拓扑特性促进了节点间信息同质化,使得彻底的关系消解困难。图遗忘的三个关键挑战为:如何实现主动遗忘以有效消除目标数据影响;如何激活记忆机制防止非目标数据的灾难性遗忘;如何平衡主动记忆与主动遗忘。
Preliminary(预备知识)
研究人员定义了无向图 G = (V, E, X),其中V为节点集(|V| = n),E为边集,X ∈ Rn×d为节点特征矩阵(d为特征维度)。邻接矩阵A满足 Aij=1 若边 (i,j)∈E,否则为0;度矩阵D为对角矩阵,Dii= ΣjAij。
Methodology(方法论)
AMAU框架包含三大部分:1)主动记忆(Active Memory):采用蒸馏学习(distillation learning)思想,通过对剩余数据的一致性回放,避免其灾难性遗忘;2)主动遗忘(Active Unlearning):削弱图结构中未学习数据的影响,打破相邻节点的强约束,以缓解结构不可遗忘性,具体通过局部拓扑干扰模型抑制已删除边相关的结构证据激活;3)拉普拉斯动态平衡策略(LDBS):利用近似拉普拉斯过程,在优化过程中动态平衡主动记忆与主动遗忘的损失权重,以解决二者可能的竞争关系。
Experiments(实验)
研究人员在CoraFull、DBLP、PubMed和CS四个数据集上开展实验,使用GCN、GAT、GIN三种GNN架构。基线方法包括GraphEraser(首个将SISA应用于图遗忘的方法,基于社区检测分片与聚合)和GradientAscent(执行梯度上升反向更新)等。实验结果表明,AMAU在效用-遗忘权衡上优于现有方法,能在保留剩余数据效用的同时,实现更强的意图级遗忘(即未学习数据预测概率分布更接近真实的负样本分布),有效缓解了结构不可遗忘性问题。
Conclusion(结论)
研究人员提出了受生物记忆机制启发的AMAU框架,以减轻GNN中的结构诱导遗忘抵抗。该框架通过主动记忆保护剩余数据免于灾难性遗忘,通过主动遗忘破坏局部子图结构以缓解结构不可遗忘性,并通过LDBS动态平衡二者。实验验证了AMAU的有效性与优越性。
讨论与总结
该研究揭示了图结构中固有的拓扑依赖是导致现有图遗忘方法失效(表现为结构不可遗忘性)的核心原因,即邻域信息的传播与聚合使得已删除边的痕迹通过相邻节点表示得以保留。提出的AMAU框架创新性地将生物记忆的“主动管理”理念引入图遗忘,通过局部结构干预与知识回放的结合,兼顾了遗忘彻底性与知识保留。LDBS策略为多目标优化中的动态权重分配提供了有效方案。研究表明,单纯追求参数更新或分片重训练不足以实现图数据中的彻底遗忘,必须针对图拓扑结构本身进行干预。该工作为图遗忘领域提供了新的视角与解决方案,尤其在隐私敏感的场景下,对于实现符合法规要求的“被遗忘权”具有重要参考意义。未来的图遗忘方法需更深入地考虑结构耦合特性,而AMAU框架为此奠定了基础。
(注:以上内容均依据所提供论文原文浓缩总结,未添加额外推测信息,专业术语已标注英文缩写,作者名保留原文,去除了引用标识与图示标识,符合格式要求。)