基于优化显著性参数的图遗忘框架：选择性参数更新与遗忘-保留Pareto权衡

《High-Confidence Computing》：Graph unlearning based on optimized saliency parameters

　　

近年来，从已训练的图神经网络（graph neural networks, GNNs）中移除特定信息的需求日益重要。然而，现有解决方案如完全重训练或不加区分的参数调整计算代价较高，且常导致模型性能下降或遗忘不充分。为解决这些局限，研究人员提出一种基于优化显著性参数的新型图遗忘（graph unlearning）方法。该方法在实现有效遗忘的同时保持模型整体效用。在该方法中，研究人员首先通过多次前向传播分析节点预测误差，以捕获其全局统计模式并识别对模型性能影响最大的代表性节点。其次，研究人员利用Fisher信息矩阵（Fisher information matrix）估计待遗忘样本与保留样本的重要性，并构建参数级掩码（parameter-level masks）以指导遗忘过程中的选择性更新。最后，研究人员构建同时考虑遗忘有效性与保留性能的双目标优化问题，并通过Pareto前沿（Pareto front）分析确定二者之间的最优平衡。在多种GNN和真实世界数据集上的大量实验表明，所提方法在遗忘质量、模型性能和计算效率方面持续优于现有方法。

研究背景与问题：随着深度学习在图像识别、语音处理和自然语言理解等领域广泛应用，图结构数据在社交网络、引文网络、生物分子网络和化学反应网络等场景中普遍存在。图神经网络（graph neural networks, GNNs）通过聚合节点、边及邻域信息学习表示，显著提升了图任务性能。但模型规模和数据使用扩大带来数据隐私与滥用风险，相关法规提出“被遗忘权”，推动机器遗忘（machine unlearning）发展，使模型无需重训练即可高效“遗忘”指定数据。图数据的非欧几里得性质与GNN参数共享机制使图遗忘（graph unlearning）面临特殊挑战：节点通过边形成复杂拓扑依赖，信息传播具有全局性；邻接矩阵与权重矩阵乘法、注意力权重分配等使参数与样本纠缠，“一个参数连接多个节点”。现有分区法、影响函数法和学习型方法虽有效，但分别存在破坏结构信息、仅从遗忘数据角度估计参数敏感性而扰动保留数据、缺乏对GNN参数结构依赖的考虑等问题，难以同时实现彻底遗忘、性能保持和计算效率。为此，研究人员提出基于显著性参数的图遗忘方法（Saliency Parameter based Graph Unlearning, SPGU），从参数显著性建模角度重新解释遗忘过程，目标是同时提升遗忘有效性并减少保留数据性能退化。

研究人员开展的研究与结论：SPGU首先识别训练集中高价值信息节点并构建显著性参数掩码；在遗忘阶段对高显著性参数进行选择性反向更新以消除目标数据贡献，同时约束非显著参数以保持对保留数据的判别能力。该方法将图遗忘形式化为双目标优化问题，联合考虑遗忘有效性与保留性能，并通过Pareto前沿分析确定平衡。实验表明，SPGU在遗忘质量、模型性能和计算效率上持续优于现有方法，且接近重训练参考模型，具有重要意义。

关键技术方法（不超过250字）：研究人员采用多次前向传播统计节点预测误差，筛选高信息代表性节点；基于Fisher信息矩阵（Fisher information matrix, FIM）分别估计参数对待遗忘数据D_f与保留数据D_r的敏感性，并以F_p^f/(F_p^r+ε)构建参数级显著性掩码；将掩码融入选择性损失，对高显著性参数施加遗忘梯度上升与保留梯度下降，低显著性参数主要受保留损失约束；用Pareto前沿（Pareto front）分析选择遗忘强度α与保留系数λ，并采用图引导预筛选降低搜索空间；大规模图采用ego-subgraph小批量前向传播和采样对角Fisher近似。实验样本来源为公开图数据集Cora、Citeseer、Pubmed、DBLP、CS和ogbn-arxiv，骨干模型为GCN、GAT和GIN。

研究结果：
5.1 实验设置（Experiment setup）：研究人员在Cora、Citeseer、Pubmed、DBLP、CS和ogbn-arxiv等真实图数据集上，以两层GCN、GAT、GIN为骨干，隐藏维度256、训练20轮，随机80%节点为训练集，遗忘率10%，调学习率与权重衰减，在单GPU上重复十次报告均值与标准差，建立统一评测。
5.2 模型效用评估（Model utility evaluation）：通过节点遗忘与边遗忘的F1分数比较，SPGU在多个数据集和骨干上接近或超过Retrain，Citeseer上较GIF提高1.05%–3.61%、较GNNDelete提高2.74%–7.74%，Cora边遗忘较基线提高0.25%–4.34%；遗忘比例从0.1增至0.5时F1下降但接近Retrain；精度与召回也较高。结论是选择性参数更新可保持模型效用。
5.3 可扩展性评估（Scalability evaluation）：在ogbn-arxiv上采用采样实现，SPGU取得63.78±0.65的F1且无内存溢出，GIF和MEGU完成，GNNDelete与GUIDE出现内存溢出。结论是采样实例化提升大规模图可行性。
5.4 遗忘效率评估（Evaluation of unlearning efficiency）：通过成员推断攻击（membership inference attack, MIA）AUC和保留集加权F1损失评估，SPGU的AUC接近50%，Cora与Citeseer加权F1损失低于0.5%，DBLP与CS在1.5%以内。结论是SPGU削弱遗忘节点训练痕迹并保持保留数据效用。
5.5 消融研究（Ablation study）：移除数据重要性策略后性能下降，Cora为0.63%、2.45%、1.31%，Citeseer为4.68%、1.40%、2.59%，PubMed为0.67%、0.69%、1.83%；移除显著性掩码后GCN/GAT下降1.21%–4.69%，GIN下降15.63%–95.65%。结论是两模块对选择性遗忘关键。
5.6 超参数研究（Hyperparameter study）：采用Pareto前沿与图引导预筛选，Cora和Citeseer候选配置分别减少76.40%和80.00%，最终采用α=0.3、λ=1.0。结论是中等遗忘强度与较强保留约束取得稳定平衡。
5.7 认证评估（Certification evaluation）：以Retrain为参考，在遗忘节点上比较预测分布，SPGU的Jensen–Shannon散度（Jensen–Shannon divergence, JS）低于0.061，预测一致率高于0.877，Kolmogorov–Smirnov检验（Kolmogorov–Smirnov test, KS）p值大于0.05。结论是SPGU在分布和标签层面接近重训练参考。
5.8 捕获统计模式的应用启示（Application implications of captured statistical patterns）：多次前向传播估计采样邻域下预测误差分布，异常预测误差节点指示遗忘数据影响可能经消息传递传播的区域，并用于Fisher显著性估计；在社交网络可指示受删除用户影响的用户或局部社区，在接触追踪或流行病网络中可帮助定位受错误接触记录、传播链或隐私敏感感染轨迹影响的子区域。结论是预测误差模式连接遗忘目标与领域影响传播。

讨论与结论：讨论部分强调，SPGU通过参数级显著性掩码控制遗忘梯度来源，而非简单冻结参数，从而在参数空间实现遗忘与保留的细粒度平衡；其局部选择性更新可解释为对重训练式遗忘的局部近似。结论翻译如下：本文提出SPGU，一种基于显著性引导参数更新的图遗忘方法，以解决图遗忘中的遗忘不充分和性能过度退化问题。SPGU通过多次前向传播捕获的预测误差统计识别信息量大的节点，估计模型参数对遗忘图信息与保留图信息的贡献，并构建显著性掩码约束参数更新。借助联合遗忘目标，SPGU选择性更新与遗忘数据更密切相关的参数，同时保留对保留节点重要的参数。实验结果表明，SPGU在遗忘有效性与模型效用之间取得良好平衡。未来工作将进一步把SPGU扩展到更实际的图遗忘场景，包括序列遗忘和动态图遗忘。在序列遗忘中，删除请求可能随时间到达，若独立处理每个请求，重复更新可能累积参数漂移；一个可能方向是维护紧凑的遗忘状态，记录先前显著性变化和保留效用变化，使后续请求可通过局部显著性细化而非完全重新估计来处理。在动态图中，遗忘数据的影响可能随节点、边和消息传递路径演化而变化；因此，SPGU可从静态显著性估计扩展为结构感知显著性自适应，仅关注结构演化显著改变预测误差模式和参数敏感性的图区域。这些扩展将使SPGU更好地支持连续和演化图环境，同时保留其显著性引导选择性遗忘的核心思想。