《Mathematics》：Lipschitz-Based Reinforcement Learning for Response-Time Distributions in Video-Game Design
编辑推荐：
随着全球对数据隐私保护日益重视，特别是《通用数据保护条例》（GDPR）中“被遗忘权”的实施，从模型中有效删除私人信息已成为一项紧迫挑战。图结构数据因其非欧几里得性质和强关系依赖性，在现实应用（如社交网络和推荐系统）中普遍存在，构成了一种特别困难的遗忘场景。为解
随着全球对数据隐私保护日益重视，特别是《通用数据保护条例》（GDPR）中“被遗忘权”的实施，从模型中有效删除私人信息已成为一项紧迫挑战。图结构数据因其非欧几里得性质和强关系依赖性，在现实应用（如社交网络和推荐系统）中普遍存在，构成了一种特别困难的遗忘场景。为解决此问题，研究人员引入了图遗忘学习，旨在消除已删除数据对模型的影响，同时保持模型的整体性能。图遗忘学习的有效性通常通过三个关键指标评估：模型性能、遗忘效率以及对成员推理攻击的鲁棒性，这些指标共同决定了遗忘方法的整体质量。现有图遗忘学习方法分为精确遗忘和近似遗忘两类。大多数研究聚焦于边/节点级遗忘，而针对特征级遗忘的尝试仍然有限。采用SISA（Sharded, Isolated, Sliced, and Aggregated）分区和重训练范式的精确遗忘方法，可能在聚合阶段无意中重新引入本应遗忘的特征，从而导致遗忘不完整。另一方面，近似方法在特征级移除中往往导致过多信息丢失，从而降低预测准确性。因此，研究人员提出了一种专门针对特征级遗忘的图遗忘框架，包含两个主要阶段。在第一阶段，研究人员在每一层将遗忘节点的特征置零，以阻断其通过图神经网络（GNN）的传播，从而减少其对邻近节点表示的影响。在第二阶段，研究人员诱导遗忘节点的错误分类，逐步退化与这些节点相关的模型表示和学习到的知识，从而实现更彻底的特征级遗忘。在多个图数据集和模型上的实验表明，所提方法在大多数设置下取得了良好的整体遗忘性能，在准确性、遗忘效率和遗忘有效性之间实现了平衡的折中。
**研究背景与问题**
随着人工智能的快速发展，数据隐私保护成为全球关注焦点。欧盟GDPR、加州CPRA、巴西LGPD和印度DPDPA等法规均强调了“被遗忘权”，要求模型能够删除特定用户数据。由于从头重训练模型计算成本高昂，机器学习遗忘技术应运而生。图结构数据（如社交网络、推荐系统）因其非欧几里得性和节点间的复杂依赖关系，使得遗忘任务更具挑战性。现有图遗忘方法分为精确遗忘和近似遗忘两类。精确遗忘（如SISA框架）通过分区重训练实现完全删除，但在特征级遗忘中，聚合阶段可能重新引入被遗忘特征；近似遗忘（如梯度上升、影响函数）虽效率较高，但特征移除时易导致信息丢失，降低模型准确性。目前大多数研究集中于节点或边级遗忘，特征级遗忘（尤其是完整特征向量删除）尚未得到充分探索。特征级遗忘面临三个核心挑战：特征删除改变节点嵌入空间的语义位置，可能破坏与邻居的一致性；特征缺失节点在消息传递中传播弱信号，导致邻居表示漂移；多跳聚合使残留特征影响难以完全消除。为此，研究人员提出了一种针对GNN的特征级遗忘框架FUSED-GNN（Feature-level Unlearning via Suppression and Dissipation in GNNs），通过传播抑制和知识消散两个阶段实现精细化的特征遗忘。
**研究内容与结论**
研究人员在四个基准图数据集（Cora-ML、CiteSeer、PubMed、CS）上，使用三种代表性GNN架构（图卷积网络GCN、图注意力网络GAT、图同构网络GIN），将所提方法与重训练（Retrain）、梯度上升（Gradient Ascent）、图影响函数（GIF）和节点级对比遗忘（Node-CUL）进行对比。实验从模型性能（测试准确率）、遗忘效率（运行时间）和隐私保护（成员推理攻击AUC值）三个维度评估。结果表明，FUSED-GNN在大多数设置下取得了与重训练相当的准确率（在Citeseer上使用GAT时甚至提升7%），同时显著降低了遗忘时间，并在所有实验中使成员推理攻击的AUC值接近0.5，表明有效实现了隐私保护。与基线方法相比，FUSED-GNN在模型效用、效率和隐私之间取得了更优的平衡。该论文发表在《Mathematics》。
**关键技术方法**
FUSED-GNN框架包含两个主要阶段：（1）**传播抑制**：在GNN的每一层前向传播中，将遗忘节点的特征向量置零，通过逐层掩码操作阻断其信息向邻居的传播，实现信息隔离。该操作基于ID列表进行向量乘法，计算开销可忽略。（2）**知识消散**：在前向传播后，对遗忘节点的预测概率分布进行交换操作——将真实标签的最大概率与最小错误分类概率互换，生成扰动目标分布，然后计算交叉熵损失并反向传播。该过程迫使模型丢失与遗忘节点相关的分类知识。损失函数包括遗忘损失（基于交换后的分布）、邻居节点损失和剩余节点损失，综合优化。实验使用Cora-ML（7类）、CiteSeer（6类）、PubMed（3类）和CS（计算机科学领域）四个引文网络数据集，模型包括GCN、GAT和GIN。对比方法包括Retrain（完全重训练）、Gradient Ascent（梯度上升）、GIF（图影响函数）和Node-CUL（节点级对比遗忘）。评估指标为测试准确率、运行时间和LiRA攻击下的AUC值。
**研究结果**
**5.2.1 遗忘模型性能**：实验评估了遗忘操作对模型泛化能力的影响。Retrain作为理想参考，在所有设置下表现稳定（如Cora-ML上GCN达84.44%，PubMed上GAT达87.62%）。Gradient Ascent在多数情况下保持合理准确率，但在困难场景（如PubMed上GIN）下降至66.98%。GIF方法在某些设置中取得最高准确率（如PubMed上GIN达87.58%），但性能波动较大。Node-CUL在部分设置中表现稳定（Cora-ML上GCN达86.81%），但在PubMed上GIN下降至74.81%。所提方法在大多数数据集和架构上取得竞争性准确率（如Cora-ML上GCN 87.18%，PubMed上GAT 87.42%，CiteSeer上GCN 78.79%），与最佳基线差距通常小于2%。在CS数据集上性能相对有限，归因于其大规模高连接图结构，特征归零机制削弱了模型在高度耦合图中的表示能力。在CS和CiteSeer上使用GIN时，所有方法与Retrain的差距增大，表明GIN对特征扰动和局部邻居变化高度敏感。
**5.2.2 遗忘效率**：Retrain耗时最长；Gradient Ascent因采用较少迭代次数而相对高效；GIF在大规模数据集上最有效率（无需额外训练迭代）；Node-CUL因对比损失计算耗时较高但仍低于Retrain；所提方法在小数据集上耗时最低，在大数据集上显著优于Retrain和Node-CUL，但一般高于GIF。
**5.2.3 成员推理攻击结果**：采用LiRA攻击计算AUC值。Retrain和GIF的AUC值相对较高，表明特征信息可能通过邻居聚合部分恢复；Gradient Ascent在多数设置中AUC接近0.5，但少数情况下过高，暗示遗忘不完整；Node-CUL和所提方法在所有实验中AUC均接近0.5，显示出有效的隐私保护。所提方法有意不强制AUC严格等于0.5，以避免因“邻居效应”导致相邻节点性能严重下降，从而在隐私和模型效用之间取得更优折中。
**5.3 消融实验**：在Cora-ML和CiteSeer上使用GCN、GAT、GIN进行消融。完整的两阶段框架在所有设置下取得最高测试准确率；移除任一阶段均导致性能下降；遗忘时间与AUC值在各变体间相当，表明完整模型在不增加计算成本或牺牲遗忘效果的前提下提升了效用。替代方法“Ratio”（将真实标签概率除以系数后重新归一化）在准确率上接近FUSED-GNN，但成员推理攻击AUC值更高，表明单纯降低概率不能有效遗忘。
**5.4 超参数分析**：在Cora和CiteSeer上分析超参数λ（控制知识消散强度）的影响。λ=0.1时准确率最高；λ较小时模型保持较高准确率，较大时准确率略有下降；成员推理攻击AUC随λ增大而降低，隐私保护增强。因此默认采用λ=0.1。
**5.5 不同遗忘比例实验**：在CiteSeer上使用GCN，评估不同遗忘比例（0.5%、1%、2%、4%）下各方法的表现。所提方法在所有比例下稳定保持模型效用，时间开销随比例增长更可控，成员推理攻击AUC值更接近0.5且波动更小，展示了更好的可扩展性和鲁棒性。
**讨论与结论**
论文在结论部分总结：研究人员解决了特征级图遗忘这一关键挑战，提出了由传播抑制和知识消散组成的两阶段遗忘框架。第一阶段通过修改GNN每层消息传递机制，抑制遗忘节点残留信息向邻居传播；第二阶段通过引导性错误分类迫使模型丢弃先前学习的表示。在Cora-ML、CiteSeer、PubMed和CS四个基准数据集上的广泛实验验证了方法的有效性。结果表明，所提框架在模型效用、遗忘效率和隐私保护之间实现了优越的平衡，特别是保持了与重训练模型相当的准确率，同时显著降低了计算开销，并在成员推理攻击下实现接近0.5的AUC值，确认了其在特征级图遗忘场景中的鲁棒性。
