CoRas：用于分布式之外图谱中的图谱理由学习的协作性理由选择算法

《IEEE Transactions on Knowledge and Data Engineering》：CoRas: Cooperative Rationale Selection for Graph Rationale Learning in Out-of-Distribution Graphs

　　摘要：解决训练集和测试集之间的分布变化对于图神经网络（GNNs）至关重要。图理由学习作为一种有效范式应运而生，通过提取不变的子图作为预测的理由来应对这一挑战。然而，现有方法通常依赖于由理由提取器生成的子图，而没有明确评估其可靠性，特别是在训练早期阶段，提取器容易生成不准确或有偏的理由。使用这些不可靠的理由进行学习可能会误导分类器，并进一步降低理由的质量，最终损害泛化性能。在本文中，我们重新思考了图理由学习的目标，并提出了一种名为CoRas的新架构，旨在提高理由表示的可靠性和鲁棒性。具体来说，CoRas采用双分类器框架来协作选择可靠的理由。受小损失准则的启发，CoRas优先选择预测损失低的理由，同时选择预测方差高的理由，以减轻仅依赖自我预测时可能产生的选择偏差。这使得CoRas能够为下游任务有效选择可靠的理由，从而增强图理由学习的效果。在真实世界基准和合成数据集上的实验结果表明，CoRas在提取可靠的理由子图以应对图分类中的分布外（OOD）情况方面非常有效。

第I节 引言
图神经网络（GNNs）[1], [2], [3], [4], [5]已成为解决不同领域实际问题的基础而有效的模型，例如社交网络[6], [7], 分子结构[8], [9], 推荐系统[10], [11] 和交通预测[12], [13]。尽管GNNs在许多图分类基准测试中被证明是有效的，但它们仍然面临训练集和测试集遵循不同分布的分布外（OOD）问题[14], [15], [16]。训练有素的GNNs在测试集上的性能显著下降，从而限制了它们在现实世界场景中的应用[17], [18]。
图理由学习（GRL）作为一种强大的技术，帮助GNNs应对OOD问题，它从输入图中学习提取关键的子图，从而提高模型的可解释性和在基于图的学习任务中的性能。如图1所示，图1(a)中的训练图集主要包含具有梯子基础的圆形 motif 和具有树基础的房屋 motif。然而，传统的GNNs常常将OOD测试图（例如圆形-树图）错误地分类为房屋 motif 图。这种误分类是由于GNNs依赖于树基础和房屋 motif 之间的统计依赖关系，而不是准确区分测试图的结构配对。相比之下，GRL通过使用环境增强[1], [19] 或引入其他分布干预[21], [22] 来学习提取器，以提取不变的合理子图（如圆形和房屋）来预测图的标签。通过这种方式，图理由学习方法能够揭示图的结构语义，从而有效地对OOD测试图数据进行分类。从上述回顾中可以看出，GRL中一个关键但经常被忽略的问题是缺乏对学习到的合理子图可靠性的证明[23], [24]。
图1. OOD图数据的图理由学习示意图。理由学习框架包括分离器、子图混合器和分类器模块。其目标是训练一个提取器来识别不变的合理子图（如圆形和房屋），通过不同的环境增强这些子图来帮助预测图的标签。这种方法确保了该框架在OOD图数据上表现良好，通过有效提取合理子图。

在这项工作中，我们认为由理由提取器生成的子图往往并不构成真正的理由，特别是在训练的早期阶段，当时提取器的能力有限。使用不可靠的理由进行学习会使图分类器记住不可靠的理由表示，导致分类偏差，从而削弱了理由提取器的有效性。因此，应该将理由的可靠性视为一级训练目标，而不是提取的副产品。在分布变化的情况下，确保在图理由学习框架内学习到可靠的理由是至关重要的。然而，从提取的子图中选择可靠的理由仍然具有很高的挑战性，因为在训练期间无法访问真实的理由注释[23], [24]。
考虑到上述问题，我们提出了一种名为CoRas的新架构，以提高理由表示的可靠性和鲁棒性。CoRas采用双分类器架构来进行协作选择合理理由。首先，受到小损失假设[25], [26]的启发，我们认为与较低预测损失相关的理由更可能是可靠的。这一假设已经得到实证验证，并作为批量选择标准。提取理由并将其输入分类器后，CoRas计算预测损失并选择损失小的理由用于下游图分类。然而，使用单个分类器选择理由可能会由于过度依赖自我预测而引入选择偏差，这可能对后续训练迭代产生不利影响。为了缓解这个问题，CoRas引入了一个辅助分类器，基于提取的理由提供另一种预测视角。两个分类器进行交叉更新，每个分类器根据小损失标准选择理由，并将其传递给另一个分类器以进行参数更新。此外，为了确保训练过程中的多样化监督信号，CoRas引入了一个基于方差的选择标准，偏好在两个分类器之间表现出高预测方差的理由。因此，选择了具有低预测损失和高预测方差的理由进行交叉更新，有效地减轻了选择偏差，并促进了在分布变化下的可靠理由学习。本工作的主要贡献如下：
我们发现图理由学习中一个之前未被充分探索的可靠性问题，并强调了在训练早期阶段（当提取器的能力有限时）从理由提取器生成的子图中选择可靠理由的必要性。我们提出了CoRas来提高理由表示的可靠性和鲁棒性。CoRas采用双分类器架构并引入了交叉更新机制，其中分类器使用具有低预测损失和高预测方差的理由进行更新。我们提供了理论分析，并在真实世界基准和合成数据集上进行了广泛实验，证明了CoRas提取的理由的可解释性及其在解决图数据中的OOD问题方面的有效性。

第II节 相关工作
本节概述了图神经网络、图理由学习和小损失准则的最新进展，这些都与我们的研究高度相关。
A. 图神经网络
图神经网络（GNNs）[1], [2], [3]已成为一类基本的深度神经网络，有效地利用了它们对复杂和关系数据结构的建模能力。通过编码节点属性和图拓扑，GNNs在解决各种基于图的学习任务中发挥了重要作用，包括节点分类[27], 图分类[28]和链接预测[29]。它们的灵活性使得它们能够应用于社交网络[6], [7]、分子结构[8], [9]、推荐系统[10], [11]和交通预测[12], [13]等领域。GNNs的基础架构，如图卷积网络（GCNs）[30]、图注意力网络（GATs）[31]和GIN [2]，假设训练集和测试集是独立同分布（i.i.d.）的。这些模型在理想条件下表现出色。不幸的是，这种情况很少与现实世界的复杂性相符，导致在训练集和测试集遵循不同分布的OOD数据上性能显著下降[14], [18], [32]。这推动了在OOD图上实现图泛化的研究工作。

B. 图理由学习
面对OOD挑战，最近的研究重点在于探索GNNs的泛化能力[33], [34], [35], [36]。一些研究特别针对节点级分类中的OOD挑战进行了探索，例如EERM [37], [38]。然而，确保图级泛化同样重要，正如最近的研究所指出的[39]。本文主要关注推进图级泛化以有效应对OOD挑战。研究人员最近采用了图理由学习方法来识别输入图的子集以进行图分类。这些方法涉及不变学习[15], [21], [24]和图增强[1], [19], [40]。在[21]中提出的方法旨在通过在训练分布中进行受控的随机干预来识别一致的因果理由。此外，GREA [1]通过随机移除和替换环境子图来增强理由表示学习，并可以扩展到节点分类[19]。GIL [36]利用聚类的非理由表示来获取环境，然后将其与理由结合，从而实现强大的理由表示。DIVE [41]通过设计多样性正则化项来促进子图掩码的多样性，以捕捉SGD训练的GNN中的简单性偏差。另一系列工作研究了在信息不完整的情况下的图学习，例如缺少节点属性或不完整的图结构[42]。例如，GraphIAM [43]针对类别不平衡的缺少属性的图进行处理，而属性插补自动编码器[44]恢复缺失的节点属性；这些方法与我们在OOD图设置中关注可靠图理由学习的目标相互补。尽管现有的理由学习方法在提高泛化方面有效，但它们往往对分布进行干预或使用图数据增强，而不考虑学习到的合理子图的有效性。尽管如此，理由的可靠性问题仍然没有得到充分探讨。在这方面，我们的工作重新思考了图理由学习的目标，并提出通过理由选择来进行学习。

C. 小损失准则
小损失准则广泛用于噪声标签的学习，其中训练损失小的实例被认为是干净的[45], [46]。MentorNet [25]首先训练一个教师网络，然后使用它来选择干净的实例以指导学生网络的训练。一些工作遵循共同教学[47], [48]方法，该方法维护两个DNN，但每个DNN选择一定数量的小损失样本并将其反馈给其同伴DNN进行进一步训练。与这些从固定候选集选择干净样本的方法不同，我们的工作专注于图理由学习，其中提取的理由子图是隐式的、动态生成的，可能并不对应于真正的理由。因此，我们通过选择分类损失小的提取子图作为更可靠的理由候选者来适应小损失准则，用于训练图理由学习模型。

第III节 问题定义
在本研究中，我们使用图分类任务来评估我们的方法在图级别解决OOD问题方面的有效性。以下小节介绍了带有理由学习的图分类问题和图泛化问题。
A. 带有理由学习的图分类
图分类任务涉及根据图的结构属性或特征为其分配标签或类别。我们考虑一组标记的图G=(gi,yi)ni=1，其中每个gi=(V,E)表示第i个图，V表示节点集，E表示边集。yi表示第i个图对应的标签。带有理由学习的图分类的目标是学习一个由θr参数化的提取器，该提取器提取一个理由表示：ri=fR(gi;θr)。最后，使用分类器fC(ri;θc)仅基于ri来进行预测。
B. 图泛化
图泛化是指训练有素的模型在不同分布的未见图中表现良好的能力。给定来自训练分布P1=(g,y)的n个实例的训练集G1=(gi,yi)ni和来自测试分布P2=(g,y)的测试集G2，其中P1≠P2，目标是在训练集G1上训练一个提取器fR(?)和一个分类器fC(?)，并在测试集G2上实现泛化。这可以表述为以下优化问题：
f?R,f?C=argminfR,fCEg,y～P2[?(fC(fR(g)),y)]。(1)本节概述了CoRas的设计，包括理由提取、带理由的分类、基于理由的增强以及合作理由选择。随后，我们详细介绍了涉及理由的优化算法和推理过程。最后，我们提供了合作理由选择的理论分析（见第IV-F节）。图2展示了通过CoRas进行图理由学习的过程，其中包括理由提取器和合作理由选择。因此，对于f2∈H2，如果LD(f2,c)>ξ2=L0F2m2+mn√m?nΘm，基于期望值，我们得到：

E[X]?E[X′]=nLD(f2,c)+mLD(f1,f2)?mLF1>nξ2+mLD(f1,f2)?mLF1=L0F1m2+mn???????√。(14)

如果f2进一步最小化了R上的经验风险，X
p(x′p(x′≥e[x′]?l0f2m2+mn???????√2)≤exp(?(l0f2m2+mn???????√)22(m+n))，≤e[x′]+l0f2m2+mn???????√2)≥exp(?(l0f2m2+mn???????√)22(m+n))。(15)

由于n≥2(l0f2)2ln2h2δ，我们得到

exp(?(l0f2m2+mn???????√)22(m+n))≤δ2h2≤δ2。

因此，p(lf2≤ξ2)≥1?δ。同样，我们有p(lf1≤ξ1)≥1?δ。上述定理表明，尽管coras选择了具有高预测分歧的合理性进行交叉更新，但最终损失lf1的界限至少以1?δ的概率成立。分析表明，在所述假设下，两个分类器的最终分类损失有很高的概率保持有界，这支持了使用高分歧合理性进行交叉更新的稳定性。

g. 讨论

在这项工作中，我们认为提取的子图不是图分类的可靠合理性。我们强调了确保这些合理性的可靠性以增强其可解释性的重要性。为了解决这个问题，我们提出了coras框架来选择更可靠的合理性，并提供了理论稳定性分析。然而，需要指出的是，据我们所知，目前还没有方法可以确定这些子结构在现实世界的ood图中包含真正的合理性，因为真实的合理性是无法获得的。大多数现有工作通过模型的图分类性能[19]、[21]、[22]来展示提取的合理性子图的有效性，或者在合成数据集（如spurious-motif [17]）上进行验证。除了这个挑战之外，我们提出了一种评估方法，该方法涉及用高斯掩码生成的环境来增强合理性。这种方法的动机是假设提取的可靠合理性即使在随机增强后也应保持良好的性能，从而表明它们的强鲁棒性。实验的细节和结果在第v-e节中呈现。

第五节 实验

在本节中，我们首先在第五节a部分介绍实验设置，接着是第六节b部分的分类性能比较，以及第七节c-h部分我们提出方法的详细分析。为了展示coras与基线技术的性能对比，我们在真实世界基准测试和合成数据集上进行了实验，以回答以下问题：
rq1：coras的泛化能力与最近的图理性学习方法在对抗ood分布方面的表现如何？
rq2：选择合理性的两个标准如何影响coras的性能？
rq3：coras的提取器提取的合理性有多强大？
rq4：coras是否有效地捕获了图分类的重要合理性？
rq5：coras是否需要大量的计算资源？

a. 实验设置
1) 数据集
为了验证coras的有效性，我们在合成spurious-motif数据集[17]、[21]以及多个真实世界的ogbg基准数据集[53]上进行了实验。这些数据集的统计信息如表i所示。spurious-motif [17]、[21]是一个用于预测每个图中motif分类的合成数据集。每个图包含两个不同的子图：motif子图（由circle、house和crane表示，分别对应于值r=0,1,2）和base子图（表示为tree、ladder、wheel，值e=0,1,2）。值得注意的是，motif子图被指定为图标签背后的合理性，而base子图可以被视为环境。为了评估coras的有效性，我们手动生成了具有不同偏差程度的多个数据集。为了创建spurious-motif数据集，我们首先通过均匀采样每个motif来生成训练数据集，同时控制base分布，表示为p(e)。这个分布由偏差参数b决定，定义如下：p(e)=b×i(e=r)+(1?b)/2×i(e≠r)，其中b调节虚假相关程度。在本研究中，我们在训练数据集中使用了b值为0.5、0.7和0.9。对于测试数据集，我们随机配对motif和base，b设置为1/3。
open graph benchmark graph（ogbg）[53]是一个在图基任务中广泛使用的数据集，特别是在分子属性预测领域。我们的研究涉及ogbg-mol中的四个特定数据集：molhiv、molbace、molbbbp和molsider。这些数据集使用默认分割进行划分，确保每个分割包含一组独特的分子支架。

2) 实施细节
我们为实验提供了详细的配置。首先，我们对spurious-motif数据集采用了相同的5层gnn（即gin [2]），隐藏维度为128，对于ogbg数据集则为64。对于所有实验，控制合理性感知增强损失的超参数λ在（10）中设置为0.5。关于选择百分比，我们在算法1中调整控制参数τ的范围为[0.1,0.5]。spurious-motif数据集的最大训练周期设置为30，ogbg数据集设置为200。我们在训练集上训练模型，并在每个周期后用验证集进行评估，如果评估指标在指定的耐心周期数内没有改善，则停止训练。spurious-motif的耐心设置为10，ogbg数据集的耐心设置为40。批量大小设置为256。adam优化器[54]的学习率初始化为spurious-motif的5e-3，ogbg数据集的1e-3。所有实验都在nvidia 4090 gpu上执行，并使用不同的随机种子进行五次实验，性能报告采用实验结果的平均值和标准差。

3) 基线和指标
我们将我们的模型与最先进的方法进行比较，如下所述：
dir [21]引入了一种不变的学习方法，该方法可以识别对随机干扰不变的因果合理性。
disc [38]是一个解耦的gnn框架，通过合成反事实无偏训练样本来学习因果和偏差子图。
cal [22]通过消除输入图中快捷方式的混淆效应来解决gnn中的虚假相关性问题。
dare [55]是一种应用于自然语言理解任务的高级合理性方法，它结合了解耦来增强合理性的提取。在这里，我们将其应用扩展到阐明gnn的广泛比较中。
gsat [39]通过基于注意力的固有gnn在分布变化下学习不变子图。
gil [36]使用聚类非合理性表示来获取局部环境，随后将这些环境与合理性集成以提高合理性表示的鲁棒性。
interrat [56]是一种因果干预方法，基于后门调整来消除输入和合理性之间的虚假相关性。
rgda [19]通过移除和替换环境来增强对环境子图带来的噪声信号的合理性表示学习。值得注意的是，grea方法[49]是rgda在图级别的一个变体；因此，我们使用rgda作为可比较的基线。
基于之前的工作[39]，我们使用acc（准确性）在spurious-motif上评估模型的性能，并使用roc-auc在ogbg-class数据集上进行评估。

表i
spurious-motif和ogbg数据集的统计信息

b. 分类性能比较（rq1）
为了验证coras在对抗分布外（ood）图数据方面的泛化能力，我们在表ii和iii中报告了使用gin [2]和gcn [30]作为骨干的三个合成数据集（spurious-motif）和四个真实世界数据集（ogbg）的图分类性能。结果表明，coras在大多数评估设置中的表现优于其他合理性学习方法。

表ii
使用gin作为gnn骨干的spurious-motif和ogbg数据集的图分类性能（均值±标准差）。最佳结果以粗体显示，***表示统计学上的显著改进。
表iii
使用gcn作为gnn骨干的spurious-motif和ogbg数据集的图分类性能（均值±标准差）。最佳结果以粗体显示，***表示统计学上的显著改进。特别是在合成spurious-motif数据集上，coras表现出一致性的优越性能。当偏差参数设置为0.5时，coras的准确性提高了12.88个百分点，并且比最强的基线gil具有更低的标准差。对于真实的ogbg数据集，coras在molhiv、molbbbp和molsider子数据集上表现出出色的性能。结果显示，在大多数设置中coras取得了统计学上的显著改进，而在molbace上的增益虽然微小但具有竞争力。值得注意的是，在多类任务中，如spurious-motif（3类）和ogbg-molsider（27类）数据集，改进显著。这种改进可能归因于多类任务中提取的合理性子图往往不准确，而coras可以有效地生成可靠的合理性进行更新。这些结果表明，我们提出的coras方法有效地对抗了训练集和测试集之间的分布变化，为图基分类提供了稳健的解决方案。

c. 选择标准的影响（rq2）
coras的主要贡献在于它能够选择具有小分类误差和大预测差异的合理性实例，作为输入到下游分类器中进行交叉更新的图合理性。为了评估合理性选择、可靠性和高差异标准在coras中的贡献，我们在spurious-motif和ogbg数据集上使用几种削减变体进行了实验。具体来说，我们通过将参数τ设置为0来拆解coras的合理性选择过程（如coras算法的第1行所示，称为coras-rd）。此外，我们修改了选择分数，它包括（8）中的分类和差异损失。我们通过从（4）中去除分类损失来专注于选择可靠的合理性（称为coras-r），并去除（7）来优先保持差异（称为coras-d）。我们进一步包括了一个两阶段变体，与线性减法设计进行比较，该设计依次选择分类损失较小然后预测差异较大的合理性。如图4所示，两种变体coras-r和coras-d的性能显著下降，突出了每个标准在整体框架中的关键作用。在coras-rd中观察到最差的表现，其中忽略了合理性选择，进一步强调了图合理性学习中合理性筛选的重要性。尽管两阶段变体因为同时考虑了两个标准而具有竞争力，但它不如coras稳定，并且需要额外的过滤阈值。这些发现表明，在开发先进的图基模型时，精心设计的合理性选择标准的重要性。

图4. spurious-motif和ogbg上几种削减变体的性能。

d. 初始化和分类器数量的影响
在我们的实验中，两个分类器使用不同的初始化方案，即正交初始化和kaiming初始化。两个分类器都与合理性提取器一起使用相同的标记图小批量进行训练。我们进一步研究了初始化方案和分类器数量的影响。如表iv所示，使用不同的初始化方案通常可以获得比使用相同的初始化方案更好的或可比的性能。这支持了我们使用独立初始化的分类器的设计选择。

表iv
分类器初始化的效果
然后我们研究了分类器数量k的影响。原则上，增加k可以提供更多样化的预测视图。然而，它也引入了额外的交叉更新设计选择，例如如何在分类器之间交换选定的合理性。表v报告了coras在ogbg分子数据集上使用k=2和k=3的性能。结果显示，使用三个分类器在这些数据集中带来了轻微的性能改进，但相对于增加的计算成本来说，收益是微不足道的。具体来说，给定一个batch大小b和一个分类器的p参数，每次迭代的额外复杂度是o(kb2+kb+(k?1)p)。因此，我们采用k=2作为默认设置，以平衡预测多样性、训练稳定性和计算效率。

表v
ogbg数据集上分类器数量的影响
e. p(x′p(x′≥e[x′]?l0f2m2+mn???????√2)≤exp(?(l0f2m2+mn???????√)22(m+n))，≤e[x′]+l0f2m2+mn???????√2)≥exp(?(l0f2m2+mn???????√)22(m+n))。(15) 由于n≥2(l0f2)2ln2h2δ，我们得到 exp(?(l0f2m2+mn???????√)22(m+n))≤δ2h2≤δ2。 因此，p(lf2≤ξ2)≥1?δ。同样，我们有p(lf1≤ξ1)≥1?δ。上述定理表明，尽管coras选择了具有高预测分歧的合理性进行交叉更新，但最终损失lf1的界限至少以1?δ的概率成立。分析表明，在所述假设下，两个分类器的最终分类损失有很高的概率保持有界，这支持了使用高分歧合理性进行交叉更新的稳定性。 g. 讨论 在这项工作中，我们认为提取的子图不是图分类的可靠合理性。我们强调了确保这些合理性的可靠性以增强其可解释性的重要性。为了解决这个问题，我们提出了coras框架来选择更可靠的合理性，并提供了理论稳定性分析。然而，需要指出的是，据我们所知，目前还没有方法可以确定这些子结构在现实世界的ood图中包含真正的合理性，因为真实的合理性是无法获得的。大多数现有工作通过模型的图分类性能[19]、[21]、[22]来展示提取的合理性子图的有效性，或者在合成数据集（如spurious-motif [17]）上进行验证。除了这个挑战之外，我们提出了一种评估方法，该方法涉及用高斯掩码生成的环境来增强合理性。这种方法的动机是假设提取的可靠合理性即使在随机增强后也应保持良好的性能，从而表明它们的强鲁棒性。实验的细节和结果在第v-e节中呈现。 第五节 实验 在本节中，我们首先在第五节a部分介绍实验设置，接着是第六节b部分的分类性能比较，以及第七节c-h部分我们提出方法的详细分析。为了展示coras与基线技术的性能对比，我们在真实世界基准测试和合成数据集上进行了实验，以回答以下问题： rq1：coras的泛化能力与最近的图理性学习方法在对抗ood分布方面的表现如何？ rq2：选择合理性的两个标准如何影响coras的性能？ rq3：coras的提取器提取的合理性有多强大？ rq4：coras是否有效地捕获了图分类的重要合理性？ rq5：coras是否需要大量的计算资源？ a. 实验设置 1) 数据集 为了验证coras的有效性，我们在合成spurious-motif数据集[17]、[21]以及多个真实世界的ogbg基准数据集[53]上进行了实验。这些数据集的统计信息如表i所示。spurious-motif [17]、[21]是一个用于预测每个图中motif分类的合成数据集。每个图包含两个不同的子图：motif子图（由circle、house和crane表示，分别对应于值r=0,1,2）和base子图（表示为Tree、Ladder、Wheel，值E=0,1,2）。值得注意的是，motif子图被指定为图标签背后的合理性，而base子图可以被视为环境。为了评估CoRas的有效性，我们手动生成了具有不同偏差程度的多个数据集。为了创建Spurious-Motif数据集，我们首先通过均匀采样每个motif来生成训练数据集，同时控制base分布，表示为P(E)。这个分布由偏差参数b决定，定义如下：P(E)=b×I(E=R)+(1?b)/2×I(E≠R)，其中b调节虚假相关程度。在本研究中，我们在训练数据集中使用了b值为0.5、0.7和0.9。对于测试数据集，我们随机配对motif和base，b设置为1/3。 open graph benchmark graph（ogbg）[53]是一个在图基任务中广泛使用的数据集，特别是在分子属性预测领域。我们的研究涉及ogbg-mol中的四个特定数据集：molhiv、molbace、molbbbp和molsider。这些数据集使用默认分割进行划分，确保每个分割包含一组独特的分子支架。 2) 实施细节 我们为实验提供了详细的配置。首先，我们对spurious-motif数据集采用了相同的5层gnn（即gin [2]），隐藏维度为128，对于ogbg数据集则为64。对于所有实验，控制合理性感知增强损失的超参数λ在（10）中设置为0.5。关于选择百分比，我们在算法1中调整控制参数τ的范围为[0.1,0.5]。spurious-motif数据集的最大训练周期设置为30，ogbg数据集设置为200。我们在训练集上训练模型，并在每个周期后用验证集进行评估，如果评估指标在指定的耐心周期数内没有改善，则停止训练。spurious-motif的耐心设置为10，ogbg数据集的耐心设置为40。批量大小设置为256。adam优化器[54]的学习率初始化为spurious-motif的5e-3，ogbg数据集的1e-3。所有实验都在nvidia 4090 gpu上执行，并使用不同的随机种子进行五次实验，性能报告采用实验结果的平均值和标准差。 3) 基线和指标 我们将我们的模型与最先进的方法进行比较，如下所述： dir [21]引入了一种不变的学习方法，该方法可以识别对随机干扰不变的因果合理性。 disc [38]是一个解耦的gnn框架，通过合成反事实无偏训练样本来学习因果和偏差子图。 cal [22]通过消除输入图中快捷方式的混淆效应来解决gnn中的虚假相关性问题。 dare [55]是一种应用于自然语言理解任务的高级合理性方法，它结合了解耦来增强合理性的提取。在这里，我们将其应用扩展到阐明gnn的广泛比较中。 gsat [39]通过基于注意力的固有gnn在分布变化下学习不变子图。 gil [36]使用聚类非合理性表示来获取局部环境，随后将这些环境与合理性集成以提高合理性表示的鲁棒性。 interrat [56]是一种因果干预方法，基于后门调整来消除输入和合理性之间的虚假相关性。 rgda [19]通过移除和替换环境来增强对环境子图带来的噪声信号的合理性表示学习。值得注意的是，grea方法[49]是rgda在图级别的一个变体；因此，我们使用rgda作为可比较的基线。 基于之前的工作[39]，我们使用acc（准确性）在spurious-motif上评估模型的性能，并使用roc-auc在ogbg-class数据集上进行评估。 表i spurious-motif和ogbg数据集的统计信息 b. 分类性能比较（rq1） 为了验证coras在对抗分布外（ood）图数据方面的泛化能力，我们在表ii和iii中报告了使用gin [2]和gcn [30]作为骨干的三个合成数据集（spurious-motif）和四个真实世界数据集（ogbg）的图分类性能。结果表明，coras在大多数评估设置中的表现优于其他合理性学习方法。 表ii 使用gin作为gnn骨干的spurious-motif和ogbg数据集的图分类性能（均值±标准差）。最佳结果以粗体显示，***表示统计学上的显著改进。 表iii 使用gcn作为gnn骨干的spurious-motif和ogbg数据集的图分类性能（均值±标准差）。最佳结果以粗体显示，***表示统计学上的显著改进。特别是在合成spurious-motif数据集上，coras表现出一致性的优越性能。当偏差参数设置为0.5时，coras的准确性提高了12.88个百分点，并且比最强的基线gil具有更低的标准差。对于真实的ogbg数据集，coras在molhiv、molbbbp和molsider子数据集上表现出出色的性能。结果显示，在大多数设置中coras取得了统计学上的显著改进，而在molbace上的增益虽然微小但具有竞争力。值得注意的是，在多类任务中，如spurious-motif（3类）和ogbg-molsider（27类）数据集，改进显著。这种改进可能归因于多类任务中提取的合理性子图往往不准确，而coras可以有效地生成可靠的合理性进行更新。这些结果表明，我们提出的coras方法有效地对抗了训练集和测试集之间的分布变化，为图基分类提供了稳健的解决方案。 c. 选择标准的影响（rq2） coras的主要贡献在于它能够选择具有小分类误差和大预测差异的合理性实例，作为输入到下游分类器中进行交叉更新的图合理性。为了评估合理性选择、可靠性和高差异标准在coras中的贡献，我们在spurious-motif和ogbg数据集上使用几种削减变体进行了实验。具体来说，我们通过将参数τ设置为0来拆解coras的合理性选择过程（如coras算法的第1行所示，称为coras-rd）。此外，我们修改了选择分数，它包括（8）中的分类和差异损失。我们通过从（4）中去除分类损失来专注于选择可靠的合理性（称为coras-r），并去除（7）来优先保持差异（称为coras-d）。我们进一步包括了一个两阶段变体，与线性减法设计进行比较，该设计依次选择分类损失较小然后预测差异较大的合理性。如图4所示，两种变体coras-r和coras-d的性能显著下降，突出了每个标准在整体框架中的关键作用。在coras-rd中观察到最差的表现，其中忽略了合理性选择，进一步强调了图合理性学习中合理性筛选的重要性。尽管两阶段变体因为同时考虑了两个标准而具有竞争力，但它不如coras稳定，并且需要额外的过滤阈值。这些发现表明，在开发先进的图基模型时，精心设计的合理性选择标准的重要性。 图4. spurious-motif和ogbg上几种削减变体的性能。 d. 初始化和分类器数量的影响 在我们的实验中，两个分类器使用不同的初始化方案，即正交初始化和kaiming初始化。两个分类器都与合理性提取器一起使用相同的标记图小批量进行训练。我们进一步研究了初始化方案和分类器数量的影响。如表iv所示，使用不同的初始化方案通常可以获得比使用相同的初始化方案更好的或可比的性能。这支持了我们使用独立初始化的分类器的设计选择。 表iv 分类器初始化的效果 然后我们研究了分类器数量k的影响。原则上，增加k可以提供更多样化的预测视图。然而，它也引入了额外的交叉更新设计选择，例如如何在分类器之间交换选定的合理性。表v报告了coras在ogbg分子数据集上使用k=2和k=3的性能。结果显示，使用三个分类器在这些数据集中带来了轻微的性能改进，但相对于增加的计算成本来说，收益是微不足道的。具体来说，给定一个batch大小B和一个分类器的P参数，每次迭代的额外复杂度是O(kB2+kB+(k?1)P)。因此，我们采用k=2作为默认设置，以平衡预测多样性、训练稳定性和计算效率。 表v ogbg数据集上分类器数量的影响>
p(x′p(x′≥e[x′]?l0f2m2+mn???????√2)≤exp(?(l0f2m2+mn???????√)22(m+n))，≤e[x′]+l0f2m2+mn???????√2)≥exp(?(l0f2m2+mn???????√)22(m+n))。(15)

由于n≥2(l0f2)2ln2h2δ，我们得到

exp(?(l0f2m2+mn???????√)22(m+n))≤δ2h2≤δ2。

因此，p(lf2≤ξ2)≥1?δ。同样，我们有p(lf1≤ξ1)≥1?δ。上述定理表明，尽管coras选择了具有高预测分歧的合理性进行交叉更新，但最终损失lf1的界限至少以1?δ的概率成立。分析表明，在所述假设下，两个分类器的最终分类损失有很高的概率保持有界，这支持了使用高分歧合理性进行交叉更新的稳定性。

g. 讨论

在这项工作中，我们认为提取的子图不是图分类的可靠合理性。我们强调了确保这些合理性的可靠性以增强其可解释性的重要性。为了解决这个问题，我们提出了coras框架来选择更可靠的合理性，并提供了理论稳定性分析。然而，需要指出的是，据我们所知，目前还没有方法可以确定这些子结构在现实世界的ood图中包含真正的合理性，因为真实的合理性是无法获得的。大多数现有工作通过模型的图分类性能[19]、[21]、[22]来展示提取的合理性子图的有效性，或者在合成数据集（如spurious-motif [17]）上进行验证。除了这个挑战之外，我们提出了一种评估方法，该方法涉及用高斯掩码生成的环境来增强合理性。这种方法的动机是假设提取的可靠合理性即使在随机增强后也应保持良好的性能，从而表明它们的强鲁棒性。实验的细节和结果在第v-e节中呈现。

第五节 实验

在本节中，我们首先在第五节a部分介绍实验设置，接着是第六节b部分的分类性能比较，以及第七节c-h部分我们提出方法的详细分析。为了展示coras与基线技术的性能对比，我们在真实世界基准测试和合成数据集上进行了实验，以回答以下问题：
rq1：coras的泛化能力与最近的图理性学习方法在对抗ood分布方面的表现如何？
rq2：选择合理性的两个标准如何影响coras的性能？
rq3：coras的提取器提取的合理性有多强大？
rq4：coras是否有效地捕获了图分类的重要合理性？
rq5：coras是否需要大量的计算资源？

a. 实验设置
1) 数据集
为了验证coras的有效性，我们在合成spurious-motif数据集[17]、[21]以及多个真实世界的ogbg基准数据集[53]上进行了实验。这些数据集的统计信息如表i所示。spurious-motif [17]、[21]是一个用于预测每个图中motif分类的合成数据集。每个图包含两个不同的子图：motif子图（由circle、house和crane表示，分别对应于值r=0,1,2）和base子图（表示为tree、ladder、wheel，值e=0,1,2）。值得注意的是，motif子图被指定为图标签背后的合理性，而base子图可以被视为环境。为了评估coras的有效性，我们手动生成了具有不同偏差程度的多个数据集。为了创建spurious-motif数据集，我们首先通过均匀采样每个motif来生成训练数据集，同时控制base分布，表示为p(e)。这个分布由偏差参数b决定，定义如下：p(e)=b×i(e=r)+(1?b)/2×i(e≠r)，其中b调节虚假相关程度。在本研究中，我们在训练数据集中使用了b值为0.5、0.7和0.9。对于测试数据集，我们随机配对motif和base，b设置为1/3。
open graph benchmark graph（ogbg）[53]是一个在图基任务中广泛使用的数据集，特别是在分子属性预测领域。我们的研究涉及ogbg-mol中的四个特定数据集：molhiv、molbace、molbbbp和molsider。这些数据集使用默认分割进行划分，确保每个分割包含一组独特的分子支架。

2) 实施细节
我们为实验提供了详细的配置。首先，我们对spurious-motif数据集采用了相同的5层gnn（即gin [2]），隐藏维度为128，对于ogbg数据集则为64。对于所有实验，控制合理性感知增强损失的超参数λ在（10）中设置为0.5。关于选择百分比，我们在算法1中调整控制参数τ的范围为[0.1,0.5]。spurious-motif数据集的最大训练周期设置为30，ogbg数据集设置为200。我们在训练集上训练模型，并在每个周期后用验证集进行评估，如果评估指标在指定的耐心周期数内没有改善，则停止训练。spurious-motif的耐心设置为10，ogbg数据集的耐心设置为40。批量大小设置为256。adam优化器[54]的学习率初始化为spurious-motif的5e-3，ogbg数据集的1e-3。所有实验都在nvidia 4090 gpu上执行，并使用不同的随机种子进行五次实验，性能报告采用实验结果的平均值和标准差。

3) 基线和指标
我们将我们的模型与最先进的方法进行比较，如下所述：
dir [21]引入了一种不变的学习方法，该方法可以识别对随机干扰不变的因果合理性。
disc [38]是一个解耦的gnn框架，通过合成反事实无偏训练样本来学习因果和偏差子图。
cal [22]通过消除输入图中快捷方式的混淆效应来解决gnn中的虚假相关性问题。
dare [55]是一种应用于自然语言理解任务的高级合理性方法，它结合了解耦来增强合理性的提取。在这里，我们将其应用扩展到阐明gnn的广泛比较中。
gsat [39]通过基于注意力的固有gnn在分布变化下学习不变子图。
gil [36]使用聚类非合理性表示来获取局部环境，随后将这些环境与合理性集成以提高合理性表示的鲁棒性。
interrat [56]是一种因果干预方法，基于后门调整来消除输入和合理性之间的虚假相关性。
rgda [19]通过移除和替换环境来增强对环境子图带来的噪声信号的合理性表示学习。值得注意的是，grea方法[49]是rgda在图级别的一个变体；因此，我们使用rgda作为可比较的基线。
基于之前的工作[39]，我们使用acc（准确性）在spurious-motif上评估模型的性能，并使用roc-auc在ogbg-class数据集上进行评估。

表i
spurious-motif和ogbg数据集的统计信息

b. 分类性能比较（rq1）
为了验证coras在对抗分布外（ood）图数据方面的泛化能力，我们在表ii和iii中报告了使用gin [2]和gcn [30]作为骨干的三个合成数据集（spurious-motif）和四个真实世界数据集（ogbg）的图分类性能。结果表明，coras在大多数评估设置中的表现优于其他合理性学习方法。

表ii
使用gin作为gnn骨干的spurious-motif和ogbg数据集的图分类性能（均值±标准差）。最佳结果以粗体显示，***表示统计学上的显著改进。
表iii
使用gcn作为gnn骨干的spurious-motif和ogbg数据集的图分类性能（均值±标准差）。最佳结果以粗体显示，***表示统计学上的显著改进。特别是在合成spurious-motif数据集上，coras表现出一致性的优越性能。当偏差参数设置为0.5时，coras的准确性提高了12.88个百分点，并且比最强的基线gil具有更低的标准差。对于真实的ogbg数据集，coras在molhiv、molbbbp和molsider子数据集上表现出出色的性能。结果显示，在大多数设置中coras取得了统计学上的显著改进，而在molbace上的增益虽然微小但具有竞争力。值得注意的是，在多类任务中，如spurious-motif（3类）和ogbg-molsider（27类）数据集，改进显著。这种改进可能归因于多类任务中提取的合理性子图往往不准确，而coras可以有效地生成可靠的合理性进行更新。这些结果表明，我们提出的coras方法有效地对抗了训练集和测试集之间的分布变化，为图基分类提供了稳健的解决方案。

c. 选择标准的影响（rq2）
coras的主要贡献在于它能够选择具有小分类误差和大预测差异的合理性实例，作为输入到下游分类器中进行交叉更新的图合理性。为了评估合理性选择、可靠性和高差异标准在coras中的贡献，我们在spurious-motif和ogbg数据集上使用几种削减变体进行了实验。具体来说，我们通过将参数τ设置为0来拆解coras的合理性选择过程（如coras算法的第1行所示，称为coras-rd）。此外，我们修改了选择分数，它包括（8）中的分类和差异损失。我们通过从（4）中去除分类损失来专注于选择可靠的合理性（称为coras-r），并去除（7）来优先保持差异（称为coras-d）。我们进一步包括了一个两阶段变体，与线性减法设计进行比较，该设计依次选择分类损失较小然后预测差异较大的合理性。如图4所示，两种变体coras-r和coras-d的性能显著下降，突出了每个标准在整体框架中的关键作用。在coras-rd中观察到最差的表现，其中忽略了合理性选择，进一步强调了图合理性学习中合理性筛选的重要性。尽管两阶段变体因为同时考虑了两个标准而具有竞争力，但它不如coras稳定，并且需要额外的过滤阈值。这些发现表明，在开发先进的图基模型时，精心设计的合理性选择标准的重要性。

图4. spurious-motif和ogbg上几种削减变体的性能。

d. 初始化和分类器数量的影响
在我们的实验中，两个分类器使用不同的初始化方案，即正交初始化和kaiming初始化。两个分类器都与合理性提取器一起使用相同的标记图小批量进行训练。我们进一步研究了初始化方案和分类器数量的影响。如表iv所示，使用不同的初始化方案通常可以获得比使用相同的初始化方案更好的或可比的性能。这支持了我们使用独立初始化的分类器的设计选择。

表iv
分类器初始化的效果
然后我们研究了分类器数量k的影响。原则上，增加k可以提供更多样化的预测视图。然而，它也引入了额外的交叉更新设计选择，例如如何在分类器之间交换选定的合理性。表v报告了coras在ogbg分子数据集上使用k=2和k=3的性能。结果显示，使用三个分类器在这些数据集中带来了轻微的性能改进，但相对于增加的计算成本来说，收益是微不足道的。具体来说，给定一个batch大小b和一个分类器的p参数，每次迭代的额外复杂度是o(kb2+kb+(k?1)p)。因此，我们采用k=2作为默认设置，以平衡预测多样性、训练稳定性和计算效率。

表v
ogbg数据集上分类器数量的影响
e.>提取的图理性（RQ3）的鲁棒性为了评估我们的理性提取器从输入图中生成理性的有效性，我们进行了一系列实验，旨在评估其在随机干扰条件下的性能。核心思想是，当预期带有不同环境的增强示例与输入图具有相同的标签时，可以识别或分离出这些理性。为了公平比较，这些干扰是通过在高斯掩码中增强理性来引入的，如第IV-A节所详述的，其中环境是使用Mi～N(0,1)生成的。这种方法旨在模拟可能影响理性提取性能的不可预测的噪声。前提是，如果CoRas在这样的随机增强下仍然保持高性能，那么它就证明了提取的理性的强大鲁棒性和可靠性。表VI展示了在Spurious-Motif和OGBG数据集上，竞争性基线RGDA和我们的方法CoRas的分类性能，特别是在高斯干扰下。性能指标表明，CoRas在这些数据集上显著优于RGDA。这种性能差异强调了验证提取的理性子图的可靠性和鲁棒性的重要性，这对于输入图可能受到噪声和其他形式干扰的现实世界应用至关重要。

表VI
在Spurious-Motif和OGBG数据集上受到高斯掩码干扰的图分类。改进值显示了百分比提升。

F. 提取的理性的可解释性（RQ4）在这里，我们通过使用定量指标和可视化示例来展示我们的CoRas模型提取的理性的可解释性，以评估CoRas是否真实地捕捉到了这些理性。

1) 定量指标为了验证学习到的图理性与真实图理性之间的对齐，我们在Spurious-Motif数据集上进行了实验，这是唯一一个拥有可访问的真实图理性的数据集。具体来说，我们在图5中报告了Precision@5值，该值衡量了与真实理性相比的前5个提取理性的精确度。结果显示，CoRas在0.5到0.9的偏差水平上始终能够达到高精度。值得注意的是，在0.5的偏差水平上，CoRas的Precision@5达到了0.6617，显著优于第二好的方法DARE，后者达到了0.2854。这些发现突显了CoRas在识别图理性方面的卓越能力，表明其解释性和理性忠实度得到了提高。

图5. 不同图学习方法中提取的前5个理性与真实理性的精确度比较。显示全部

2) 可视化为了说明理性学习的有效性，我们在图6中展示了来自Spurious-Motif测试数据集的三个可视化案例。蓝色突出的节点和边代表由CoRas的提取器识别的理性子图，如第IV-A节所述。在这个数据集中，应该将某个模式识别为理性子图。为了强调这个模式，我们用红色将其框出来。这些可视化展示了CoRas在识别理性感知子图方面的强大能力，即使它们嵌入在各种环境中也是如此。

图6. Spurious-Motif测试数据集中CoRas理性的可视化，其中图中蓝色突出的节点和边代表由CoRas的提取器识别的理性子图。在这个数据集中，应该将某个模式识别为理性子图。显示全部

具体来说，在图6(a)中，理性子图是一个圆，而基础图是一个轮子和一棵树。这表明我们的方法显著增强了提取器在存在未见干扰的情况下辨别理性的能力。图6(a)–(c)显示了从不同的基础子图（轮子和树）中成功提取了不同的理性子图——圆、房子和起重机。这进一步证明了CoRas提取器在识别各种理性方面的强大能力。这些发现表明CoRas在将相关子图与不相关的环境子图分开方面的有效性，从而提高了基于图的分类任务的准确性，并为推理提供了解释。

G. 超参数分析我们进一步分析了CoRas对其超参数的敏感性，通过固定一个超参数同时改变另一个超参数。超参数α（在(8)中）控制两个分类器之间的差异损失强度，在[0.1,1.0)范围内进行调整。如图7(a)所示，增加α通常会提高性能，表明强制更强的差异有助于两个分类器捕捉互补的预测模式。然而，当α超过大约0.5时，性能提升会饱和，这表明过强的差异可能提供的额外收益有限。因此，α=0.5在多样性和稳定性之间取得了良好的平衡，并被用于所有实验。

图7. 超参数α和τ对OGBG-MolBBBP和OGBG-MolSIDER的影响。显示全部

关于由阈值参数τ控制的选择比例，较小的τ值会保留更大比例的理性组成部分。因此，我们在[0.1,0.5]范围内调整τ。如图7(b)所示，当τ=0.3时，CoRas在两个数据集上都取得了最佳性能。值得注意的是，当τ增加到0.4时，在OGBG-MolBBBP上观察到了显著的性能下降，这表明过于激进的过滤可能会丢弃这个数据集中的信息性理性。原则上，τ的最佳选择取决于提取出的候选者中真实理性的未知比例。由于在训练期间无法获得这一比例，因此根据验证性能来选择τ。

H. 复杂性分析（RQ5）与其他方法（如RGDA [19]）相比，CoRas由于其理性选择机制和双分类器架构而引入了额外的计算复杂性。对于批量大小为B，使用(8)计算选择损失的计算成本为O(2B)，而通过(3)进行最小化过程生成理性集Rˉ1和Rˉ2的成本更高，为O(2B2)。此外，假设分类器参数的数量为P，训练双分类器的开销增加了O(P)。因此，CoRas每次迭代的总额外复杂度为O(2B2+2B+P)。这种复杂性的增加反映了计算成本与方法有效性之间的权衡。虽然CoRas需要略微更多的计算资源，但它显著提高了理性子图的可靠性和可解释性，正如我们在实验中所示（见第V-B节），使其成为处理开放域（OOD）图数据的图理性学习的稳健方法。CoRas和RGDA的时间和GPU使用情况是在OGBG-MolHIV数据集（32,901个图）上测量的，使用的是GeForce RTX 4090，批量大小为256。CoRas每个时代取得了5.17秒的运行时间，并使用了1786 MB的GPU内存。这些结果表明，CoRas在提取OOD数据的理性时所需的计算资源最少，同时仍保持了其有效性，这一点通过实验分析得到了证明。

第六节
结论和未来工作在这项工作中，我们发现了现有图理性学习方法中的一个关键限制：提取的理性子图的可靠性通常被隐含地假设，但很少被检验。实际上，提取器产生的理性可能是不可靠的，特别是在训练的早期阶段，当提取器还不成熟时。为了解决这个问题，我们提出了Cooperative Rationale Selection（CoRas），这是一个旨在提高图理性可靠性和鲁棒性的新框架。CoRas利用两个分类器，并共同考虑小损失标准和预测差异来识别用于模型更新的可靠理性。这种协作选择策略有助于减少选择偏差，并通过逐步过滤掉不可靠的理性来稳定学习过程。在合成数据集和真实世界基准测试上的广泛实验表明，CoRas一致地提高了图分类性能，并产生了更可靠的理性，特别是在分布外（OOD）设置下。这些结果强调了考虑可靠性理性的重要性，并为鲁棒的图理性学习指出了一个有前途的方向。

在CoRas的贡献基础上，有几个方向值得进一步研究以推进图理性学习。首先，尽管这项工作专注于图级别的图理性学习用于图分类，但将协作理性选择扩展到其他图任务（如节点分类和链接预测）是一个重要的未来方向。这样的扩展需要为理性候选者、选择损失、OOD设置和理论分析定义特定的任务。另一个有前景的方向是自适应理性选择策略，用于动态和不断变化的图结构，例如时间图或流图，在这些图中，理性可能需要随着时间的推移而演变以反映变化的关系和结构模式。另一个重要的方向是将提取的理性与领域专业知识或人类可理解的解释对齐。这包括设计评估理性的语义有效性的评估指标，确保它们不仅计算上可靠，而且在实际应用中也是可解释和有意义的。