通过Lipschitz正则化增强恒定曲率图卷积网络的鲁棒性

《ACM Transactions on Knowledge Discovery from Data》：Enhancing Robustness of Constant Curvature Graph Convolutional Network with Lipschitz Regularization

　　摘要AI
要查看此由AI生成的摘要，您必须具有高级访问权限。了解更多信息请登录。

摘要
非欧几里得空间由于其几何属性，本质上能够为层次化和循环数据提供高保真嵌入。现有的方法在恒定曲率空间的框架内统一了双曲和球面嵌入。然而，当前的Lipschitz正则化方法仅限于非正曲率几何体，如双曲和欧几里得空间，无法自然扩展到一般的恒定曲率设置。在本文中，我们对恒定曲率图卷积网络（κ-GCN）进行了严格的Lipschitz分析，并通过Lipschitz正则化提高了它们的鲁棒性。我们推导了恒定曲率空间中Lipschitz常数的上界，从而规范了κ-立体模型（κ-stereographic model）的Lipschitz极限。此外，我们将这些界限纳入κ-GCN的正则化框架中，以提高稳定性和鲁棒性。实验结果表明，所提出的正则化方法通常能增强κ-GCN在各种曲率条件下的鲁棒性，尤其是在高斯特征噪声的情况下。

AI摘要
（实验生成的摘要）
该摘要是使用自动化工具生成的，并非由文章作者撰写或审阅。它旨在帮助发现、评估相关性，并协助来自相关研究领域的读者理解该工作。它旨在补充作者提供的摘要，后者仍然是论文的主要摘要。全文仍然是权威版本。点击此处了解更多信息。
点击此处对该摘要的准确性、清晰度和实用性进行评论。这样做将有助于改进未来的版本。
要查看此由AI生成的简易语言摘要，您必须具有高级访问权限。

1 引言
在欧几里得空间中运行的图神经网络（GNNs）[17]已成为图数据表示的标准方法，并展示了强大的实证性能。然而，欧几里得GNNs在捕捉层次结构[5, 44, 50]方面存在困难，而这些层次结构在知识图谱、分类法和树状数据集中非常普遍。这些层次关系暴露了仅限于欧几里得几何学的嵌入的表示限制。正如Wu等人[46]所指出的，图数据的不规则、非欧几里得和高度复杂性阻碍了基于欧几里得表示方法的有效性。因此，最近的研究[7, 16, 21, 24, 37]探索了双曲空间用于图嵌入，因为它们能够自然地保留层次关系并实现较低的失真[6]。虽然双曲表示有效地模拟了层次结构，但在处理循环或流形状数据[20, 25, 53]时表现出较差的归纳偏差。为了克服这一限制，κ-GCNs[3]扩展了旋量空间框架，并在κ-立体模型中统一了恒定曲率空间，实现了正负曲率之间的无缝转换。然而，在非欧几里得几何体中运行的网络仍然面临由曲率引起的失真带来的固有优化挑战。当特征离原点越远时，梯度可能会呈指数增长，导致不稳定性和梯度爆炸。为了缓解这种效应，Li等人[26]为双曲神经网络（HNNs）引入了Lipschitz正则化，限制了模型输出的敏感性并提高了鲁棒性。

Lipschitz连续性提供了一种基本的平滑度度量方法，通过限制函数输出对其输入变化的程度来衡量。在神经网络中，Lipschitz常数量化了这种敏感性，对其施加限制是提高鲁棒性的有效手段。正则化Lipschitz常数已被证明可以增强模型的稳定性和对抗性或噪声扰动的抵抗力[2, 13, 19, 42, 43]。与其他平滑度约束相比，Lipschitz正则化提供了更强且更可解释的模型行为控制[11]。然而，现有研究仅调查了欧几里得或负曲率（双曲）空间中的Lipschitz正则化[2, 9, 26, 55]，在理解Lipschitz约束如何推广到恒定曲率设置方面还存在空白。在欧几里得网络中，线性和卷积层表现出简单的线性映射，产生统一的Lipschitz常数[1, 13, 43]。相比之下，κ-GCN中的每个前馈层都涉及与曲率相关的非线性操作，例如莫比乌斯加法和曲率感知矩阵乘法，从而产生不同的Lipschitz行为[3, 7, 16]。这种内在的非线性使得在恒定曲率空间中定义和限制Lipschitz常数变得不那么简单，这激发了我们的理论分析。

在本文中，我们对κ-GCNs进行了严格的Lipschitz分析。通过系统地表征其前馈层的Lipschitz属性，我们更深入地了解了曲率如何影响非欧几里得信息传递的稳定性和鲁棒性。推导出的理论界限进一步被纳入训练过程作为正则化约束，以提高输出稳定性和鲁棒性。
我们的主要贡献总结如下：
- 我们推导了κ-GCNs的Lipschitz常数的上界，并在κ-立体模型中建立了统一的公式。该公式包括关键的几何操作，包括莫比乌斯加法、-右矩阵乘法、-左矩阵乘法和曲率依赖的非线性激活函数。
- 我们将推导出的Lipschitz界限纳入正则化框架中，有效增强了κ-GCNs在不同曲率条件下的抗噪声和抗扰动能力。
- 我们在不同噪声水平下的节点分类任务上评估了所提出的方法，证明了在主要的高斯噪声协议中稳定性和鲁棒性的提升，以及在额外扰动协议下的竞争性能。

2 相关工作
2.1 恒定曲率图卷积网络
在欧几里得空间中的GNNs可能在处理具有非欧几里得结构的数据时表现不佳。Ganea等人[16]观察到，在欧几里得空间中嵌入层次数据不可避免地会导致失真，并利用双曲空间来嵌入此类数据。然而，双曲空间嵌入仅适用于层次化数据集，无法有效嵌入球面或循环数据集[10, 28]。为此，Bachmann等人[3]扩展了球面中的立体投影和双曲空间中的Poincaré模型，将其统一到具有恒定曲率的κ-立体模型中。这种方法统一了正负曲率的空间，并允许曲率成为一个可学习的参数。然而，这些方法的基本操作在非欧几里得几何体中并不适用，需要映射到切空间[21, 37, 39, 40, 48]。特别是，CongREGATE[39]研究了曲率空间中的对比图聚类，而SelfMGNN[41]提出了一种自监督的混合曲率GNN。这些工作与我们的工作互补：它们专注于表示学习目标，而我们提供了在整个κ-立体模型中的统一操作级Lipschitz分析，并利用它进行鲁棒性正则化。与它们的欧几里得对应物相比，这些操作可能会引入更大的不稳定性[8, 31]。

2.2 神经网络的鲁棒性
提高神经网络的鲁棒性一直是研究的重点[14, 57]。在双曲几何中，大多数先前的研究集中在HNNs的嵌入稳定性和数值稳定性上[29, 51]。然而，这些研究没有考虑噪声扰动的影响，这可能导致在欧几里得空间中更严重的漏洞[12, 16, 18, 23, 35]。Li等人[26]首次提出了通过Lipschitz常数的上限来正则化HNNs以解决噪声扰动的问题，有效提高了模型对噪声的抵抗力。Lipschitz常数描述了函数输出变化的有界性。神经网络中的较大Lipschitz常数往往是鲁棒性较差的原因，因为它使网络更容易受到噪声扰动[42]。最近，一些研究利用Lipschitz连续性来优化神经网络的鲁棒性，取得了有希望的结果[52]。理论工作还检查了深度GCNs的稳定性和泛化能力，提供了突出图滤波器和网络深度作用的上界[49]。补充地，多拓扑对比学习探索了利用多样化的图结构和子图来提高表示的鲁棒性和有效性[47]。不幸的是，之前的工作[29, 51]尚未为κ-GCNs推导出Lipschitz正则化。因此，当曲率为负时，κ-GCNs仍然面临梯度爆炸和抗噪声能力不足的问题。据我们所知，这项工作首次为整个κ-立体模型中的所有关键κ-GCN操作（包括-左和-右矩阵乘法）提供了封闭形式的Lipschitz上界，并将这些界限作为鲁棒性的实际正则化器。

3 恒定曲率图卷积网络的Lipschitz界限
3.1 前提
κ-GCNs将双曲空间中的旋量空间操作扩展到恒定曲率空间，通过κ-立体模型实现了恒定曲率空间中旋量空间操作的统一框架。在本节中，我们回顾了κ-立体模型中的操作和Lipschitz常数上界的推导方法。附录O中的表格O1提供了本工作中使用的所有符号的完整列表和解释。
3.1.1 恒定曲率空间的几何
κ-GCNs通过κ-立体模型将HNNs扩展到恒定曲率空间。我们提供了[38, 41, 45]总结的定义。
具有恒定曲率的κ-立体模型是一个光滑流形[ ]，配备了一个黎曼度量[ ]，其中[ ]是单位矩阵， [ ]定义为：(1)
具体来说，当[ ]时，[ ]是球面空间的立体模型。另一方面，当[ ]时，[ ]是半径为[ ]的双曲空间的Poincaré球模型。这里，[ ]表示[ ]的范数。值得注意的是，共形因子[ ]控制了局部度量失真。当[ ]接近球体边界时，[ ]会增加，这放大了雅可比范数，并与κ-GCNs中嵌入远离原点时的梯度爆炸有关。当[ ]时，相同的因子对于较大的[ ]会减小，产生相反的趋势。因此，我们的界限中出现的[ ]项提供了曲率、嵌入范数和敏感性之间的直接联系。
在[ ]上引入的距离函数由下式给出：(2)
其中[ ]当[ ]时等于[ ]，当[ ]时等于[ ]，当[ ]时简化为[ ]。其逆由下式给出：(3)
其中[ ]是κ-立体模型中的莫比乌斯加法，如下所示：(4)
设[ ]和[ ]，其中[ ]表示[ ]的切空间，使得[ ]和[ ]。[ ]将[ ]映射到[ ]，[ ]将[ ]映射到[ ]。它们的操作方法由下式给出：(5) (6)
我们可以如下推导出κ-立体球模型中的标量-向量乘法、矩阵-向量乘法和激活函数：(7) (8) (9)
其中[ ]是一个矩阵，[ ]是一个激活函数。

3.1.2 κ-GCN中的特征转换
在κ-GCN中，前馈层包括κ-立体模型中的矩阵左乘法和矩阵右乘法。更多细节如下。
假设一个具有κ-立体嵌入的矩阵[ ]及其权重矩阵[ ]。-右矩阵乘法由下式给出：(10)
其中[ ]，[ ]定义为[ ]的第[ ]行。
对于具有κ-立体嵌入的[ ]和[ ]。-左矩阵乘法为(11)
其中[ ]定义为：(12)
其中当[ ]时，[ ]。
定义一个具有节点特征[ ]的图，其中[ ]是邻接矩阵，[ ]包含每一行的[ ]。前馈层由下式定义：(13)
其中[ ]和[ ]分别是层的激活和参数矩阵；[ ]，[ ]和[ ]。
3.1.3 Lipschitz常数
Lipschitz常数是衡量模型鲁棒性的重要指标。通过控制前馈层的Lipschitz上界，可以有效地提高神经网络的鲁棒性和稳定性。我们简要回顾了计算Lipschitz常数的方法。
对于一个函数[ ]，在其上的Lipschitz连续性意味着存在一个常数[ ]，使得对于所有[ ]：(14)
方程(14)中的[ ]的最小值称为[ ]的Lipschitz常数。由于直接推导[ ]的值很困难，我们使用[ ]在[ ]处的雅可比矩阵[ ]来获得一个局部谱范数界限：(15)
假设一个[ ]，对于该[ ]：(16)
其中[ ]是[ ]的谱范数。对于可微的[ ]，其在定义域上的上确界提供了Lipschitz常数的上界。因此，以下推导使用雅可比谱范数上界作为实际的局部Lipschitz代理。

3.2 恒定曲率图卷积网络的鲁棒性
第3.1节中定义的κ-GCNs的前馈层主要由方程(13)给出，其中包括κ-立体模型中的矩阵右乘法、矩阵左乘法和非线性激活函数。我们分析了这些非线性操作，并推导出κ-立体模型中矩阵右乘法、矩阵左乘法和非线性激活函数的Lipschitz上界。此外，我们在附录A中推导了κ-立体模型中莫比乌斯加法的Lipschitz上界。在整个推导过程中，我们假设涉及的向量范数和分母是非零且定义良好的；在实现中，这些项使用一个小的数值稳定器进行评估。对于[ ]，假设输入远离[ ]的极点，以便[ ]。
为了避免行/列雅可比约定的歧义，我们使用向量的转置操作来进行证明。我们提供了以下结论。引理3.1（-立体模型中的转置运算）。假设和，并且：（17）其中表示矩阵的转置。证明：由于我们使用了这些特性，可以写成：□引理3.2。的上界等于的上界，其中是一个函数（例如）。证明。定义函数为：定义的上界。对于任何，其中，可以推导出：因此和具有相同的上界。□在继续进行正式推导之前，我们介绍了的广义定义，并推导出一些预备定义，这些定义为我们后续的统一模型奠定了基础。关于的导数，当，；，。我们可以在-立体模型中以统一的形式推导出：（18）-立体模型的其他统一形式定义如下。可以定义为：（19）和可以定义为：（20）（21）3.2.1 -右矩阵乘法的Lipschitz上界。在方程（10）中，我们假设是-右矩阵乘法的雅可比矩阵。我们定义为中的第行的转置矩阵，定义为权重矩阵的转置矩阵。-右矩阵乘法的推导在附录B中提供，我们直接在下面提供结果。定理3.3（-右矩阵乘法的Lipschitz上界）。（22）3.2.2 -左矩阵乘法的Lipschitz上界。对于方程（11），我们定义。类似于-右矩阵乘法，假设，可以推导出：（23）假设，我们定义。我们定义和为的雅可比矩阵。类似于-右矩阵乘法，可以直接推导出的结果：（24）我们在下面给出-左矩阵乘法的Lipschitz上界。定理3.4（-左矩阵乘法的Lipschitz上界）。（25）其中输入特征矩阵以向量化欧几里得（等价于Frobenius）范数测量，并且和满足：（26）（27）我们在附录C中给出-左矩阵乘法的Lipschitz上界的证明。3.2.3 非线性激活的Lipschitz上界。对于方程（9），我们定义是非线性激活的雅可比矩阵，是激活函数的雅可比矩阵。类似于-右矩阵乘法和-左矩阵乘法的推导，我们直接显示结果。定理3.5（非线性激活的Lipschitz上界）。（28）其中由激活函数定义。3.3 对导出的Lipschitz上界的直观解释我们推导出的Lipschitz上界提供了对模型鲁棒性如何由几何形状、节点位置和图结构共同决定的直观理解。具体来说，在负曲率的双曲空间中，上界公式中的分母项表示当节点特征远离原点时，该项趋近于零，导致上界急剧增加，这捕捉了双曲空间中的固有不稳定性。在正曲率的球形空间中，分母项起抑制作用，防止上界无限增长。此外，这个上界不是一个全局常数，而是取决于节点特征的范数，表明其在空间中特定位置的局部性质。最后，对于图聚合操作，上界还与通过邻接矩阵的相关项相关联，将节点的稳定性与其局部邻域结构联系起来，揭示了-GCNs鲁棒性的多方面来源。3.4 损失函数方程（22）、（25）和（28）为输入特征提供了逐节点的Lipschitz上界。我们通过对节点取最大逐行界限来获得层级正则化代理。对于前馈层，特征依次经过-右矩阵乘法、-左矩阵乘法和非线性激活步骤。根据链式法则，我们将相应的逐行上界相乘以形成前馈层的Lipschitz正则化项。我们的正则化项可以定义为，其中是-右矩阵乘法中第行的Lipschitz上界，是-左矩阵乘法中第行的Lipschitz上界，是非线性激活中第行的Lipschitz上界。我们引入系数a、b和c来表示这三个因素。由于这些系数仅通过它们的乘积出现，我们设置并将它们作为一个单一的正则化系数。我们定义是带有Lipschitz正则化的-GCN的损失函数，是-GCN的损失函数以及图卷积网络[3]的损失函数。如下推导：（29）因此，设置得到：（30）4 实验4.1 数据集我们通过节点分类[22]在涵盖同质引用网络（Cora [30]、Citeseer [30]、Pubmed [34]、DBLP [4]）和合作图（CoauthorCS [36]）的数据集上评估鲁棒性。表1报告了数据集的统计信息。为了评估异质性下的鲁棒性，我们还在Wikipedia网络图（Chameleon、Squirrel）和Film（Actor）上报告了结果，并在补充评估[32、33]中包括了WebKB风格的图。我们使用多个随机种子并报告平均值标准差。除非另有说明，否则我们将节点按60/20/20的比例划分为训练/验证/测试。表1. 数据集节点边特征类别Cora2,70810,5561,4337Pubmed19,71788,6485003Citeseer3,3279,1043,7036DBLP17,716105,7341,6394CoauthorCS18,333163,788680515数据集统计4.2 实验设置我们在-GCN的前馈层添加了Lipschitz正则化。具体来说，我们将-右矩阵乘法、-左矩阵乘法和非线性激活的Lipschitz常数相乘，以获得一个转换的Lipschitz常数的上界，并在节点上取最大值。这个量乘以一个正则化权重并加到总损失中。的值是在每个协议家族的验证中从候选网格中选择的，候选网格和选定的值与相应的协议结果一起在附录中报告。协议边界和选择规则。我们在多个协议家族下评估鲁棒性，并不将它们混合进行绝对准确性的比较。协议家族包括高斯特征噪声、有针对性的结构重连攻击[56]、特征空间投影梯度下降（PGD）攻击[27]，以及用于额外验证的异质性和合成模板条件[54]。此外，我们在高斯特征噪声协议家族下报告了链接预测任务的扩展。超参数仅在每个协议家族内使用验证指标进行选择。因此，Normal、-GCN-和-GCN-lip之间的比较是协议内部的，而跨协议的结论仅通过相对摘要（如准确性变化和预算曲线下面积）报告。随机性和种子对齐。我们报告了重复种子下的平均值标准差。对于在相同数据集和协议家族下的成对方法比较，种子在Normal、-GCN-和-GCN-lip之间对齐。此外，攻击随机性在每个协议家族内通过固定策略控制，相应的运行次数与协议结果一起在附录中报告。在实验中，我们使用2层-GCN。默认情况下，隐藏层有16个维度，负曲率和正曲率子空间之间的比例为8/8（例如）；我们在附录L（表L1）中进一步消除了不同的分配比例。我们将提出的Lipschitz正则化应用于第一个隐藏层。第二层是输出层，由-GCN定义，其输出维度由分类类别的数量确定。曲率是可学习的，并使用学习率为0.001的梯度下降进行优化。初始曲率值设置为负曲率-0.5，正曲率-0.02。对于欧几里得几何参数，我们使用学习率为0.001的ADAM优化器。实验重复6次，使用不同的随机种子（报告平均值±标准差）。我们为Cora和Citeseer数据集设置200个周期，为Pubmed、DBLP和CoauthorCS数据集设置150个周期。4.3 鲁棒性评估协议为了突出我们方法对扰动的鲁棒性，我们在输入节点特征中添加高斯噪声。噪声偏差设置为0.001、0.005和0.01。此外，我们还评估了清洁数据和高噪声设置，偏差分别为0.1和1.0。我们比较了以下方法。我们与HGCN-lip [26]进行比较，它在两层双曲面上应用Lipschitz正则化。我们还与HGCN-IMBA [15]进行比较，它在双曲模型中增加了层次不平衡学习框架。作为欧几里得和恒定曲率的基线，我们包括Normal，即没有正则化的-GCN，以及应用相同两层结构的-GCN- [3]。最后，-GCN-lip使用了本工作中推导的Lipschitz正则化。此外，我们还评估了在高斯特征噪声之外的威胁模型下的鲁棒性。我们研究了在评估子图内执行预算重连的有针对性结构攻击，并在PGD约束下研究了对抗性特征扰动。此外，我们还包括了异质性基准和合成图作为额外的协议家族，以验证在具有挑战性拓扑结构下的鲁棒性。详细的协议、超参数选择规则和完整结果在附录E-I中报告。此外，高斯特征噪声下的链接预测协议和结果在附录N中报告。4.4 比较研究我们在高斯特征噪声下的实验结果在表2-7中提供，其中表2报告了std=0.001时的测试准确性，表3报告了std=0.005时的结果，表4报告了std=0.01时的结果，表5和表6报告了std=0.1和std=1时的高噪声设置，表7报告了清洁准确性。此外，Cora数据集在随机结构扰动下的结果在附录E中报告。结果表明，与没有正则化的相同骨干相比，-GCN-lip在高斯特征噪声下提高了或保持了鲁棒性，并与正则化变体进行了比较。表2. 方法CoraPubmedCiteseerDBLPCoauthorCSHGCN-lip0.7665 0.00050.7750 0.00830.7250 0.00600.8431 0.00650.8998 0.0017HGCN-IMBA0.7846 0.01040.4155 0.00090.7135 0.01100.8347 0.00030.8979 0.0121Normal0.8413 0.00180.7966 0.00250.7087 0.00450.8050 0.01270.8501 0.0053-GCN-0.8496 0.00270.8094 0.00290.7252 0.00450.8274 0.00380.8713 0.0014 -GCN-lip（我们的）0.8560 0.01300.8188 0.00140.7454 0.00530.8447 0.00100.9034 0.0019带标准差=0.001的噪声数据的测试准确性粗体表示每列中的最大值。表3. 方法CoraPubmedCiteseerDBLPCoauthorCSHGCN-lip0.7215 0.00550.7584 0.00840.7166 0.00120.8353 0.00200.8731 0.0038HGCN-IMBA0.7776 0.00580.4235 0.00330.6570 0.00260.8344 0.00300.8662 0.0028Normal0.8044 0.01480.7780 0.00310.7192 0.00300.8161 0.01170.8234 0.0157-GCN-0.8219 0.00090.8024 0.00280.7282 0.00300.8377 0.00060.8377 0.0057 -GCN-lip（我们的）0.8312 0.00090.8177 0.00310.7379 0.00520.8471 0.00050.8771 0.0012带标准差=0.005的噪声数据的测试准确性粗体表示每列中的最大值。表4. 方法CoraPubmedCiteseerDBLPCoauthorCSHGCN-lip0.7283 0.00990.7490 0.00100.7196 0.00790.8411 0.00040.8421 0.0170HGCN-IMBA0.7635 0.00270.4139 0.01110.5131 0.01110.8292 0.00060.8440 0.0005Normal0.7564 0.00550.7411 0.01490.6944 0.00080.7955 0.03140.8510 0.0071-GCN-0.8136 0.01290.7944 0.00510.7162 0.00150.8183 0.01520.8594 0.0083-GCN-lip（我们的）0.8551 0.00280.8138 0.00330.7305 0.00530.8470 0.00030.8768 0.0056带标准差=0.01的噪声数据的测试准确性粗体表示每列中的最大值。表5. 方法CoraPubmedCiteseerDBLPCoauthorCSHGCN-lip0.4710 0.00300.4733 0.00660.4841 0.00270.7440 0.00030.8488 0.0033HGCN-IMBA0.5004 0.00610.3920 0.00400.3226 0.00200.7336 0.00440.8423 0.0050Normal0.4926 0.01110.4424 0.01070.4211 0.05330.7169 0.01630.8189 0.0060-GCN-0.5166 0.00740.5218 0.00480.4714 0.00300.7740 0.01300.8236 0.0124-GCN-lip（我们的）0.5830 0.00920.5599 0.01800.5300 0.00950.8154 0.00110.8534 0.0012带标准差=0.1的噪声数据的测试准确性粗体表示每列中的最大值。表6. 方法CoraPubmedCiteseerDBLPCoauthorCSHGCN-lip0.4650 0.00300.4733 0.00660.4841 0.00270.7440 0.00030.8488 0.0033HGCN-IMBA0.5004 0.00610.3920 0.00400.3226 0.00200.7336 0.00440.8423 0.0050Normal0.4926 0.01110.4424 0.01070.4211 0.05330.7169 0.01630.8189 0.0060-GCN-0.5166 0.00740.5218 0.00480.4714 0.00300.7740 0.01300.8236 0.0124-GCN-lip（我们的）0.5830 0.00920我们的实验表明，模型的准确性随着参数的增加而呈现出先稳定后下降的趋势。这表明过度强调正则化会导致性能下降，可能是因为过于严格的约束降低了模型适应数据中复杂特征的能力。此外，为了展示我们的正则化如何控制Lipschitz上界，我们的实验在图2中展示了在不同参数下，Cora、Pubmed和Citeseer数据集的节点分类任务中Lipschitz上界的变化。此外，我们在表8中为三种损失函数进行了消融实验，这些实验从实证角度支持了Lipschitz上界三个组成部分对模型鲁棒性的贡献。进一步地，我们在附录J中报告了在针对性结构攻击下的组件消融实验，其中每个正则化组分的贡献取决于数据集，而完整正则化组合通常具有竞争力。我们还在附录K和L中报告了曲率模式消融和维度分割消融，以评估纯双曲、纯球面、纯欧几里得以及混合曲率设置，以及不同的分割比例。

图2显示了在不同参数值下，随着训练次数的增加，Lipschitz上界的变化情况。图(c)中的Pubmed诊断结果显示了100次训练的结果。

表8列出了不同参数值下各方法的平均训练时间。其中，“Full”表示使用了所有组件的完整正则化（包括-right、left和activation）。粗体字表示每列中的最大值。

4.6 复杂度分析
我们通过分析-GCNs前馈层中关键操作的计算复杂性来推导Lipschitz上界的复杂性。对于-right矩阵乘法，每行的主要成本是计算输入特征的范数，其复杂度为O(m*n)，其中m表示矩阵的行数，n表示特征的数量。对于-left矩阵乘法，额外的邻接矩阵聚合操作复杂度为O(n*m)。对于非线性激活函数，与-right矩阵乘法类似，其复杂度也是O(m*n)。总体而言，计算-GCNs单层Lipschitz上界的计算复杂度为O(m*n)。对于具有p层的模型，总复杂度为O(m*p*n)。在表9中，我们报告了使用单个Nvidia GeForce RTX 4090 GPU在CoauthorCS数据集上进行三次训练会话的平均训练时间。与-GCN-和Normal方法相比，我们的方法仅显示出适度的开销，表明了该方法的实际效率。

5. 讨论
第3.1节和第3.2节中推导出的表达式是用于分析和正则化的上界，而不是用于计算精确的Lipschitz常数。特别是，精确的常数需要对输入域上的雅可比谱范数进行最大化，这对于依赖曲率的层来说是通常不可行的。此外，-stereographic度量通过共形因子引入了位置相关的缩放，因此全局紧密性还需要对嵌入范数进行显式约束。尽管如此，一个保守的上界仍然可以作为有效的正则化代理。第3.4节中的损失函数惩罚了嵌入向具有强度量畸变区域漂移时发生的敏感性放大。值得注意的是，该上界通过共形因子继承了正确的几何趋势，这是阻止负曲率下不稳定的更新所需的主要信号，同时仍与正曲率兼容。我们通过将推导出的上界与附录M和表M1中报告的基于雅可比的实证估计值进行比较，从而从实证上评估了其保守性。结果表明该上界是保守的，这对于封闭形式分析来说是预期的。然而，这种代理在实践中仍然有用，并且在考虑的扰动范围内可以提高模型的鲁棒性，如第4节和补充协议评估中所报告的那样。

最后，统一的-stereographic公式提供了额外的实际优势。该正则化器既适用于-right矩阵乘法也适用于-left矩阵乘法，并且可以实现与底层框架相似的计算开销。此外，操作级别的组件使得可以针对性地进行消融，帮助理解哪些几何操作对鲁棒性贡献最大。

6. 结论与局限性
在这项工作中，我们对-GCNs的前馈层进行了全面的Lipschitz分析，并推导出了一种原则性的Lipschitz正则化方案。此外，我们在-stereographic模型内统一了正则化过程，确保了在不同曲率空间中的一致性。实验结果表明，我们提出的正则化方法在处理高斯特征噪声时增强了-GCNs的鲁棒性，同时在其他扰动协议下也表现出数据集依赖的行为。除了实证鲁棒性之外，我们的分析还提供了关于曲率如何影响GNNs的Lipschitz连续性的几何视角。这揭示了曲率与Lipschitz约束之间的相互作用从根本上控制了非欧几里得空间中信息传播的稳定性。这种观点将几何深度学习和鲁棒优化联系起来，为在不同曲率环境下设计稳定模型提供了统一的理论基础。然而，控制Lipschitz常数的正则化参数是通过使用十的幂次进行网格搜索来 empirically 确定的。近似值的选择基于这些实验中观察到的最大性能。然而，这种粗粒度的参数选择策略可能会限制最优参数的精确度，提示未来工作可以采用更精细的搜索策略或利用元学习和贝叶斯优化技术来自动调整参数，以实现跨数据集和曲率配置的自适应鲁棒性。