用于不确定性感知图学习的结构化熵量化方法

《Pattern Recognition》：Structured entropy quantification for uncertainty-aware graph learning

　　• 双熵从局部和全局视角量化边部的可靠性。
• 不对称条件熵模型模拟方向性因果流。
• 闭环校准通过梯度反馈调整权重。
• 即插即用模块能够增强任何图神经网络（GNN）框架。

**引言**
图结构数据广泛应用于各个领域，包括社交网络、引用图、知识库和生物系统。在这些领域中，图神经网络（GNN）通过递归融合来自邻居的信息，已成为学习表示的主要范式[1]、[2]、[3]、[4]。这种邻域融合机制使GNN能够捕捉图中的丰富结构信息，为它们在节点分类、链接预测和图分类等任务中的成功奠定了基础[5]、[6]、[7]、[8]。尽管在实证研究中取得了成功，但现实世界中的图很少是完全无噪声或完备的。它们通常受到噪声、缺失连接和结构异质性的影响。这些不完美因素给信息传播过程带来了显著的不确定性[9]。然而，传统的GNN盲目地信任所有观察到的边，假设所有边都具有相同的可靠性，而忽略了噪声和不确定性的存在。这是因为它们受到固定、预定义的图结构的限制，无法适应现实世界图中固有的不确定性[10]。因此，这一限制在两种情况下尤为明显：首先，噪声边会误导融合过程；其次，节点的重要性各不相同，标准传播方法无法捕捉到这一点，这凸显了选择性地融合节点影响的需求。因此，结构不确定性使得图结构可靠性的核心假设失效，使GNN容易受到噪声和扰动的影响[11]。为了解决这个问题，近期研究旨在提高GNN的鲁棒性，大致可以分为三类：隐式加权、结构学习和基于对比学习的全局过滤。隐式加权方法根据特征相似性学习自适应注意力分数，使模型能够降低无关邻居的权重[12]。然而，这些权重仅由特征和任务监督来决定，没有明确的结构可靠性度量。因此，如果一个虚假边与任务目标相关，模型可能会赋予其较高权重而不是抑制它。结构学习方法将邻接矩阵视为可学习的，并同时优化图结构和模型参数，旨在融合结构和特征信息[13]。不过，这种优化完全受特定任务的驱动，可能会强化对任务有利的虚假相关性，而不是舍弃它们。全局过滤和对比方法针对整个图进行操作[14]、[15]、[16]，它们旨在抑制噪声或学习抗扰动表示，但无法在细粒度上识别不可靠的边，也无法为单个连接提供置信度量。尽管如此，它们有一个共同的局限性：它们在操作图结构时没有明确量化不确定性所在的位置。具体来说，上述方法都没有提供节点或边级别的原理性不确定性度量，也没有严格分析结构不确定性如何影响优化动态或模型收敛。

**填补这一空白需要一种原理性的方法来量化图结构中的不确定性。**本质上，这需要认识到节点关系可以被视为信息交互。信息论及其基础概念——熵，正好提供了这样的工具。通过信息熵量化这些交互成为应对不确定性的自然途径。熵最初是为量化通信系统中的不确定性而开发的，它在数学上衡量了随机变量的不可预测性。在图的背景下，一个节点的邻域定义了可能下一步的概率分布。熵量化了这种分布的扩散程度或集中程度，直接反映了信息传播的模糊性。此外，条件熵和互信息为建模方向性依赖关系提供了工具，使得可以融合拓扑先验和学习到的表示，以捕获有向图中常见的不对称关系。这些理论优势使熵成为开发原理性图优化框架的坚实基础，这些框架能够明确量化、减轻并适应结构不确定性。

**基于这些见解，我们提出了结构熵量化（SEQ）框架，该框架通过融合多种信息论度量来明确量化和减轻图中的结构不确定性。SEQ整合了三种互补机制，共同将原始的结构不确定性转化为信息传播的可靠指导。**首先，双熵量化结合了局部上下文熵和全局关系熵，从细粒度和整体角度来看待边部的可靠性。这种双重视角确保在确定连接可靠性时考虑了即时邻域模式和长期拓扑依赖性。此外，基于信息瓶颈（IB）原理的不对称条件熵度量将方向性结构先验与学习到的表示相结合，以模拟因果信息流。与对称启发式方法不同，这种机制区分了信息影响的方向，这对于引用网络和社会影响传播等应用至关重要，因为这些应用中的关系本质上是不对称的。最后，闭环校准模块通过梯度反馈动态调整可靠性权重，使框架能够在训练过程中适应不断变化的图结构。这种反馈循环确保了随着节点表示和任务目标的共同进化，不确定性估计保持准确。通过将这些由熵驱动的机制与核心GNN架构解耦，SEQ实现了模块化设计，增强了各种基础模型，同时保留了其理论基础。

**总结来说，本工作做出了以下贡献：**
- 提出了一种明确的不确定性到权重映射原理性框架SEQ，整合了双熵量化和闭环校准。这使得由明确不确定性度量指导的结构感知信息传播成为可能，为可靠的图表示学习提供了基础。
- 引入了一种基于信息瓶颈的不对称条件熵度量，用于量化图中固有的方向性不确定性。该机制将方向性结构先验与学习到的表示相结合，以捕获因果信息流，解决了对称启发式方法的关键局限性。
- 通过对其收敛特性和计算复杂性的理论分析以及在11个数据集上的广泛实验验证，证明了该方法的有效性。结果表明，SEQ始终优于最先进的方法。

**部分内容摘录**
**结构不确定性建模**
现实世界中的图本质上存在噪声和不完整性，给基于GNN的信息传播带来了显著的不确定性。根据核心策略，现有方法可以分为三类：隐式加权、结构学习和基于对比学习的全局过滤。我们首先讨论隐式加权方法，这些方法学习邻居聚合的自适应权重。Wang等人[12]通过学习选择一部分邻居来扩展了这一方法。

**符号说明**
让 ??=(??,?) 表示一个带属性的图，其中 ??={??1,??2,…,????} 是节点集合，????×?? 是边集合。每个节点都与特征向量相关联，由矩阵 ??∈???×?? 表示，其中 ????∈??? 是节点 ???? 的特征向量。图的连通性由邻接矩阵 ??∈{0,1}??×?? 编码，如果存在边 ???????=(????,????)∈?，则 ???????=1，否则为0。对于有向图，?? 的条目可能是不对称的，即 ???????≠???????。

**方法论**
如图1所示，所提出的SEQ框架旨在通过三个模块学习一个具有不确定性意识的图结构，以增强可靠的信息传播：(A) 双熵量化用于整体结构评估，(B) 不对称条件熵用于方向性建模，(C) 动态闭环校准用于自适应优化。

**实验**
为了全面评估SEQ框架的性能，验证了其有效性和泛化能力。构建了两个不同的分类任务：节点分类和图分类。在每个任务中，都在多个数据集上与广泛的基线进行了严格的基准测试。

**结论**
我们提出了结构熵量化（SEQ）框架，该框架通过双熵量化、不对称条件熵和闭环校准来明确量化和减轻图学习中的结构不确定性。在11个数据集上的广泛实验表明，SEQ显著提高了准确性并表现出强大的泛化能力。值得注意的是，在异构图上，SEQ取得了最大的改进。

**CRediT作者贡献声明**
Hui Cong：撰写 – 审稿与编辑、撰写 – 原始草稿、可视化、验证、监督、软件、资源、项目管理、方法论、调查、资金筹集、形式分析、数据整理、概念化。
Hanbo Liang：软件、资源、方法论、资金筹集、形式分析。
Bin Zhao：撰写 – 审稿与编辑、撰写 – 原始草稿、验证、监督、资源、资金筹集。
Pengfei Han：验证、项目管理。

**未引用的参考文献**
[39]、[40]、[41]、[42]、[43]、[44]

**利益冲突声明**
作者声明他们没有已知的财务利益或个人关系可能会影响本文报告的工作。

**致谢**
本工作得到了中国国家自然科学基金（项目编号52572492）和中国博士后科学基金一般计划（项目编号2025M781579）的支持。

**作者名单**
Hui Cong | Hanbo Liang | Bin Zhao | Pengfei Han | Ziheng Jiao | Bo Sun | Yisheng An