重建以记忆：聚类图池化中保持信息保持的重建驱动正则化

《Pattern Recognition》：Rebuilding to remember: Reconstruction-driven regularization for information-preserving in clustering graph pooling

　　

• 我们提出了 REGPool，一种具有重构引导正则化的聚类图池化框架。
• 具有双重熵约束的 Gumbel-Softmax 采样机制增强了分配。
• 多尺度重构损失保持了特征保真度和一致性。
• 我们的方法在多个基准测试中取得了具有竞争力或更优的性能。

引言
近年来，图数据已成为表示复杂信息的基本格式，因为它能够捕获实体属性及实体间关系。这种能力推动了图表示学习技术的显著进步和广泛应用。使用神经网络处理图结构数据的图神经网络（GNNs）已在多种图相关任务中取得了显著成功。特别是，作为 GNNs 中主要特征提取模块的图卷积网络（GCNs），沿边在节点间传播特征，在节点分类和链接预测等节点级任务中表现出色。相比之下，图级任务（如图分类）旨在预测整个图的标签或属性，在计算机视觉、化学信息学和生物信息学等领域具有关键应用。

与关注构建节点嵌入的节点级任务不同，图分类需要封装图的整体结构和特征的表示。这一区别突显了池化机制在图分类中的关键作用。受卷积神经网络（CNNs）中池化算子启发，图池化从节点嵌入生成紧凑的图级表示。在此过程中，它既保留了拓扑结构，又保留了节点特征。该过程将 GCNs 导出的节点表示聚合为：（1）捕获全局图特征的单个向量，或（2）保留结构层次的粗化图。具体而言，将整个节点表示矩阵浓缩为单个向量的方法称为全局池化（或读出函数），而逐渐减小图的规模并提取多尺度特征的图池化算子被归类为层次池化。

在开发各种层次图池化算子方面取得了相当多的进展。这些算子通常分为聚类、选择、边和混合池化，其中前两种占主导地位 [1]。节点选择池化基于重要性分数保留节点子集，关注关键结构元素，同时保持计算效率。然而，这种方法可能导致严重的信息损失，并有产生非连通图或扭曲原始拓扑关系的风险。相比之下，聚类池化将节点聚合到粗化图中的超级节点中，更好地保留了特征信息。然而，这种优势是以学习密集的聚类分配矩阵为代价的，从而增加了计算和内存开销。

基于聚类的池化在模型设计和应用中引起了显著关注。越来越多的研究致力于理解图池化如何影响 GNN 的表现力，同时努力建立公平评估的统一标准。Mesquita 等人首次系统地量化了池化算子对 GNN 性能的影响 [2]。他们的工作揭示出这些算子倾向于生成同质的节点表示。值得注意的是，这种同质化甚至表现在第一个池化层之前，早期平滑阻碍了后续层学习有意义的局部结构模式的能力。在 DiffPool 等密集聚类方法中，通过神经网络学习软分配矩阵，同质的节点表示会产生区分度差的分配矩阵，进一步加剧了超级节点表示的同质性 [2]，[3]。

为了建立统一的分析框架，Grattarola 等人将图池化算子解构为选择、归约和连接（SRC）框架 [4]。他们进一步提出了三个核心评估指标：（1）保留节点属性信息，（2）保留原始拓扑结构，以及（3）粗化图对下游任务的适应性 [4]。这些指标可以通过下游任务性能、原始图与粗化图之间的谱相似度，以及从粗化图重构原始节点特征的能力来量化。在此基础上，Bianchi 等人从信息保留角度引入了一个通用评估准则 [5]。他们定义表现力为算子保留图的结构和特征信息的能力。他们的研究发现，具有表现力的密集池化算子（例如 DiffPool）即使使用随机聚类分配矩阵，也能保持强大的表现力，显示出对局部扰动的内在韧性 [3]，[5]。总之，这些研究为评估池化算子提供了基础原则，同时突出了设计有效稀疏池化算子时在表现力与计算效率之间进行权衡的必要性。

受先前工作启发，我们早期的研究将稀疏化机制整合到密集可微聚类池化算子中，并采用基于注意力的读出函数来增强模型表现力 [6]。尽管在样本特异性基因网络数据集上的初步验证显示出前景，但仍存在挑战，包括未解决的同质节点表示和分配矩阵问题。此外，我们的调查显示，图池化算子的实际使用既需要下游任务准确性，也需要可解释性 [1]。

现有的基于聚类的池化方法，如 DiffPool [3]、ASAP [7] 和 HoscPool [8]，表现出明显的架构局限性。具体来说，DiffPool 计算层次层间的连续软分配，导致密集计算拓扑和聚类表示的过平滑 [3]。虽然 ASAP 通过局部自我网络优化池化，但其单向下采样忽略了全局结构保持，导致不可逆的信息损失 [7]。因此，这些方法通常遭受不清晰的聚类分配和由多层传播引起的扭曲节点到聚类映射。

为了克服这些局限性，我们提出了 REGPool（重构引导池化），一种基于具有采样和重构的可微聚类框架的新型聚类图池化算子。REGPool 包含单池化层架构，从原始节点特征计算分配矩阵，并使用 Gumbel-Softmax 对分配矩阵进行可微比例采样。该设计从粗化图中提取特征，避免了多层软聚类导致的不清晰分配。为防止平凡解，我们引入了针对节点和聚类级分配分布的熵损失函数。

值得注意的是，我们引入了基于多尺度图重构的正则化方案。具体来说，短程重构引导稀疏分配并保留信息，使得能够从聚类特征恢复输入节点特征。同时，长程重构减轻了由堆叠图卷积层引起的特征分布偏移和无关归纳偏置。

与突出的密集池化架构相比，REGPool 引入了三个核心区别。首先，与 DiffPool 的密集连续分配不同，REGPool 采用基于 Gumbel-Softmax 的可微 Top-K 选择来执行稀疏聚类分配 [3]。其次，REGPool 通过多尺度图重构建立了双向自编码器流水线。第三，不同于 HoscPool 仅专注于结构基序保护，REGPool 将多尺度重构与多层特征解码器结合，以显式减轻层间的表示漂移 [8]。我们的主要贡献总结如下：
(1) 我们提出了 REGPool，一种新型的图池化算子，它在单池化层架构中利用 Gumbel-Softmax 进行可微稀疏采样，有效减轻了不清晰的聚类分配，同时纳入了双级熵正则化。
(2) 我们引入了一种多尺度图重构机制，在池化层进行短程重构以保留信息，并在深层 GCN 层进行长程重构以缓解特征分布偏移。
(3) 我们在 15 个基准数据集上进行了广泛评估，证明 REGPool 与最先进的基线相比达到了优越或具有竞争力的性能，并通过全面的消融和参数研究验证了其鲁棒性。

章节片段
图神经网络
图是复杂关系的有效模型，但由于其非欧几里得性质，它们面临重大挑战。这些挑战包括确保置换不变性、管理可变节点规模，以及将图拓扑压缩到向量空间以供分析。传统的图核方法通过核函数将图映射到特征空间来解决这些挑战，从而能够在不进行显式结构比较的情况下进行相似度测量。深度学习的兴起

模型架构概述
图 1 展示了提出的 REGPool 的工作流程。REGPool 由四个主要组件组成，每个组件都旨在增强池化过程并解决现有方法中的常见局限性：
(1) 节点到聚类分配：作为 REGPool 的核心，该模块利用 GraphSAGE 基于输入节点特征计算软分配矩阵。该过程结合使用 Gumbel-Softmax 的可微采样，根据聚类数量调整保留连接，从而诱导

数据集
我们在 11 个 TU 数据集和来自开放图基准（OGB）的四个大规模分子基准上评估了该方法 [39]，[40]。所有数据集均可通过 PyTorch Geometric 库公开获取 [41]。TUDataset 集合包括八个生化图数据集（PROTEINS、NCI1、NCI109、MUTAG、ENZYMES、PTC-MR、PTC-FM 和 Mutagenicity）和三个社交网络数据集（IMDB-BINARY、IMDB-MULTI 和 COLLAB）[39]。OGB 分子集合包括 ogbg-molhiv (HIV)，

结论
在本文中，我们提出了 REGPool，一种新型的基于聚类的图池化框架，它使用 Top-K 采样机制优化密集节点 - 聚类分配矩阵，并纳入了多级重构损失约束以保留关键信息。REGPool 集成了几项关键技术：基于 Gumbel-Softmax 的 Top-K 采样、用于平衡聚类分配的双级熵正则化，以及用于减轻信息损失的多尺度重构损失。这些组件

CRediT 作者贡献声明
Wenju Hou：撰写——初稿，可视化，软件，方法论，概念化。Jie Hong：软件，形式分析，概念化。Jialin Liu：验证，调查。Qixing Sun：可视化。Xinfei Wang：调查。Ziqi Zhao：资源。Xuping Xie：资源，数据整理。Nan Sheng：撰写——审阅与编辑，资金获取。Chunman Zuo：资金获取。Yan Wang：撰写——审阅与编辑，监督，资金获取。

利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系，这些情况可能会影响本研究中报告的工作。

致谢
本工作得到了中国国家自然科学基金（编号：32570769）、中国吉林省发展项目（编号：20260102002JC）和中国博士后科学基金（资助编号：2025M771545）的支持。

Wenju Hou|Jie Hong|Jialin Liu|Qixing Sun|Xinfei Wang|Ziqi Zhao|Xuping Xie|Nan Sheng|Chunman Zuo|Yan Wang