BiFormer：基于二分信息流融合的大规模图表示学习框架

【编辑推荐】针对图神经网络(GNNs)和图变换器(GTs)在大规模图数据处理中的局限性，研究者提出BiFormer框架，通过全局特征提取（Transformer编码器）、无参数局部特征提取（三图卷积核）及特征融合模块，实现高效信息融合。实验表明其优于主流GTs/GNNs，为电商、化学等领域的图表示学习提供新范式。

　　

在当今数据爆炸的时代，图结构数据已成为描述复杂系统的重要载体，从电商平台的用户-商品网络到化学领域的分子结构，无处不在。然而，处理这类数据的核心技术——图神经网络(GNNs)和图变换器(GTs)却各自面临严峻挑战：GNNs虽擅长捕捉局部细节，但容易陷入过平滑困境（over-smoothing），深度受限；GTs虽能捕获全局信息，却因计算复杂度高难以扩展至大规模图。这种"鱼与熊掌不可兼得"的困境，严重制约了图表示学习的实际应用。

针对这一难题，由张琦等人领衔的研究团队在《Neural Networks》发表创新成果，提出名为BiFormer的二分信息流融合框架。该工作巧妙设计三个模块：通过小规模池化图提取全局特征的Transformer编码器、采用三种无参数图卷积核的局部特征提取器，以及避免节点间消息传递的特征融合模块。这种"分而治之"的策略，使得模型仅需在内存中暂存池化图和分批局部特征，即可实现灵活批量的高效训练。

关键技术方法上，研究团队首先构建基于个性化PageRank(PPR)的全局特征提取模块，将原始图压缩为小规模池化图；其次设计包含谱域/空域卷积的无训练局部特征提取器；最后通过Transformer编码器融合特征。实验采用PyTorch框架，在包含同质性/异质性图的多尺度数据集上验证性能。

【BiFormer框架】部分揭示其核心架构：全局模块利用PPR矩阵作为自注意力偏置，在池化图上高效捕获长程依赖；局部模块通过设计的三个卷积核（含谱卷积和空域卷积）实现零训练成本的特征提取；融合模块则创新性地规避了传统GTs的全图注意力计算。

【实验】结果显示，在节点分类任务中，BiFormer在3090 GPU服务器上的表现全面超越主流GTs/GNNs。特别在百万级节点的大规模图上，其内存占用仅为对比模型的1/3，验证了框架的扩展优势。

【结论与讨论】指出BiFormer成功整合了GNNs的局部感知与GTs的全局建模能力，其无训练局部特征提取和小批量融合设计，为工业级图数据处理提供新思路。但作者也坦承当前架构仅适用于节点级任务，未来需拓展至链接预测等场景。这项获得国家重点研发计划（2021ZD0111902）等资助的研究，为图表示学习领域树立了新的技术标杆。