BiKT：通过双向知识传递释放图神经网络（GNNs）的潜力

《IEEE Transactions on Pattern Analysis and Machine Intelligence》：BiKT: Unleashing the potential of GNNs via Bi-directional Knowledge Transfer

针对图神经网络（GNN）中特征变换操作潜力未充分释放的问题，提出双向知识迁移（BiKT）方法，通过共享参数的衍生模型实现拓扑无关的知识反馈，理论证明可提升领域适应泛化边界，实验在7个数据集上验证其0.5%-4%的性能增益。

　　

摘要：

基于消息传递范式，已有大量研究提出了多种多样且令人印象深刻的特征传播机制，以提高图神经网络（GNNs）的性能。然而，对于消息传递框架中的另一个关键操作——特征转换，关注度相对较低。在本文中，我们首先通过实证研究了几种典型GNN中特征转换操作的性能。出乎意料的是，我们发现GNN并未完全发挥出特征转换操作的全部潜力。基于这一观察，我们提出了双向知识传输（BiKT）技术，这是一种无需修改原始架构即可释放特征转换操作潜力的即插即用方法。将特征转换操作视为一个与原始GNN共享参数的衍生表示学习模型，该模型可以直接进行预测，提供与拓扑结构无关的知识反馈，从而进一步指导GNN及其内部特征转换的学习过程。通过这种方式，BiKT不仅使我们能够从GNN及其衍生模型中获取知识，还能通过相互注入知识来促进两者之间的协同作用。此外，我们还提供了理论分析，证明BiKT从领域适应性的角度提升了GNN的泛化能力。在多达7个数据集上使用5种典型GNN进行的广泛实验表明，BiKT能够使性能提升0.5%至4%，从而实现性能优化。同时，衍生模型也展现出与原始GNN相当甚至更强的性能，使我们能够灵活地将其应用于其他特定下游任务。