MTKD-RL：基于强化学习面向少样本节点分类的多教师知识蒸馏(Multi-Teacher Knowledge Distillation, MKD)方法

《Computers》：MTKD-RL: Multi-Teacher Knowledge Distillation Method for Reinforcement Learning Based on Few-Shot Node Classification

　　

摘要：少样本节点分类(Few-Shot Node Classification, FSNC)旨在利用极少标注样本有效预测新类别节点，是图数据挖掘中的重要研究方向。现有基于自训练(self-training)的FSNC方法受限于单一教师模型的偏差与局部最优；而多教师模型常面临知识冲突与冗余信息问题，导致蒸馏效率与模型泛化性能下降。针对上述问题，研究人员提出了一种面向少样本节点分类的基于强化学习(Reinforcement Learning, RL)的多教师知识蒸馏(Multi-Teacher Knowledge Distillation for Reinforcement Learning based on Few-Shot Node Classification, MTKD-RL)方法。该框架由多教师蒸馏网络与多教师权重优化模块组成，从不同视角提供互补监督信息。强化学习智能体(Agent)依据各教师的预测性能及教师—学生(model discrepancy)差异动态分配自适应权重，显著提升了伪标签(pseudo-label)质量与蒸馏效果。在九个图网络数据集上的实验表明，该方法在少样本节点分类任务中取得了1.4%至6.2%的一致准确率提升。

论文解读：MTKD-RL——面向少样本节点分类的基于强化学习的多教师知识蒸馏方法

研究背景与意义

传统图神经网络(Graph Neural Network, GNN)在节点分类(node classification)任务中表现良好，但真实场景中的图网络常存在长尾分布与标注稀疏(label sparsity)问题，制约模型泛化。少样本节点分类(Few-Shot Node Classification, FSNC)利用极少量标注节点实现新类别预测，分为基于元学习(meta-learning)与基于自训练(self-training)两类方法。元学习方法需构建大量元任务(meta-task)，计算开销大且未充分利用基类无标签信息；现有自训练方法引入知识蒸馏(Knowledge Distillation, KD)由单教师向学生传递知识，但单教师易受自身偏差与局部最优影响，提供的监督信号单一；若采用多教师并固定权重分配，无法根据训练状态自适应平衡各教师贡献，知识冲突(knowledge conflict)与信息冗余会降低蒸馏效率。为此，研究人员提出MTKD-RL框架，通过表征教师、结构教师与语义教师提供互补监督，并利用强化学习智能体动态优化多教师权重，发表于《Computers》。

主要关键技术方法

研究人员在九个基准图数据集（Cora、CiteSeer、CoraFull、DBLP、Computers、Photo、Clothing、Electronics、Coauthor）上开展N-way-K-shot少样本实验。方法核心包括：(1)构建多教师蒸馏网络——表征教师(representation teacher)通过图卷积层局部与全局嵌入蒸馏传递特征信息，结构教师(structure teacher)基于位置感知图神经网络(Position-aware GNN, P-GNN)双层编码保持全局位置结构信息，语义教师(semantic teacher)利用Sentence-BERT及LLaMA 3将节点文本转为语义嵌入经GNN输出；(2)多教师权重优化模块——以教师特征表示、logit向量、交叉熵损失、师生特征余弦相似度、师生概率KL散度拼接为状态(state)，策略网络(MLP+Softmax)输出各教师动态权重(action)，奖励(reward)由学生分类交叉熵损失、概率KL散度及师生特征MSE联合构造，采用策略梯度(Policy Gradient, PG)更新智能体，交替优化学生网络与RL智能体。

研究结果

1. 3.
   Multi-Teacher Knowledge Distillation Method for Reinforcement Learning Based on Few-Shot Node Classification
   框架由多教师蒸馏网络与多教师权重优化模块组成。多教师分别提供局部—全局特征、位置编码结构、大模型增强语义三个维度的互补监督；RL智能体依据实时训练状态动态生成权重，优化伪标签软预测过程。

3.1. Multi-Teacher Distillation Network

表征教师蒸馏含局部（邻节点嵌入热核相似度）与全局（节点嵌入MSE）两部分，加权求和得L_repr。结构教师用双层P-GNN：第一层整合自身特征、邻居特征及局部最短路径距离生成局部结构嵌入，第二层以任意节点为锚点(anchor)做全局位置感知编码，通过MSE对齐师生结构嵌入得L_struct。语义教师将LLM增强的文本语义向量输入GNN，计算师生语义嵌入MSE得L_sem。

3.2. Multi-Teacher Weight Optimization Module

学生模型输出无标签节点信息熵，选取每类中熵最小的m个节点赋予伪标签扩充训练集。支持集与伪标签集分别输入多教师网络获各类别嵌入均值，送入原型网络(prototype network)分类。总损失含任务交叉熵、Logits层KL散度蒸馏损失及各教师加权表征/结构/语义蒸馏损失。RL状态s_m⁽ⁱ⁾由教师特征表示、logit、交叉熵损失、师生特征余弦相似度、师生概率KL散度拼接而成；动作a=π_θ(s)输出归一化教师权重；奖励r=?(CE_student+KL_prob+MSE_feat)引导智能体优化，策略梯度更新参数θ。

1. 4.
   Experimental Results and Analysis
   在九数据集上以30次随机划分各采样30次支撑集共900次重复实验，采用独立双样本t检验(p<0.05)。MTKD-RL较基线（GCN、GAT、Meta-GNN、G-META、GPN、RALE、VNT、COLA、GraphAKD、SimKD、IA-FSNC、PLD-FSNC等）在各类N-way-K-shot设置下准确率提升1.4%–6.2%，具统计显著性。

4.1. Datasets

四个引文网络（Cora、CiteSeer、CoraFull、DBLP），四个Amazon产品共购网络（Computers、Photo、Clothing、Electronics），一个学者合作网络（Coauthor）。

4.2. Experimental Setup

N=2（Cora、CiteSeer、Computers、Photo）或N=5（其余），K=1/3/5；Adam优化器；全局与局部蒸馏参数λ=0.3；MTKD-RL训练交替执行多教师KD与RL智能体优化，RL智能体为双层隐藏层MLP(ReLU)+Softmax，学习率1e-4，以mini-batch为一回合(episode)。

4.3. Experimental Results

MTKD-RL优于现有多教师KD方法（GraphAKD、SimKD）及少样本图学习方法，增益源于多教师互补拓扑与高层语义监督及RL动态权重缓解知识冲突。

4.4. Ablation Experiment

去除RL权重模块或任一教师均致性能下降；三教师联合+RL权重平均提升约3%；单独看结构教师增益最大、表征教师次之、语义教师为有效补充；RL动态权重较固定权重能依样本与训练轮次增减小教师权重，抑制冲突冗余。

4.5. Investigating the Impact of the Number of Graph Convolution Layers in Characterizing Teachers on the Distillation Effect

MTKD-RL在较少层数（CiteSeer与Photo为1层，其余为2层）即达优，随层数增加过平滑(over-smoothing)致各方法性能降但MTKD-RL下降更缓，验证稳定性与鲁棒性。

4.6. Visualization of Entropy Dynamics During Self-Training Iteration

迭代训练中MTKD-RL预测信息熵下降更平稳并最终低于单教师PLD-FSNC，表明多教师融合监督信号更鲁棒，伪标签噪声更低，学生学得更准确分布。

4.7. Parameter Sensitivity Analysis

DBLP(5-way-3-shot)上伪标签数m与自训练轮数耦合，m取特定值时精度最高；过少欠拟合、过多或迭代过久噪声累积降效，MTKD-RL在合理参数范围平衡伪标签质与量。

讨论与结论翻译

研究人员提出了面向少样本节点分类的基于强化学习之多教师知识蒸馏(MTKD-RL)方法。通过表征、结构、语义三类教师提供互补监督，并利用强化学习智能体依据教师表现与师生差异动态优化教师权重，有效提升伪标签质量与知识蒸馏效果。在九个基准图数据集上的实验表明，该方法在各少样本设定下取得最优分类性能，显著优于现有自训练与知识蒸馏方法。未来可通过融合多模态图数据与轻量化蒸馏策略，将该法应用于实时推理与边缘端部署。