DistillVFL：一种基于知识蒸馏(Knowledge Distillation, KD)增强的垂直联邦学习(Vertical Federated Learning, VFL)框架用于可扩展的跨孤岛协作

《Future Generation Computer Systems》：DistillVFL: A Knowledge Distillation-enhanced Vertical Federated Learning framework for scalable cross-silo collaboration

　　

摘要：垂直联邦学习(Vertical Federated Learning, VFL)是一种隐私保护的分布式学习范式，多个参与方持有互不相交的特征集且样本对齐，可在不泄露隐私数据的前提下协同训练统一机器学习(Machine Learning, ML)模型，适用于因GDPR或HIPAA等法规限制原始数据共享的医疗数据碎片化场景。然而VFL面临严重的可扩展性挑战——其静态架构要求新参与者加入时需耗费高昂成本进行全系统重新训练，且要求所有原始参与方保持在线，限制了现实协作生态的增长。为解决此问题，研究人员提出DistillVFL，一种利用知识蒸馏(Knowledge Distillation, KD)实现高效客户端接入的新框架。该方法采用教师—学生(Teacher–Student)范式，由预训练的多方"教师"模型将知识迁移至新"学生"客户端，允许原始客户端离线，消除重新参与要求与额外计算开销。研究人员在四个不同的医学数据集上进行了广泛实验，结果表明学生客户端可达到与综合教师模型相当的性能，同时大幅降低计算开销。DistillVFL为VFL中客户端接入问题提供了实用、可扩展的解决方案，促进了更动态、适应性更强的VFL协作。

论文解读：DistillVFL——基于知识蒸馏增强的垂直联邦学习可扩展框架

一、研究背景与意义

垂直联邦学习(Vertical Federated Learning, VFL)允许多个机构（如医院）在拥有相同样本ID但特征不相交的情况下，协同训练统一模型且不共享原始数据，特别适用于受GDPR（通用数据保护条例）和HIPAA（健康保险可移植性与责任法案）约束的医疗数据"数据孤岛"场景。然而传统VFL架构是静态的：当新机构（新客户端）希望加入已有联邦时，标准做法是将已训练好的模型丢弃并从头开始全系统重新训练，且要求所有原有参与方同时在线通信，这带来 prohibitive的计算与协调负担，成为VFL网络扩展的关键瓶颈。针对此问题，研究人员提出DistillVFL框架，首次将知识蒸馏(Knowledge Distillation, KD)引入VFL的新客户端接入(Client Onboarding)场景，使新学生客户端能基于冻结的教师模型Logit（预激活值）进行轻量级训练，原始教师参与方可保持离线，从而实现低开销、可扩展的联邦扩展。该论文发表于《Future Generation Computer Systems》。

二、主要关键技术方法

研究人员采用基于拆分神经网络(Split Neural Network, SplitNN)的VFL架构：各客户端持有本地底层模型(Bottom Model, θ_m)处理局部特征并输出嵌入(Embedding, h_m)，服务端持有顶层模型(Top Model, θ_s)聚合嵌入并预测。DistillVFL分三阶段：(1)教师模型训练——M_teacher个客户端与服务器用标准SplitNN协同训练全局教师模型；(2)知识提取——训练末轮由服务器收集并存储所有对齐样本的教师模型Logit Z_teacher（即Softmax前输出），构建静态知识库；(3)学生模型训练——新M_student个客户端通过私有记录链接(Private Record Linkage, PRL)对齐样本ID后，仅与服务器交互，用复合损失函数L_KD=α·L_soft+(1?α)·L_hard训练，其中L_soft=τ2·D_KL(q_t‖q_s)为温度τ下教师与学生软化概率分布的Kullback–Leibler散度，L_hard为交叉熵(Cross-Entropy)损失。实验在四个医学数据集（UCI Breast Cancer、Glioma、Chronic Kidney Disease及Kaggle Brain Tumor MRI）上模拟4客户端VFL，特征垂直划分（图像按空间切片），采用AdamW优化器，通过网格搜索确定τ=2、α=0.25，对比拼接(Concatenation)与逐元素平均(Element-wise Average)两种嵌入聚合方式。

三、研究结果

4.1 实验设置与超参数

研究人员对表型数据构建含两层全连接(Fully-Connected, FC)层的客户端Bottom Model及两层FC服务端Top Model；对脑肿瘤图像采用含卷积层(Convolutional Layer)与FC层的CNN架构。超参数固定：批次大小32（表型）/1024（图像），Dropout率0.5，通信轮数R=120，学习率η=0.001，温度τ=2，蒸馏权重α=0.25。

4.2 教师模型性能（Table 2）

三方教师模型在Breast Cancer（嵌入维度d=16时Accuracy 96.86%±0.57）、Chronic Kidney Disease（d=16时Accuracy 97.25%±0.94）、Glioma（d=16时Accuracy 85.83%±1.61）及Brain Tumor（d=128时Accuracy 91.35%）上均取得良好性能，拼接聚合优于一阶平均聚合，证实拼接保留更多区分信息。

4.3 学生模型性能（Table 3, 4, 5）

学生在仅部分特征（少于教师方）条件下经KD训练，显著优于无KD从头训练的基线（后者常不收敛或精度低）。在Chronic Kidney Disease单学生客户端达Accuracy 99.00%±0.94、F1 98.56%±1.34，甚至超过教师，体现KD的正则化效应使学生学到更泛化的决策边界。Brain Tumor双学生客户端（拼接，d=128）达Accuracy 87.02%±0.96、MCC 74.17%±1.89，接近教师水平。复杂Glioma数据集学生与教师间存在"知识差距(Knowledge Gap)"，归因于仅用响应型(Response-based)KD蒸馏最终输出未完全传递高阶特征交互。

4.4 聚合方法影响（Section 4.4.2）

拼接聚合下的学生普遍优于一阶平均，因拼接提供更丰富教师信号；但一阶平均具客户端数量不变输入维度的优势，兼容安全聚合(Secure Aggregation)，适合弹性接入场景。Chronic Kidney Disease在一阶平均下仍表现优异甚至超教师，说明该数据集单方特征具高度预测性。

4.5 嵌入维度影响（Section 4.4.3）

适度增大嵌入维度改善表达力（d=2→8或16），过大则无进一步提升或轻微过拟合，需依数据复杂度调参。

4.6 与基线对比（Section 4.4.4, Table 7）

DistillVFL学生模型Breast Cancer数据集Accuracy 96.14%±0.35匹配PraVFed框架结果，Brain Tumor数据集89.47%±1.06接近全量重训基线91.63%，验证KD传递的全局上下文足以支撑竞争性性能且免去全系统重训。

4.7 复杂度与效率分析（Section 4.4.5, Table 8）

传统VFL新客户端接入通信代价C_{comm_base}=R_base·n·d·(M_teacher+M_student)，计算代价线性于总参与方数；DistillVFL学生阶段仅需与M_student通信C_{comm_distill}=R_distill·n·d·M_student，原M_teacher方通信与计算代价为0，且R_distill≤R_base。实测4客户端传统VFL每轮3~4.48秒，DistillVFL学生阶段仅1.37~1.74秒，证实O(M_student)复杂度大幅降低协调与同步开销。

4.8 可扩展性与联邦扩展（Section 4.4.6）

学生模型以常数O(M_student)代价接入，不触发O(M_teacher)重训，教师方无需上线，适用于异步动态增长的医疗联邦生态。

四、讨论与结论总结

讨论部分指出：KD在VFL中是有效的可扩展协作手段，学生对教师性能的逼近验证了轻量级接入可行性；拼接聚合对蒸馏质量至关重要；Glioma数据集揭示仅用响应型KD存在知识传递不充分局限。未来工作拟引入基于中间特征的蒸馏(Feature-based Distillation)、注意力机制知识迁移(Attention-based Knowledge Transfer)及增大学生容量以缩小复杂任务的知识差距，并计划在更大规模异质临床环境中评估协变量偏移(Covariate Shift)与标签稀疏性影响。

结论：研究人员提出DistillVFL框架，利用知识蒸馏(Knowledge Distillation, KD)解决垂直联邦学习(Vertical Federated Learning, VFL)中新客户端接入需全系统重训的可扩展性问题。通过教师—学生范式与静态Logit库，原始参与方可保持离线，新学生客户端经响应型KD训练可达与教师模型相当的性能且大幅降低计算与通信开销。DistillVFL为动态、可扩展的跨孤岛VFL协作提供了实用解决方案，是构建更大规模自适应VFL网络的重要进展。