基于零泄漏多专家K折蒸馏的鲁棒轻量视网膜微血管分割

《Machine Learning and Knowledge Extraction》：Robust and Lightweight Retinal Microvascular Segmentation via Zero-Leakage Multi-Expert Distillation

　　

在资源受限设备上部署用于视网膜微血管分割的精确深度学习模型，需要在诊断精度与计算效率之间进行权衡。此外，基于单一固定数据划分的评估可能引入乐观偏差，并掩盖紧凑模型对域偏移的脆弱性。为应对这些挑战，研究人员提出了一种零泄漏多专家K折蒸馏框架（Zero-Leakage Multi-Expert K-Fold Distillation Framework）。在DRIVE和STARE数据集上使用双种子控制策略（Dual-Seed Control Strategy），将高容量U-Net（138.34 M参数）的特征提取能力迁移至SegNet学生网络（29.44 M参数，参数数量减少约78.72%），同时确保评估图像不参与训练和模型选择。根据经Holm校正的Wilcoxon符号秩检验，全部8个蒸馏学生模型在28幅评估图像上均显著优于未经过蒸馏训练的SegNet模型。在K折配置中，所提出的集成类内特征变化蒸馏（Ensemble Intra-class Feature Variation Distillation, EnsIFVD）取得了最高的平均Dice系数（0.6652），并通过中心线Dice（clDice）测得改善了血管连续性。单独在DRIVE上训练的SegNet模型在STARE上表现出严重的性能退化（Δ_shift=0.2142），而无蒸馏的联合训练在两个域上仍会出现性能退化；EnsIFVD将跨域退化分别限制为?0.0094和?0.0075，达到了与在相应目标域上单独训练的SegNet模型相当的性能。由于蒸馏仅改变训练目标，这些增益不产生额外推理成本。这些结果表明，多专家蒸馏是用于紧凑型视网膜血管分割的一种有前景的方法。然而，在临床部署之前，需要在更大、独立、多中心的数据集上进行验证。

视网膜微血管分割对糖尿病视网膜病变和心血管疾病的早期临床诊断至关重要。卷积神经网络在该领域取得了显著进展，但高精度模型如U-Net需要大量参数和浮点运算，而轻量架构如SegNet虽推理高效，但深度特征提取能力有限。此外，不同机构和眼底相机获取的图像常存在域偏移，导致分割性能大幅下降。多数既往医学影像研究仅采用单一固定数据划分评估模型，由于深度学习训练存在随机性，这种评估易受幸存者偏差影响，高估模型泛化能力。为解决上述问题，研究人员提出零泄漏多专家K折蒸馏框架，将高容量U-Net的特征提取能力迁移至轻量SegNet，同时采用严格的交叉验证以保证统计可靠性。

研究人员在DRIVE和STARE两个公共眼底数据集上开展研究。DRIVE包含40幅眼底图像，其中7幅存在早期糖尿病视网膜病变；STARE官方发布397幅图像，其中20幅含人工微血管标注用于测试，377幅使用匹配空间滤波器（MSF）生成的伪标签作为辅助训练数据。28幅图像（8幅DRIVE留出图像和20幅STARE人工标注图像）组成共同评估队列，排除在所有训练、验证和模型选择之外。研究人员采用双种子控制策略：固定数据划分种子（seed=42），变化模型初始化种子（42–46），确保无数据泄漏。以U-Net（138.34 M参数）为教师，SegNet（29.44 M参数，参数减少约78.72%）为学生，比较标准知识蒸馏（KD）、类内特征变化蒸馏（IFVD）、集成KD（EnsKD）和集成IFVD（EnsIFVD）四种策略，并在固定划分和5折交叉验证下评估。全部8个蒸馏学生模型在28幅评估图像上均显著优于无蒸馏SegNet。EnsIFVD取得最高平均Dice系数（0.6652），并改善了血管连续性；其跨域退化在DRIVE和STARE上分别为?0.0094和?0.0075，与目标域单独训练的SegNet相当。由于蒸馏仅改变训练目标，推理时模型仍为标准SegNet，不增加推理成本。该研究为资源受限环境下的视网膜微血管分割提供了一种兼顾精度、鲁棒性与效率的模型压缩方案。

在技术方法上，研究人员以DRIVE（源自荷兰糖尿病视网膜病变筛查）和STARE（397幅，其中20幅人工标注用于测试，377幅MSF伪标签用于训练）为样本来源，采用5折交叉验证与双种子控制策略防止数据泄漏；使用U-Net教师和SegNet学生，实施基于软标签的KD、IFVD、EnsKD与EnsIFVD；IFVD通过批量矩阵乘法计算像素特征与类原型的余弦相似度得到变化图，并以对抗网络作为结构正则；采用Dice、IoU、敏感性、特异性、准确率、clDice、Betti-0误差和Δ_shift评估，用Wilcoxon符号秩检验与Holm校正进行统计推断。

研究结果如下。

3.1 实验配置与总体评估协议：研究共设置17种实验配置，在5折交叉验证下训练85个模型，并统一在28幅评估图像上测试。

3.2 交叉验证的复现性与统计稳定性：通过计算变异系数（CV）和逐折Dice系数发现，多数配置的CV低于5%；特定数据划分（如DRIVE-only第3折、联合训练第5折）是性能波动的主要来源；EnsIFVD在不利划分下受影响最小。

3.3 基线架构在K折交叉验证下的统计比较：对28幅评估图像的逐图像配对Dice进行Wilcoxon符号秩检验（Holm校正）后发现，U-Net在DRIVE单独训练及DRIVE+STARE联合训练下均显著优于SegNet和DeepLab；在STARE上SegNet与U-Net差异无统计学意义。

3.4 基线架构的跨域泛化：通过模拟跨域场景并计算Δ_shift，发现SegNet存在不对称泛化：STARE→DRIVE的Δ_shift为0.0844，DRIVE→STARE为0.2142；U-Net在两个方向上表现较对称（分别为0.1552和0.1599）；单独联合训练不能消除域退化。

3.5 基线架构的计算效率：测量参数数、MACs、FLOPs、延迟和内存后发现，U-Net需138.34 M参数、651.15 GFLOPs和23.04 ms GPU延迟；SegNet仅需29.44 M参数、320.78 GFLOPs和约9.32 ms；DeepLab延迟和内存最低但分割精度受限。

3.6 知识蒸馏策略与配置：研究人员在联合训练下比较KD、IFVD、EnsKD和EnsIFVD四种策略，形成2×2设计（知识迁移层级×教师配置）。其中IFVD代表式(4)中的完整特征级目标（KD+IFV+Adv）。

3.7 蒸馏模型的域内性能：通过逐图像配对检验，8个蒸馏学生均显著优于无蒸馏SegNet基线；标准KD学生平均Dice系数达0.6642，超过U-Net教师0.0106。多专家集成在K折协议下显著优于单教师版本；EnsIFVD取得最高平均Dice（0.6652）和最低折间SD（0.0059）。

3.8 蒸馏模型的跨域鲁棒性：与无蒸馏联合训练SegNet相比，所有蒸馏学生均降低了跨域退化。KFold_EnsIFVD的Δ_shift在DRIVE上为?0.0094，在STARE上为?0.0075，达到与目标域单独训练模型相当或略优的性能；蒸馏对跨域性能的改善独立于联合训练本身。

3.9 拓扑感知评估与失败案例分析：使用clDice、Betti-0误差和按血管粗细分层的召回率评估。KFold_EnsIFVD将clDice从0.7045提升至0.7383，Betti-0误差从62.7降至41.5，并同时提高了细血管和粗血管召回率。失败案例主要出现在STARE图像中的渗出物边界和视盘周围。

3.10 蒸馏模型的计算效率：所有蒸馏学生与标准SegNet具有完全相同的参数数、MACs、FLOPs和显存占用，GPU延迟仅存在0.1 ms以内的常规测量噪声（9.27–9.38 ms），说明蒸馏带来的增益不增加推理成本。

3.11 与近期轻量化分割研究的比较：与LVS-Net（0.71 M参数）等专用紧凑架构相比，本研究的SegNet学生（29.44 M参数）是相对U-Net轻量而非绝对轻量；与单教师蒸馏和单一固定划分方法相比，所提出框架通过多专家集成、K折交叉验证和双种子控制避免了单划分带来的幸存者偏差。

讨论总结：研究结果表明，多专家蒸馏，尤其是EnsIFVD，能够使单个学生在异构数据上训练后取得与目标域专门模型相当的性能，而单独联合训练无法做到。由于两个域的Dice系数均未达到饱和，且评估队列完全排除在训练和模型选择之外，观测到的增益不太可能来自指标饱和或数据泄漏。蒸馏框架仅修改训练目标，可迁移至更小规模的学生架构，但该学生模型在绝对意义上仍不如专用紧凑架构轻量。

研究结论：本研究解决了视网膜微血管分割中分割精度与计算效率之间的权衡问题。研究人员提出了零泄漏多专家K折蒸馏框架，并通过5折交叉验证进行评估，28幅评估图像不参与训练和模型选择，统计推断在图像层面进行。主要发现有三：第一，知识蒸馏持续提升了紧凑SegNet学生模型的性能，全部8个蒸馏学生显著优于无蒸馏SegNet基线，且在K折协议下多专家学生也优于U-Net教师；第二，多专家指导在交叉验证下尤其有效，EnsIFVD取得最高平均Dice和最低折间变异，改善血管连续性，并降低联合训练单独使用时的跨域退化，其在DRIVE和STARE上的负Δ_shift值（?0.0094和?0.0075）表明性能与在目标域单独训练的SegNet相当或略优；第三，这些增益未增加推理成本，因为部署模型仍是具有29.44 M参数和约9.3 ms GPU延迟的标准SegNet。这些结果表明多专家蒸馏是开发紧凑型视网膜血管分割模型的有前景的方法。然而，目前的评估仅基于两个公开基准数据集，需要使用不同眼底相机采集的更大规模、独立、多中心数据集进行验证，以建立该方法的临床泛化性。