基于MultiEYE眼底图像的知识蒸馏与轻量级视网膜疾病分类的可解释性分析

《Diagnostics》：Knowledge Distillation and Explainability Analysis for Lightweight Retinal Disease Classification Using MultiEYE Fundus Images

　　

背景/目的：类别不平衡和概率预测质量是轻量级视网膜分类中的重要考虑因素。研究人员评估了来自ConvNeXtV2-Base教师的知识蒸馏（knowledge distillation, KD）是否改善了EfficientNet-B0学生在九类MultiEYE眼底分类中的表现。方法：精确内容筛选因完全重复或标签冲突而隔离了58,036条记录中的131条。在匹配的训练条件下，评估了六个预设种子，分为无KD、标签平滑和KD三组（共18次运行）。在受控实验中，测试数据未用于训练、超参数调整、检查点或模型选择，也未用于方案修改。主要终点是去污染测试集（n=11,573）上的KD?无KD宏F₁差异，通过配对图像级bootstrap（10,000次重复）评估。Grad-CAM和Grad-CAM++使用每类一个确定性选择案例和六种子共识图进行定性检查。结果：无KD、标签平滑和KD的平均宏F₁分别为0.593、0.597和0.633。KD超过无KD 0.039（95%置信区间[CI]，0.025–0.053；p < 0.001），所有六个种子均呈正配对差异，并超过标签平滑0.036（Holm校正p < 0.001）；标签平滑与无KD无差异（Holm校正p = 0.554）。类别F₁差异在所有九个类别中均为非负，其中六个在多重比较校正后仍然显著。Brier分数（Brier score）差异为?0.077（95% CI，?0.081至?0.072；Holm校正p < 0.001），而期望校准误差（expected calibration error, ECE）描述性从0.171降至0.084。九类Grad-CAM和直接Grad-CAM++共识图实现了无KD与KD的定性比较，但未建立病灶定位优越性。结论：KD改善了宏F₁并降低了Brier分数，同时在推理时保留相同的EfficientNet-B0学生。所评估的标签平滑配置未复现宏F₁增益；临床优越性和外部普适性尚未确立。

该研究发表于《Diagnostics》，旨在探索知识蒸馏（Knowledge Distillation, KD）对轻量级视网膜疾病分类模型的提升作用。糖尿病视网膜病变（diabetic retinopathy, DR）、青光眼（glaucoma, GLC）和年龄相关性黄斑变性（age-related macular degeneration, AMD）等眼病是全球视觉损伤和失明的重要原因。彩色眼底照相能够显示视盘、黄斑和视网膜血管等关键结构，深度学习已广泛用于眼底照片的自动分析。然而，视网膜疾病分类常面临明显的类别不平衡，且模型紧凑性对实际部署至关重要。知识蒸馏作为一种训练策略，由高容量教师模型指导学生模型学习，已被用于医学机器学习中的模型压缩。以往研究多采用眼底图像到OCT的跨模态蒸馏，而本研究则聚焦眼底图像内部的教师-学生框架，在受控条件下评估KD能否提升固定学生架构的宏F₁，并加入标签平滑作为主动正则化对照，以区分KD效应是否仅源于目标平滑。

研究人员基于MultiEYE数据集的九类眼底图像组件开展实验。该数据集包含Normal、干性AMD（dAMD）、中心性浆液性脉络膜视网膜病变（CSC）、DR、青光眼（GLC）、视网膜前膜（ERM，原始数据集中对应“黄斑前膜”类，代码MEM保留）、近视（MYO）、视网膜静脉阻塞（RVO）和湿性AMD（wAMD）等九个类别。官方划分共58,036条记录，其中TRAIN 34,834条、DEV 11,601条、TEST 11,601条。由于数据中存在精确内容重复和标签冲突，研究人员采用SHA-256哈希进行精确内容去污染，最终隔离131条记录，形成去污染的TRAIN（34,792）、DEV（11,540）和TEST（11,573）视图。教师模型为ConvNeXtV2-Base，学生模型为EfficientNet-B0。学生在无KD、标签平滑（ε=0.1）和KD（温度T=4，混合系数α=0.5）三种条件下训练，使用六个预设随机种子（42、3407、7311、12011、19023、26081），共18次完整运行，每个种子下三种条件共享相同的初始状态和训练数据顺序。统计推断采用配对图像级bootstrap（10,000次重复），并以宏F₁作为主要终点。此外，研究还使用Grad-CAM和Grad-CAM++对每类一个确定性选择的案例生成六种子共识热图，进行定性可解释性比较。

研究结果如下：

**开发集筛选与模型选择**：历史开发阶段筛选显示，EfficientNet-B0在DEV宏F₁（0.6208）上优于MobileNetV3-Large（0.5641）和EfficientNetV2-B0（0.5286），因此被选为学生架构；教师架构中ConvNeXtV2-Base的DEV宏F₁最高（0.7098），因此被选为教师。KD超参数T=4、α=0.5也由开发集筛选确定。随后在去污染TRAIN上重新微调教师模型，第9个epoch达到DEV宏F₁ 0.6743，并固定用于所有KD运行。

**总体分类性能**：在去污染TEST上，KD的平均准确率为0.7830，宏F₁为0.6325，加权F₁为0.7715，均高于无KD（0.7534、0.5931、0.7403）和标签平滑（0.7569、0.5965、0.7452）。KD在宏召回率、宏精确率、宏AUROC和宏AP上也表现最优。配对bootstrap分析显示，KD与无KD的宏F₁差异为+0.0394（95% CI，0.0252–0.0534；p < 0.001），且所有六个种子均呈正差异。

**类别性能**：九个类别的KD?无KD F₁点估计均为正，其中MEM提升最大（+0.1365），其次为DR（+0.0485）、dAMD（+0.0434）、CSC（+0.0341）和GLC（+0.0335）。经Benjamini–Hochberg错误发现率校正后，Normal、dAMD、DR、GLC、MEM和wAMD的差异获得统计支持，而CSC、MYO和RVO的置信区间包含零。CSC和MEM的测试样本量较小（分别为30和42），因此类别效应存在异质性。

**推断比较与校准**：在预设的推断对比中，标签平滑与无KD的宏F₁差异为+0.0035（Holm校正p = 0.554），不显著；KD与标签平滑的差异为+0.0360（Holm校正p < 0.001）。预设的多重比较显示，KD显著提升DR F₁（+0.0485）和GLC F₁（+0.0335），并显著降低多分类Brier分数（差异?0.0767，Holm校正p < 0.001）。期望校准误差（ECE）从无KD的0.171降至KD的0.084，但该指标仅作描述性报告，未进行推断检验。

**可解释性结果**：定性的Grad-CAM和直接Grad-CAM++六种子共识图显示，无KD与KD模型在空间激活模式上存在差异，但该分析未使用病灶级标注进行验证，因此只能视为模型激活模式的可视化比较，不能证明KD在病灶定位上的解剖学或临床优越性。

讨论部分指出，KD带来的宏F₁提升不能归因于推理时模型容量增加，因为学生架构在三种条件下完全相同。标签平滑未复现KD的增益，说明在该配置下均匀目标平滑本身不能解释KD效果。类别效应异质，部分稀有类别的证据强度有限。研究仍存在局限：仅使用单一基准数据集，无外部前瞻性或多中心验证；精确内容去污染不能保证患者级或眼级独立性；图像级bootstrap未考虑潜在的患者或眼聚类。总体而言，KD是一种有前景的训练策略，但尚不能确立临床优越性或部署就绪性。

研究结论可翻译如下：在这项受控九类眼底分类研究中，与结构相同的无KD EfficientNet-B0学生相比，教师引导的知识蒸馏提高了宏F₁并降低了多分类Brier分数，同时保持了学生的推理时架构和参数数量。标签平滑未复现KD观察到的宏F₁改善，表明在所评估的训练配置下，均匀目标平滑本身不能解释观察到的优势。然而，类别效应具有异质性，研究结果不支持所有视网膜疾病类别均获得一致获益。总体而言，结果支持知识蒸馏作为紧凑型多类视网膜分类器的一种潜在有用的训练策略，但证据仍是算法性的且特定于所评估的环境。需要独立的患者级和多中心验证，特别是在较少见视网膜疾病代表性更高的队列中，以确定可重复性和普适性。在能够论证诊断效用、临床获益或常规实践部署之前，还需要进行前瞻性临床评估。