糖尿病视网膜病变分级：防泄漏评估下参数高效视觉-语言模型与CNN的性能比较

《IEEE Access》：Efficient Fine-Tuning of Vision-Language Models for Diabetic Retinopathy Grading: A PaliGemma Approach

　　

摘要：

糖尿病视网膜病变（DR）是可预防性失明的主要原因，自动化筛查传统上依赖于卷积神经网络（CNN），但其对更丰富的临床输出的可扩展性有限。我们提出了一种参数高效的PaliGemma-3B适配方法，该方法是一种视觉-语言模型（VLM），通过在单个12 GB消费级GPU上使用量化低秩适配（QLoRA）实现五级DR分级。所有实验均采用患者不相交划分；我们表明，EyePACS的朴素图像级划分允许78%的测试患者出现在训练集中，使准确率虚增约5个百分点。在患者不相交的EyePACS测试集（n = 7,026）上，在防泄漏受限评分下，VLM的准确率达到76.1%，二次加权卡帕（QWK）为0.707，与匹配分辨率的EfficientNet-B5（QWK 0.705）相当，并优于EfficientNet-B3（QWK 0.615；McNemar p < 10?31）。在冻结SigLIP特征上的匹配编码器消融实验（MLP探针QWK 0.607）分离出语言解码器带来的10个点的序数一致性贡献。VLM在内部（73.6%对52.1%）和外部（81.7%对61.0%）评估中均显著高于所有基线模型的增殖性DR召回率，且置信区间不重叠。在零样本APTOS迁移（n = 3,662）中，CNN取得了更高的总体性能（QWK 0.849对0.793），但VLM保持了最高的可转诊DR敏感性（99.1%）和任何DR的AUROC（0.996）。该贡献是方法论层面的：一个暴露EyePACS系统性偏倚的防泄漏协议，一个分离架构贡献的五模型比较，以及一个在消费级硬件上匹配CNN性能的VLM配方，同时为未来的临床应用提供了可扩展的生成式接口。