混合CNN–Transformer架构中基于注意力机制的增强特征融合用于糖尿病视网膜病变的细粒度严重程度分级

《Scientific Reports》：Attention augmented feature fusion in a hybrid CNN–transformer for fine-grained diabetic retinopathy severity grading

　　

摘要

尽管已有基于视网膜图像的糖尿病视网膜病变严重程度自动分级方法，但由于类别不平衡、糖尿病视网膜病变病灶特征较为隐匿，以及现有深度学习模型的泛化能力有限，这一任务仍面临诸多挑战。针对这些问题，本研究提出了一种新的混合CNN–Transformer架构（EffTNet），该架构利用EfficientNet-B3a网络提取局部病灶特征，同时借助ViT-B16网络学习全局上下文特征。此外，研究还设计了一种注意力增强特征融合（AAFF）模块，通过通道级注意力和特征重新校准，实现两种特征类型的自适应整合。同时，研究采用了基于配对的对比学习方法，提升不同类别之间的区分度，从而更好地识别那些占比较少的严重糖尿病视网膜病变类型。用于模型训练的整合数据集包括APTOS 2019、EyePACS和Messidor-2数据集，而另外三个数据集（DDR、DiaRetDB1和ID RiD）则用于模型的验证。实验结果表明，EffTNet的准确率为98.77%，精确率为96.30%，召回率为97.83%，F1值为96.99%，二次加权Kappa值为0.947。grad-CAM分析也表明，该模型是在具有临床意义的视网膜病灶上训练而成的。这些结果说明，EffTNet在糖尿病视网膜病变严重程度分级方面表现优异，不仅准确度高，而且具备良好的可解释性，能够在不同数据集上实现良好的泛化性能，有望被应用于大规模视网膜筛查系统中。