基于双分支眼底深度学习网络，通过混合特征融合提升多分类性能，用于眼部疾病检测

《Scientific Reports》：Dual branch fundus deep learning network as an enhanced multi classification system for ocular disease detection via hybrid feature fusion

　　

摘要

眼科诊断在很大程度上依赖于对眼底图像的分析，以便识别各种致残性疾病。然而，多种疾病同时存在以及早期疾病所呈现的细微视觉特征给诊断带来了巨大挑战，因此需要开发先进的诊断工具。我们提出了DFD-Net（双分支眼底深度学习网络），这是一种能够对多种眼部疾病进行多标签分类的深度学习解决方案。该系统通过整合左右眼视网膜照片的属性图来实现这一功能。研究首先对眼底图像进行全面的预处理，包括图像重缩放、去除黑色边框、增强对比度以及视网膜照片的数据增强处理。之后，处理流程开始于双分支特征提取框架：系统的一部分采用ConvNeXt架构来获取复杂的语义特征，而另一并行分支则使用U-Net编码器来捕捉不同尺度下的精细结构特征。这些互补的特征表示随后通过融合机制结合在一起。经过融合的特征表示再通过SENet模块进行通道级重新校准，以提高稳定性。得到的特征图通过全局平均池化进行简化，然后再经过密集层进行特征细化。最后，这些特征由Softmax输出层进行分类，采用单标签多类分类方法，可将结果归为八种可能的类别之一。测试是在眼科疾病智能识别-眼科图像分析（OIA-ODIR）数据集上进行的，该数据集包含代表六种不同眼科疾病的视网膜照片，即黄斑变性、白内障、青光眼、高血压、糖尿病视网膜病变和近视，还有正常病例以及代表其他多种疾病的图像，共计八种类别。所提出的DFD-Net系统在现场测试集上的精确度、召回率、F1分数和整体准确率分别为92.75%、93.17%、94.45%和93.77%，而在外部测试集上的相应数值则为91.50%、93.19%、92.11%和92.97%。总体而言，DFD-Net系统在精准分类多种眼部疾病方面表现出高效性，为早期发现眼底疾病提供了一种新颖且有效的方案。