《PLOS One》:MaxGRNet: A multi-axis vision transformer with improved generalization for eye disease classification using explainable AI with insertion-deletion operations on fundus images
编辑推荐:
为解决眼底图像分类中传统卷积神经网络(CNN)对长程依赖关系建模能力不足、模型泛化能力有限及决策过程不透明的问题,研究人员提出一种结合多轴视觉Transformer(MaxViT)与全局响应归一化(GRN)的新型混合架构(MaxGRNet),在公开眼底图像数据集上实现了96.75%的宏平均准确率,并通过插入-删除操作与Grad-CAM等可解释人工智能(XAI)技术增强了模型的可信度,为眼科疾病的自动化辅助诊断提供了高精度、可解释的解决方案。
在全球范围内,超过23亿人正遭受各种眼部疾病的困扰,其中包括糖尿病视网膜病变(Diabetic Retinopathy, DR)、青光眼和白内障。这些疾病如果未能得到及时识别与干预,很可能导致严重的视力损伤甚至失明。目前,在眼科临床诊断中,彩色眼底图像(color fundus images)是最常用、也相对易于获取的影像学检查手段之一。然而,对这些图像的解读高度依赖于经验丰富的眼科医生,这个过程不仅耗时费力,还常常伴随着观察者间差异性(inter-observer variability)的问题,使得诊断的效率和一致性难以得到保障。
为了应对这一挑战,人工智能(Artificial Intelligence, AI)技术,特别是基于深度学习的模型,已被广泛应用于眼科疾病的自动检测与分类任务中。在过去,卷积神经网络(Convolutional Neural Networks, CNN)是这项任务的主力军,它在许多研究中展现了不俗的性能。但CNN模型存在一个固有的局限:其局部感受野的设计使其更擅长捕捉图像的局部特征,而在建模图像中相距较远的区域之间的长程依赖关系(long-range dependencies)方面能力较弱。这对于眼底图像分析至关重要,因为许多视网膜病变(如DR的微血管瘤、出血点)往往稀疏地分布在图像的不同位置,且局部病灶与整体结构(如视盘、黄斑)的关联性对准确诊断意义重大。
与此同时,以视觉Transformer(Vision Transformer, ViT)为代表的新型架构凭借其自我注意力机制(self-attention mechanism),展现出强大的全局上下文建模能力,为医学图像分析开辟了新路径。然而,标准的ViT模型通常需要海量的数据进行预训练,这在数据相对稀缺的临床医疗场景中构成了巨大障碍。此外,在医疗AI领域,模型决策过程的“黑箱”特性是阻碍其实际应用的另一大瓶颈。医生和患者不仅需要模型给出诊断结果,更希望了解模型是“基于什么”做出判断的,即模型的可解释性(interpretability)和透明性(transparency)。因此,开发一种既能精准分类多种眼病,又能有效建模图像全局与局部特征,同时还具备良好可解释性的AI框架,成为了一个亟待解决的关键问题。
针对上述问题,发表在《PLOS One》上的一项研究提出了一种名为MaxGRNet的新型眼底图像分类框架。该研究巧妙地将多轴视觉Transformer(Multi-axis Vision Transformer, MaxViT)与一种名为全局响应归一化(Global Response Normalization, GRN)的技术相结合,旨在同时提升模型的分类性能、泛化能力与决策可解释性。研究人员开展此项研究的核心目标是:开发一个能够准确区分正常眼底与多种常见眼病(包括DR、青光眼、白内障)的自动化分类系统,并通过引入可解释人工智能(Explainable AI, XAI)技术,让模型的决策依据变得清晰可见,从而增强临床医生对AI辅助诊断结果的信任度。
为了达成上述目标,研究人员主要采用了以下几项关键技术方法:首先,在模型架构上,他们以MaxViT-T为基础,用基于GRN的多层感知机(GRN-based MLP)层替换了原有的标准MLP层,构建了名为MaxGRNet的混合模型。MaxViT本身融合了卷积的局部建模优势与Transformer的全局注意力能力,而GRN的引入旨在增强特征通道间的对比度和选择性,进一步提升模型的表征能力。其次,在数据层面,研究使用了两个公开的眼底图像数据集(DS1和DS2)进行评估。DS1包含正常、DR、白内障、青光眼四类,每类1000张图像;DS2则包含十类眼病,通过数据增强平衡了各类别样本数。研究采用了严格的五折交叉验证策略来评估模型鲁棒性。再者,在模型可解释性方面,研究综合运用了梯度加权类激活映射(Gradient-weighted Class Activation Mapping, Grad-CAM)和定量的插入-删除操作(insertion-deletion operations)来生成视觉解释图并评估其忠实度(faithfulness)。
4.1 预测性能分析
实验结果显示,在主要数据集DS1上,提出的MaxGRNet模型取得了最佳的宏观平均性能,准确率、精确率、召回率和F1分数分别达到96.75%、96.70%、96.80%和96.70%,显著优于作为对照组的多个先进模型,包括ResNet50、Swin-T、MaxViT-T和ViT-B16。混淆矩阵和受试者工作特征曲线分析进一步表明,MaxGRNet在DS1上对各个疾病类别都表现出近乎完美的区分能力,所有类别的曲线下面积(Area Under the Curve, AUC)均达到1.00。在更复杂、类别更多的DS2数据集上,MaxGRNet也保持了具有竞争力的稳健性能,其宏观平均准确率为92.90%,表明模型在面对图像异质性和更多疾病类别时仍具有良好的泛化能力。
4.2 交叉验证与统计显著性分析
通过五折交叉验证,研究人员评估了模型性能的稳定性。MaxGRNet在五个数据折叠上表现出一致的优越性,其平均准确率达到96.31%,且标准差较低,证明了其性能提升并非偶然,而是具有统计上的稳健性。进一步的配对统计t检验(paired statistical t-tests)结果确认,MaxGRNet相对于所有基线模型的性能提升均具有统计学显著性(p < 0.05)。
4.3 可解释性与忠实度评估
在可解释性方面,研究通过Grad-CAM生成了视觉注意力图,直观地展示了模型在进行分类决策时所关注的图像区域。例如,在诊断DR时,模型的热力图能高亮出出血点和微动脉瘤等病变区域。为了定量评估这些解释的可靠性,研究计算了插入曲线下面积(Area Under the Insertion Curve, AUIC)和删除曲线下面积(Area Under the Deletion Curve, AUDC)。理想的解释应具有较高的AUIC(即逐步加入重要区域能快速恢复模型置信度)和较低的AUDC(即逐步删除重要区域会导致模型置信度急剧下降)。结果表明,MaxGRNet生成的解释在忠实度上优于对比模型。t-分布随机邻域嵌入可视化也显示,MaxGRNet学习到的特征在嵌入空间中具有更紧凑的类内分布和更清晰的类间分离,这与它优异的分类性能相互印证。
5. 讨论 与 6. 结论和未来工作
本研究的核心结论是,所提出的MaxGRNet框架成功地将多轴注意力机制与GRN增强的MLP层相结合,在眼底图像的多类眼病分类任务上实现了高精度和高鲁棒性。与传统的CNN和标准ViT模型相比,MaxGRNet能够更有效地捕捉眼底图像中复杂的空间和上下文关系,特别是那些对诊断至关重要的长程依赖和细微病变模式。模型在公开数据集上达到的超过96%的宏平均准确率,证明了其在自动化筛查和辅助诊断方面的巨大潜力。
更重要的是,通过系统整合Grad-CAM和插入-删除分析等XAI技术,该研究不仅提升了模型的性能,还显著增强了其决策过程的透明度和可解释性。这使得临床医生能够理解并验证模型的判断依据,从而建立起对AI系统的信任,这是AI技术在严肃的医疗场景中得以落地应用的关键一环。
然而,研究也指出了当前工作的局限性。例如,模型在少数类别(如某些青光眼病例)上仍存在误判,这可能是由于不同眼病间存在视觉相似性,以及数据集本身固有的复杂性和异质性。此外,与一些轻量级基线模型相比,MaxGRNet在参数量上并不占优,其设计更侧重于表征能力和性能,而非极致的部署效率。
展望未来,研究人员建议从以下几个方向继续深入:首先,需要通过更大规模、更多中心来源的多样化数据集对模型进行外部验证,以进一步检验其在真实世界临床环境中的泛化能力。其次,可以探索模型压缩、剪枝和知识蒸馏等技术,在保持高性能的同时降低模型复杂度和计算开销,使其更适合在资源有限的终端设备上部署。最后,将此类可解释的AI框架与临床工作流进行更深度的整合,并开展前瞻性的临床效用研究,是推动其从研究迈向实际应用的关键步骤。
总之,这项研究为基于Transformer架构的可解释眼科AI诊断提供了一套坚实的方法学框架。它不仅展示了一种在精度和可解释性上均优于现有方法的眼病分类模型,也为未来开发更可靠、更透明的AI辅助医疗工具奠定了重要基础。随着技术的不断优化和临床验证的深入,此类系统有望成为眼科医生强有力的助手,助力实现眼病的早期发现、早期诊断和早期治疗,最终减轻全球性的视力损害负担。