《Digital Signal Processing》:SGViT-Net: An Adaptive Approach Integrating Soft-GLAM with ViT-Inspired Self-Attention for Multistage Glaucoma Detection
编辑推荐:
青光眼是一种由视神经头结构功能改变引起的不可逆视力丧失疾病,早期检测至关重要。本文提出SGViT-Net模型,融合EfficientNet-B0提取特征、Transformer捕捉全局上下文和Soft-GLAM模块增强局部与通道注意力,通过自适应特征融合解决多阶段分类难题。实验表明,该模型在两个大规模多阶段数据集(1544和1584张图像)及二分类数据集(623张图像)上均优于现有方法,且Grad-CAM可视化验证了其临床诊断的有效性和可解释性。
Sajal Kumar Pramanik | Soumen Bag
印度贾坎德邦丹巴德IIT(ISM)计算机科学与工程系,邮编826004
摘要
青光眼是一种以视神经头结构和功能变化为特征的疾病,可能导致永久性视力丧失。早期检测在防止病情恶化方面起着至关重要的作用。基于计算机的诊断技术最近取得了进展,引入了基于卷积神经网络(CNN)的青光眼检测模型。然而,由于标记数据集的有限性,多阶段青光眼检测仍然具有挑战性。类别间的高度相似性、病变大小的微小变化以及冗余特征进一步增加了检测难度。为了解决这些问题,我们提出了一种新颖的注意力引导型CNN网络SGViT-Net,该网络通过自适应特征融合将新设计的Soft-GLAM注意力模块与基于ViT的自注意力块相结合,以实现有效的多阶段青光眼检测。这是首次尝试引入Soft-GLAM注意力模型来提高模型的整体区分能力。自适应融合结合了两个分支的特征以提升模型性能。在两个大规模多阶段青光眼数据集和一个二元分类数据集上的全面评估表明,所提出的模型在青光眼阶段检测方面始终优于现有最先进方法。此外,Grad-CAM可视化验证了模型能够聚焦于临床相关区域,突显了其可解释性和诊断效果。
引言
青光眼是一种以眼内压升高为特征的眼部疾病,会导致人类眼睛的不可逆损伤。由于视网膜神经节细胞的退化,它常被称为“视力的小偷”,进而导致视网膜神经纤维层和视神经头的结构损伤。视神经的损伤会影响视觉信息从眼睛传递到大脑的过程,从而导致视力模糊、视野缺陷和视力丧失。根据世界卫生组织的报告,全球约有7600万人患有青光眼,预计到2040年这一数字将增加到1.118亿。早期诊断在防止青光眼进展方面起着至关重要的作用。
目前的青光眼筛查包括定性和定量评估。眼压和患者的病史在定性评估中起着重要作用,而视野检查、眼底镜检查、光学相干断层扫描等有助于确定视神经头(ONH)的结构和功能变化。结构变化通过视盘面积、杯盘比、杯缘面积、平均杯深等指标进行测量。图1展示了青光眼眼底图像和正常眼底图像中OD和OC的结构差异,其中青光眼图像中的视神经杯(OC)边界向视盘(OD)扩展。功能变化通过视野测试来衡量。由于正常情况和青光眼病例之间的观察者间变异性较大,检测青光眼通常非常复杂且耗时,需要技术娴熟的眼科医生。因此,自动化青光眼检测在早期诊断和治疗中起着重要作用。
早期的自动化方法主要集中在正确分类眼底图像中的杯盘结构,以获得可用于诊断青光眼的临床参数值。然而,这些方法依赖于对杯盘结构的准确检测,这可能导致灵敏度问题。先前报道的基于机器学习的方法使用纹理描述符、小波能量和Gabor熵等特征,以及支持向量机、朴素贝叶斯等常见分类器。这些方法严重依赖于手工制作的特征及其提取技术。为了解决这些问题,研究人员开发了直接从视网膜眼底图像中学习高维特征的基于CNN的模型。大多数这些深度学习模型将视网膜眼底图像分为两类(青光眼和非青光眼)。由于类别间的细微差异、病变大小不一、光照变化等原因,多阶段青光眼更难以分类。此外,由于大型公共数据集的稀缺,训练CNN往往较为困难,可能导致过拟合。这些问题使得在早期阶段诊断青光眼变得更加困难。虽然有一些针对多阶段青光眼检测的机器学习模型,但它们是在小型、平衡良好的数据集上训练的,难以泛化到未见的数据集。目前,有一些基于CNN的模型可以根据青光眼的阶段(早期、轻度或晚期)进行分类。这些阶段取决于视网膜的结构和功能特性。CNN通常无法捕捉到这些复杂细节,无法区分细粒度的类别特定特征。因此,注意力在突出这些细微差异以实现准确分类方面起着重要作用。
在这项工作中,我们提出了一种新颖的注意力增强型CNN框架,通过将CNN与基于变换器的全局上下文建模和轻量级注意力模块相结合,以克服上述多阶段青光眼检测的挑战。为了解决数据稀缺问题,我们整合了公开可用的数据集,创建了一个大规模的青光眼数据集。在二元和多阶段青光眼数据集上的实验评估和与最先进(SOTA)方法的比较分析证明了所提出模型的有效性和竞争力。本研究的主要贡献如下:
- 1. 我们引入了一种新颖的Soft-GLAM模块,该模块结合了空间和通道上下文中的全局和局部注意力机制。这是我们首次尝试引入S-GLAM注意力。
- 2. 我们提出了一种新颖的CNN框架SGViT-Net,它自适应地结合了S-GLAM和基于变换器的自注意力机制,用于从眼底图像中进行多阶段青光眼检测。
- 3. 我们设计了一种混合的可学习损失函数,结合了交叉熵和焦点损失,以解决SGViT-Net中的类别不平衡问题并提高分类准确性。
- 4. 我们在两个大型多阶段青光眼数据集(分别包含1544张和1584张图像)以及一个包含623张图像的二元数据集上验证了我们的模型。为了评估所提出方法的有效性,我们进行了消融研究,并将我们的模型与不同的注意力模型和最先进的青光眼检测方法进行了比较。
本文的其余部分结构如下:第2节回顾了相关工作。第3节讨论了所提出的方法。第4节报告了实验结果,包括对各种数据集的定量和定性分析,证明了所提出方法的有效性。第5节讨论了临床相关性和关键局限性,以及未来的工作方向。最后,第6节总结了本文。
相关研究
近年来,人工智能和深度学习领域取得了显著进展,它们在基于医学图像的诊断中的作用持续增长[1],[2]。传统的青光眼检测方法需要复杂的高端设备。这些设备可以估计各种临床参数,包括眼内压、视神经头的结构、视网膜神经纤维层的变化和视野缺陷。然而,这些参数的手动检测
方法论
专门为从眼底图像中进行多类青光眼分类设计了一种基于CNN的架构。该模型由四个主要组成部分构成,如图2所示:(i) 用于高效特征提取的CNN骨干(EfficientNet-B0),(ii) 用于捕捉全局上下文和长距离依赖性的基于ViT的变换器注意力模块,(iii) 用于通过通道和空间上的局部和全局注意力机制进行特征细化的Soft Global-Local Attention模块(S-GLAM)
使用的数据集
在这项研究中,我们使用了两个公开可用的数据集来检测多阶段青光眼:
- 哈佛Dataverse版本1(HDV1):这组高质量的眼底图片是在韩国Kim眼科医院使用非散瞳自动眼底相机拍摄的[35]。这些图片由多位经验丰富的眼科医生标注,并根据适当评估分为三类:正常、早期青光眼和晚期青光眼。HDV1数据集的阶段注释是通过共识确定的
临床相关性
本节讨论了研究过程中积累的相关细节。青光眼是导致不可逆视力丧失的主要原因之一。然而,早期诊断和治疗可以帮助减少视力丧失的风险。由于类别间的微妙差异、光照限制和成像伪影,青光眼的早期检测具有挑战性。所提出的SGViT-Net旨在帮助医疗专业人员进行多类青光眼分类,从而提供支持
结论
本研究提出了一种基于混合深度学习架构的新型SGViT-Net框架,用于使用眼底图像进行多阶段青光眼分类。该模型结合了EfficientNet的特征提取优势、Transformer的全球上下文建模优势以及GLAM的特征细化优势,并通过自适应门控机制进行统一,并通过可学习的损失函数进行优化。通过对已建立的青光眼数据集进行全面实验,我们
伦理声明
本研究使用的是公开可用的视网膜眼底图像数据集。没有从人类受试者那里收集新的数据,也没有使用任何个人或可识别的患者信息。因此,不需要伦理批准和知情同意。
CRediT作者贡献声明
Sajal Kumar Pramanik:撰写——原始草稿、方法论、形式分析、概念化。Soumen Bag:调查、可视化、监督、撰写——审阅和编辑。
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系,这些关系可能会影响本文报告的工作。