《Cognitive Systems Research》:RGAT: Retinal Graph Attention Networks with Superpixel Based Feature Hierarchies for CVD Associated Retinal Phenotype Classification
编辑推荐:
Sabyasachi Roy Barman | Md Kayser Ahmed Hridoy | R Murugan
电子与通信工程系,生物医学成像实验室,印度阿萨姆邦西尔查尔国立技术学院,788010
摘要
心血管疾病(CVDs)仍然是全球主要的健康挑战,需要可扩展且无创的
Sabyasachi Roy Barman | Md Kayser Ahmed Hridoy | R Murugan
电子与通信工程系,生物医学成像实验室,印度阿萨姆邦西尔查尔国立技术学院,788010
摘要
心血管疾病(CVDs)仍然是全球主要的健康挑战,需要可扩展且无创的筛查策略。视网膜眼底成像为系统血管健康提供了有希望的窗口,因为已建立的生物标志物(包括微动脉瘤、出血、渗出物和血管异常)与心血管风险增加有关。本文提出了一种结合基于Transformer的注意力机制的混合图神经网络(GNN),用于从眼底图像中分类与CVD相关的视网膜表型。该框架使用SLIC分割将每张图像转换为基于超像素的图,并采用自适应面积缩放的K-最近邻(KNN)连接策略,从而在细粒度病变区域和较大血管模式之间保留解剖结构。GNN层捕获局部拓扑依赖性,而Transformer卷积模块增强了空间远距离区域的全局上下文表示。在包含14,254张公开可用视网膜图像的大型聚合数据集上,该方法实现了95.37%的测试准确率和98%的AUC。留一数据集验证进一步证明了跨来源的泛化能力,准确率在90%到92%之间,AUC值为96-98.6%。这些结果证明了该框架是一种用于自动检测CVD相关视网膜生物标志物的强大计算工具,未来在非侵入性风险筛查流程中具有潜在应用价值,有待前瞻性临床验证。
引言
心血管疾病(CVDs)是全球主要的死亡原因之一,据世界卫生组织(2021a)估计每年导致约1800万人死亡。早期诊断和及时干预对于减轻这些疾病的负担至关重要。然而,传统的诊断工具(如心电图(ECGs)、超声心动图、心脏MRI和冠状动脉造影)通常成本高昂、资源密集,并且尤其是在资源匮乏的环境中可用性有限(世界卫生组织(2021b)Howitt等人(2014)。这些限制促使人们开发出无创、可扩展且成本效益高的心血管风险评估筛查策略。视网膜眼底成像因其无创性及其反映系统血管状况的能力而成为一种有前景的替代方案(Poplin等人(2024)。视网膜提供了直接评估微血管健康的独特机会。已证明,包括微动脉瘤、出血、渗出物、血管口径变化和视盘异常在内的多种视网膜生物标志物与高血压、动脉粥样硬化、冠状动脉疾病和中风等一系列心血管疾病相关(Wong等人(2001)。例如,微动脉瘤表明早期毛细血管损伤,通常与血压升高和中风风险相关,而出血和渗出物则是血管脆弱性和渗漏的迹象,常与缺血事件和心力衰竭相关。因此,这些视网膜特征是可用于自动系统疾病筛查的关键指标(Wong等人(2002)McGeechan等人(2009)。在这项研究中,我们专注于与心血管风险相关的视网膜表型分类,而不是直接的临床CVD诊断。深度学习的最新进展展示了视网膜眼底成像作为无创工具在早期心血管疾病(CVD)风险评估方面的潜力。尽管基于CNN的模型显示出有希望的预测能力,但在明确建模不规则解剖拓扑和长距离空间关系方面可能存在局限性,这两者对于准确的心血管风险评估都很重要(Ma等人(2024)Wu(2024)Oktay等人(2017)。为了解决这些局限性,我们提出了一种混合图神经网络(GNN)模型,该模型整合了局部和全局视网膜特征以提高分类准确性。GNN通过将图像区域或解剖结构表示为节点并通过边编码它们的关系,为建模非欧几里得数据提供了自然灵活的框架。这种基于图的表示方式有助于更结构化地理解空间依赖性和形态连续性,这是分析视网膜血管和病变分布的关键属性(Long等人(2025)。此外,将GNN与基于Transformer的注意力机制结合使用,进一步增强了模型整合局部邻域信息和全局上下文线索的能力,从而提高了特征表示和区分能力(Sun等人(2024))。
引言
心血管疾病(CVDs)是全球主要的死亡原因之一,据世界卫生组织(2021a)估计每年导致约1800万人死亡。早期诊断和及时干预对于减轻这些疾病的负担至关重要。然而,传统的诊断工具(如心电图(ECGs)、超声心动图、心脏MRI和冠状动脉造影)往往成本高昂、资源密集,并且特别是在资源匮乏的环境中可用性有限(世界卫生组织(2021b)Howitt等人(2014)。这些限制促使人们开发出无创、可扩展且成本效益高的心血管风险评估筛查策略。视网膜眼底成像因其无创性及其反映系统血管状况的能力而成为一种有前景的替代方案(Poplin等人(2024)。视网膜为直接评估微血管健康提供了独特的机会。已证明,包括微动脉瘤、出血、渗出物、血管口径变化和视盘异常在内的多种视网膜生物标志物与高血压、动脉粥样硬化、冠状动脉疾病和中风等一系列心血管疾病相关(Wong等人(2001)。例如,微动脉瘤表明早期毛细血管损伤,通常与血压升高和中风风险相关,而出血和渗出物是血管脆弱性和渗漏的迹象,常与缺血事件和心力衰竭相关。因此,这些视网膜特征是可以用于自动系统疾病筛查的关键指标(Wong等人(2002)McGeechan等人(2009)。在这项研究中,我们专注于与心血管风险相关的视网膜表型分类,而不是直接的临床CVD诊断。深度学习的最新进展展示了视网膜眼底成像作为无创工具在早期心血管疾病(CVD)风险评估方面的潜力。虽然基于CNN的模型显示出有希望的预测能力,但在明确建模不规则解剖拓扑和长距离空间关系方面可能存在局限性,这两者对于准确的心血管风险评估都很重要(Ma等人(2024)Wu(2024)Oktay等人(2017)。为了解决这些局限性,我们提出了一种混合图神经网络(GNN)模型,该模型整合了局部和全局视网膜特征以提高分类准确性。GNN通过将图像区域或解剖结构表示为节点并通过边编码它们的关系,为建模非欧几里得数据提供了自然灵活的框架。这种基于图的表示方式有助于更结构化地理解空间依赖性和形态连续性,这是分析视网膜血管和病变分布的关键属性(Long等人(2025)。此外,将GNN与基于Transformer的注意力机制结合使用,进一步增强了模型整合局部邻域信息和全局上下文线索的能力,从而提高了特征表示和区分能力(Sun等人(2024))。
在这项工作中,我们提出了一种混合GNN-Transformer框架,用于从眼底图像中分类与CVD相关的视网膜表型。本研究的主要贡献总结如下:
- •
一种新颖的GNN-Transformer架构,用于从基于图的视网膜眼底数据中学习结构和语义信息,以分类与CVD相关的视网膜表型。
- •
一种基于超像素的图构建方法,采用面积缩放的自适应KNN连接性,其中每个节点的边数取决于超像素区域的大小。这种方法保留了细微的病变细节和整体血管结构,同时减少了过度平滑现象,在之前的视网膜图建模中尚未使用过。
- •
一个包含14,254张视网膜图像的大型多源基准数据集,来自10多个异构的公共数据集,涵盖了五种与CVD相关的视网膜生物标志物类别,标签策略基于将视网膜特征与心血管风险联系起来的已建立临床证据。
- •
一种留一数据集验证策略,用于评估跨数据集的泛化能力,解决了合并的视网膜数据集之间的异质性和分布差异问题。
除了强大的预测性能外,所提出的框架还显示出具有竞争力的计算效率,支持大规模视网膜生物标志物分析的可扩展性。虽然本研究专注于视网膜表型分类而不是直接的临床CVD诊断,但它为涉及确认的心血管结果数据和前瞻性多中心验证的未来研究提供了坚实的基于图的基础。
本文的其余部分组织如下。第2节回顾了使用视网膜眼底成像进行心血管疾病预测的最新研究。第3节详细介绍了所提出的方法,包括数据描述、图像预处理、数据分割、基于超像素的图像到图的构建以及混合GNN架构。第4节描述了模拟设置、消融研究、比较分析和讨论。第5节总结了本文。
章节片段
相关工作
最近的研究展示了使用深度学习和混合方法进行无创心血管疾病(CVD)风险评估的潜力。Kayser等人(Hridoy等人(2025)开发了一种16层的CNN,用于从视网膜眼底图像中检测心血管疾病,实现了94.4%的训练准确率、89.6%的验证准确率和97%的AUC,证明了在学习视网膜模式方面的强大性能。Poplin等人(Poplin等人(2018)率先提出了一个模型
方法论
我们提出了一种新颖的视网膜图注意力网络(RGAT),它将视网膜眼底图像转换为图结构数据,用于心血管疾病(CVD)分类。该流程包括五个阶段:(1)数据集描述,(2)增强预处理以突出临床相关特征,(3)数据分割,(4)基于超像素的图构建和分层特征提取,以及(5)训练混合GNN。该模型整合了GCN、GAT和GraphSAGE层
实验结果
本节评估了所提出的混合GNN在从视网膜眼底图像中分类CVD方面的性能。我们详细介绍了实验设置,进行了消融研究以评估关键架构组件,并将我们的模型性能与最新方法进行比较,以验证其有效性。
结论
本文提出了一种混合图神经网络-Transformer框架,用于从眼底图像中分类与CVD相关的视网膜表型。该方法的重点是识别已知与心血管风险相关的视网膜生物标志物,而不是进行直接的临床CVD诊断。这将这项工作置于非侵入性风险筛查研究的范围内,而不是确定性的疾病诊断。
模式识别快报
作者确认
作为通讯作者,R Murugan博士代表所有作者确认如下:
- 1.
本手稿或其大部分
尚未发表,也未提交给任何其他期刊。
2.如果
在会议上展示或提交或发表,则会议已明确指出,并提供了重新发表的充分理由。随手稿一起上传了会议论文的副本。 3.如果手稿以
CRediT作者贡献声明
Sabyasachi Roy Barman:撰写——原始草稿、软件、方法论、数据管理、概念化。Md Kayser Ahmed Hridoy:撰写——原始草稿、软件、方法论、数据管理、概念化。R Murugan:撰写——审阅与编辑、可视化、监督。
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文所述的工作。