基于多注意力机制的深度多模态融合网络在青光眼与神经退行性疾病诊断中的应用

《Scientific Reports》:Multiple attention based deep multimodal fusion network for glaucoma and neurodegenerative disease diagnosis

【字体: 大 中 小 】 时间:2026年04月27日 来源:Scientific Reports 3.9

编辑推荐:

  本研究旨在解决当前青光眼等神经退行性疾病诊断中过度依赖单一模态、忽略多模态融合优势的问题。研究人员开发了一种创新的“多注意力机制深度多模态融合网络”(MAM-Fusion-Net),整合了视野(VF)、彩色眼底照相(CFP)和光学相干断层扫描(OCT)数据。结果表明,该网络在区分神经病变与正常参与者时取得了AUC为0.998的优异性能,在区分青光眼与非青光眼时AUC为0.981,显著超越了现有模型。这项研究展示了先进的深度学习融合策略在辅助眼科诊疗方面的巨大潜力。

  
眼睛是心灵的窗户,但也是许多神经退行性疾病进程的早期“显示器”。青光眼作为一种不可逆的致盲性眼病,与阿尔茨海默病、帕金森病等神经退行性疾病共享着某些病理特征,它们都可能对视神经结构造成渐进性损害。然而,当前的诊断实践往往面临挑战:临床诊断高度依赖经验,且多基于单一的检查手段,例如仅分析视野(Visual Field, VF)报告、彩色眼底照相(Colour Fundus Photograph, CFP)图像或光学相干断层扫描(Optical Coherence Tomography, OCT)图像。这种“单打独斗”的模式难以全面捕捉疾病在功能与结构上的复杂变化,更忽略了不同检查数据之间潜在的、有意义的关联。大多数现有研究也主要聚焦于青光眼,而将其他神经退行性疾病患者队列排除在外,未能充分利用多模态数据融合的先进技术来挖掘疾病特异性的生物标志物。为了突破这些局限,一项发表于《Scientific Reports》的研究应运而生,旨在设计一个强大的深度学习系统,能够像经验丰富的专家一样,综合解读多种眼科检查结果,从而实现更精准、更广泛的神经退行性疾病诊断。
为开展此项研究,研究人员运用了多项关键的深度学习与图像处理技术。首先,他们利用深度学习算法实现了对视盘(Optic Disc, OD)的自动分割和黄斑中心凹的定位,并在此基础上计算了视盘-中心凹夹角以对齐不同模态的图像。研究的核心是构建了一个新颖的“多注意力机制深度多模态融合网络”(Multi-attention-based deep multimodal fusion network, MAM-Fusion-Net)。该网络采用中间融合策略,创新性地集成了空间注意力、自注意力和跨模态注意力等多种注意力机制,以有效融合功能性的VF数据与结构性的CFP、OCT图像。研究队列包含了354只患有神经病变(包括青光眼、缺血性视神经病变、痴呆和帕金森病)的眼睛和228只正常眼睛的数据。
研究结果
1. 多模态融合网络的卓越诊断性能
研究提出的MAM-Fusion-Net在核心诊断任务上表现出了卓越的性能。在区分所有神经病变(包括多种神经退行性疾病)参与者与正常参与者的二分类任务中,模型的灵敏度-特异性曲线下面积(Area Under the sensitivity–specificity Curve, AUC)达到了0.998(95%置信区间CI 0.996–1.000)。在更具临床细分意义的青光眼与非青光眼(包括其他神经病变和正常眼)的分类任务中,AUC也高达0.981(95% CI 0.966–0.996)。这些结果显著超越了研究中作为对照的当前最先进的单一模态模型及其他多模态融合模型,证明了多模态融合与注意力机制结合的有效性。
2. 注意力机制的有效性分析
通过对不同注意力模块组合的消融实验,研究人员验证了所提出的复合注意力机制的关键作用。实验表明,同时包含空间注意力、自注意力和跨模态注意力的完整模型取得了最佳性能。其中,跨模态注意力机制被证明对于捕捉不同模态(如VF与OCT)之间的交互信息尤为重要,移除它会导致模型性能的显著下降。这证实了模型并非简单地拼接特征,而是真正学习到了模态间有意义的关联。
3. 模型的可解释性与特征可视化
研究通过梯度加权类激活映射(Gradient-weighted Class Activation Mapping, Grad-CAM)等技术对模型决策进行可视化解释。结果显示,在诊断青光眼时,模型将高注意力权重集中于视盘区域,尤其是杯盘比相关的结构变化,这与临床医生的诊断重点一致。在评估其他神经退行性疾病时,模型的注意力模式则有所不同,提示其可能捕捉到了与青光眼存在差异的、更广泛的神经损伤模式。
结论与讨论
本研究成功开发并验证了一个基于多注意力机制的深度多模态融合网络(MAM-Fusion-Net),用于青光眼及多种神经退行性疾病的辅助诊断。核心结论是,通过深度学习技术融合功能性的视野检查与结构性的眼底照相和OCT图像,并借助空间、自注意及跨模态注意力机制来强化特征提取与模态间交互,可以极大地提升诊断的准确性与泛化能力。该模型不仅在区分青光眼上达到了极高精度,更重要的是将其诊断能力扩展到了包括缺血性视神经病变、痴呆和帕金森病在内的更广泛的神经退行性疾病队列,这体现了其潜在的普适性价值。
讨论部分强调了此项工作的多重意义。在方法论上,它超越了传统的单模态或简单的多模态拼接方法,提供了一个可解释的、高效的深度中间融合框架,为医学图像多模态分析设立了新基准。在临床实践上,该模型展现出作为辅助诊断工具的巨大前景,有望帮助眼科医生整合多源信息,减少主观差异,实现更早期、更精准的疾病筛查与鉴别诊断,特别是对于表现不典型或共患多种疾病的复杂病例。未来,研究人员计划在更大规模、更具多样性的多中心数据集上进一步验证模型的稳健性,并探索其预测疾病进展的潜力。这项工作标志着人工智能在眼科及神经退行性疾病跨学科诊断领域向更深度融合、更智能理解迈出了关键一步。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号