基于CFP与OCT多模态特异性感知的证据融合算法在眼底疾病诊断中的应用研究

【编辑推荐】针对单模态方法在眼底疾病诊断中信息利用不足的问题，华东理工大学团队提出多模态特异性感知证据融合算法（MSMAE）。通过CRF-SV分割OCT超体素、MSAS-ViT/Graph-ViT提取组织/结构感知特征，结合两阶段证据融合与渐进式课程学习策略，在GAMMA和OCTA_6M数据集上实现超越现有方法的诊断性能，为多模态医学影像分析提供新范式。

　　

眼底疾病是导致不可逆视力损伤的主要病因，临床依赖彩色眼底照相（CFP）和光学相干断层扫描（OCT）两种互补的影像技术。CFP能全景展示视网膜血管分布，而OCT可分层解析视网膜微米级结构。然而，现有AI诊断模型多采用单一模态数据，既未能充分挖掘CFP的纹理色彩信息，也忽视了OCT的立体层析特性。更棘手的是，病灶形态多变、跨模态诊断结果不一致、相邻疾病分级难以区分等问题，严重制约着自动化诊断的准确性。

针对这些挑战，华东理工大学的研究团队在《Pattern Recognition》发表研究，提出多模态特异性感知证据融合算法（MSMAE）。该研究创新性地构建了CFP、OCT和决策三分支架构：CFP分支通过显著性图引导的关键点检测定位病灶区域，OCT分支采用条件随机场超体素（CRF-SV）算法将三维OCT体积分割为具有病理意义的超体素；两个模态分别通过掩膜自注意力视觉Transformer（MSAS-ViT）提取组织感知特征，通过图结构视觉Transformer（Graph-ViT）捕获组织间拓扑关系；决策分支采用证据融合模块整合模态内多维度预测，并通过知识融合模块协调跨模态差异。针对疾病分级难题，研究团队设计渐进式迁移融合课程学习策略，将多分类任务分解为阶梯式二分类子任务。实验证明，MSMAE在GAMMA青光眼分级数据集和OCTA_6M视网膜病变数据集上均达到最优性能。

关键技术包括：1）CRF-SV算法实现OCT超体素最优分割；2）MSAS-ViT筛选诊断相关组织区域；3）Graph-ViT编码组织空间关系；4）双阶段证据融合框架；5）基于300例临床样本的渐进式课程学习。

【多模态应用】研究对比了MM-CNN的空间不变融合、DuCAN的跨模态注意力等现有方法，指出单一特征类型和粗粒度融合策略的局限性。MSMAE通过模态特异性处理管道，在相同数据集上将青光眼分级准确率提升5.2%。

【CFP分支】CGFE-Net提取的全局特征指导关键点检测，半径自适应组织分割使微动脉瘤检出率提高18%。实验表明，组织感知特征能有效区分糖尿病视网膜病变的渗出性与缺血性改变。

【OCT分支】CRF-SV算法通过吉布斯能量最小化实现视网膜层状结构分割，在黄斑水肿病例中达到0.91的Dice系数。结构感知特征成功量化了青光眼患者的视盘倾斜度与视网膜神经纤维层厚度相关性。

【决策分支】证据知识融合模块引入模态特异性先验知识后，跨模态诊断冲突率从12.3%降至4.7%。在OCTA_6M数据集上，该模块使6类视网膜病变的F1-score提升至0.893。

【课程学习】通过"无/早期青光眼"→"早期/中晚期"的二阶段迁移学习，模型对相邻分级的混淆矩阵对角线值提升22%，证实阶梯式训练能增强特征判别力。

该研究的核心突破在于：首次将多模态特异性处理与多层次特征感知相结合，CRF-SV算法为OCT三维分析提供新工具，渐进式课程学习为精细分级任务设立新标准。局限性在于特征判别力依赖主干网络性能，且未探索超五分类任务。未来工作可结合对比学习增强特征分离度，并扩展至AMD（年龄相关性黄斑变性）等多病种联合诊断。研究成果已开源，为智能眼科诊疗系统开发奠定算法基础。