基于知识增强的人工智能技术推动了在眼底荧光素血管造影中多种视网膜疾病的诊断

《Frontiers in Cell and Developmental Biology》：Knowledge-enhanced AI drives diagnosis of multiple retinal diseases in fundus fluorescein angiography

知识增强预训练策略在FFA图像六类视网膜疾病分类中的应用研究，通过融合MM-Retinal-FFA的专家标注和FFA-IR的大规模临床报告数据，构建ResNet-50与BioClinical-BERT的跨模态预训练模型，经迁移学习优化后模型在内外部测试集上均取得微平均AUC 0.92的高效分类性能，其中nAMD和VO的AUC分别达0.96和0.95。

　　
本研究聚焦于开发并验证一种基于深度学习的多类别视网膜疾病分类模型，目标是通过分析荧光素钠血管造影（FFA）图像实现六种视网膜疾病的精准分类。研究采用知识增强预训练策略，结合多模态数据源，突破了传统模型依赖单一数据集的局限性，为临床自动化筛查提供了创新解决方案。

在方法设计上，研究团队构建了双轨制预训练框架。首先，采用ResNet-50作为视觉编码器，通过融合MM-Retinal-FFA专业图谱（含1947张高分辨率FFA图像及专家标注）和FFA-IR临床数据库（超百万张图像及10,790份双语诊断报告），在跨模态数据协同训练中注入医学知识。创新性地设计了图像相似性引导的文本修正模块，通过交叉注意力机制实现图像特征与临床描述的语义对齐。这种混合训练策略既保证了医学知识的准确性，又利用大规模临床数据提升模型的泛化能力。

预训练阶段采用AdamW优化器，学习率从10^-4逐步衰减，配合数据增强技术（随机水平翻转、±10度旋转、颜色抖动）有效缓解过拟合问题。值得注意的是，训练过程中通过动态权重调整机制，确保两个数据集（MM-Retinal-FFA和FFA-IR）的协同作用。临床数据占比虽小（约1.8%），但通过知识蒸馏技术将专家经验转化为可计算的嵌入表示，显著提升了模型对复杂病例的识别能力。

在下游任务处理中，研究团队采用端到端的多层感知机（MLP）进行分类，通过全局平均池化将2048维特征向量映射为分类层输入。这种设计在保持模型轻量化的同时，确保了关键病理特征的有效提取。测试阶段严格遵循临床验证标准，分别使用同机构（内部测试集）和独立机构（外部测试集）数据进行交叉验证，确保结果的可重复性。

研究结果显示，模型在两种测试集上均达到0.92的微平均AUC值，其中针对静脉阻塞（VO）和新生血管性老年性黄斑变性（nAMD）的分类准确率分别达到0.95和0.96。这种性能优势源于两种关键机制：其一，通过知识增强预训练，模型建立了从典型血管形态（如nAMD的渗漏血管）到病理诊断的强关联；其二，多模态融合机制有效整合了影像特征与临床描述的互补信息。例如，对于中央 serous chorioretinopathy（CSC），模型不仅能识别典型的黄斑区高荧光渗漏，还能通过临床报告中的" posterior vitreous detachment"等描述进行跨模态推理。

讨论部分揭示了模型设计的精妙之处。首先，知识增强预训练解决了医学影像标注的主观性问题，通过专家标注图谱和临床文本的双重约束，使模型具备理解血管密度、荧光分布等关键病理特征的能力。其次，双测试集验证（内部1,908例，外部896例）证实模型具有良好的跨机构泛化性，这得益于预训练阶段引入的多样性数据源。值得注意的是，针对非增殖性糖尿病视网膜病变（NPDR）和增殖性糖尿病视网膜病变（PDR）的分类性能相对较弱，这可能与两阶段模型设计有关：预训练阶段主要关注结构化知识，而细粒度分类仍需依赖领域特定数据。

研究同时指出三大技术突破：1）多模态预训练框架首次将医学图谱与临床文本进行联合编码，构建了视网膜疾病的语义知识图谱；2）动态文本修正机制通过交叉注意力实现临床描述的细粒度调整，使模型能够理解"微动脉瘤样改变"等复杂医学术语；3）双阶段训练策略兼顾知识迁移与任务适应，在保持高精度的同时显著提升计算效率。这些创新使得模型在资源有限环境下仍能保持高性能，例如在单中心外部测试集上，模型对nAMD的识别准确率比传统单任务模型提升12.7%。

实际应用场景中，该模型展现出显著优势。在基层医疗机构，医生可通过上传FFA图像获得自动分类报告，其中关键病理区域（如黄斑区血管异常）会被高亮标注，并附上基于临床指南的置信度评分。研究显示，这种辅助诊断系统可将筛查效率提升至传统人工检查的20倍以上，同时将误诊率降低至3%以下。在资源匮乏地区，模型通过预训练阶段注入的医学知识，可在缺乏标注数据的情况下持续优化性能。

该研究还存在值得深入探索的方向。首先，针对糖尿病视网膜病变的多阶段分类问题，未来可结合时序分析技术，追踪病变发展过程。其次，在模型可解释性方面，建议引入注意力可视化模块，帮助临床医生理解模型决策依据。此外，多中心数据验证虽已开展，但需进一步扩大样本量和地域覆盖范围，特别是针对亚洲人群的眼底特征差异。最后，研究提出的知识增强预训练框架可拓展至其他医学影像领域，如通过整合病理报告和影像数据实现多模态诊断模型训练。

总体而言，这项研究为医学影像AI发展提供了重要范式。通过构建"知识图谱-预训练-细调"三位一体的技术体系，成功解决了三大核心挑战：医学知识编码、跨模态特征融合、小样本场景泛化。其成果不仅推动了视网膜疾病筛查的技术革新，更重要的是建立了AI辅助诊断系统与临床实践的标准对接模式，为后续产品化应用奠定了坚实基础。这种将结构化医学知识注入深度学习框架的方法，或将成为智能医疗影像分析的主流技术路径。