EyeCLIP：基于多模态视觉-语言预训练模型的眼科智能诊断新范式

《npj Digital Medicine》：A multimodal visual–language foundation model for computational ophthalmology

本研究针对眼科AI模型单模态局限和罕见病诊断难题，开发了名为EyeCLIP的多模态视觉语言基础模型。该研究整合277万张11种模态的眼科图像与临床文本，通过创新的三重预训练策略（自监督重建+多模态对比学习+图文对比学习），在14个基准测试中展现出卓越的疾病分类、视觉问答和跨模态检索能力，其零样本和小样本特性尤其适用于临床长尾分布场景，为眼科及全身性疾病早期筛查提供了突破性解决方案。

　　

眼科疾病如青光眼、黄斑变性和糖尿病视网膜病变(DR)是全球视力损害的主要原因，早期诊断对预防不可逆视力丧失至关重要。然而当前眼科人工智能(AI)模型存在两大瓶颈：一是局限于单一影像模态（如仅分析彩色眼底照相CFP或光学相干断层扫描OCT），忽视临床实践中多模态检查的互补价值；二是对罕见病诊断能力不足，因疾病自然分布的长尾特性导致训练数据匮乏。更严峻的是，医疗资源分布不均使得发展中国家难以获得及时的专业眼科诊断服务。

针对这些挑战，香港理工大学等机构的研究团队在《npj Digital Medicine》发表了突破性研究。该团队开发了名为EyeCLIP的多模态视觉语言基础模型，通过整合277万张涵盖11种眼科影像模态（包括CFP、FFA、ICGA、OCT等）的图像与11,180份临床报告，构建了目前规模最大的眼科多模态数据库。研究采用创新的三重预训练策略：自监督图像重建（MAE框架）、多模态图像对比学习（img-img）和图文对比学习（img-text），通过共享编码器实现跨模态特征对齐。模型在损失函数设计上采用加权组合（λ_img-text=0.75, λ_img-img=0.75, λ_recon=1），在NVIDIA V100 GPU上训练四周完成开发。

研究结果通过14个国际多中心数据集验证，展现出三大突破性性能：

零样本分类能力
在未经过特定训练的情况下，EyeCLIP仅凭模态和疾病名称的文本提示（如"color fundus photography, diabetic retinopathy"），在9个公共数据集上取得显著优于对比模型（CLIP/BioMedCLIP等）的诊断性能。对于糖尿病视网膜病变(DR)，AUROC达到0.681-0.757；在OCT模态的OCTID和OCTDL数据集上，AUROC分别达0.800和0.776（P<0.001）。这种能力使其可直接应用于缺乏标注数据的临床场景。

小样本学习优势
当每类仅有1-16个标注样本时，EyeCLIP在APTOS2019等9个数据集上的表现显著超越基线模型。特别在视网膜图像银行(Retina Image Bank)的17种罕见病分类中（如脉络膜骨瘤、Stargardt病等），模型AUROC达0.561，较次优模型提升1.6个百分点（P<0.001）。这种数据高效特性使其在罕见病诊断场景具有独特价值。

多模态协同诊断
在包含FFA和ICGA双模态的AngioReport数据集上，EyeCLIP的AUROC达0.684，较BioMedCLIP提升14.6个百分点。而在涵盖14种模态的Retina Image Bank中，模型成功实现跨模态检索（Recall@10达50.9%），证明其能有效捕捉不同检查间的互补信息。通过可视化分析发现，模型能准确定位疾病相关区域（如青光眼的视杯扩大、DR的微动脉瘤等），与临床认知高度一致。

研究还揭示了两个延伸应用价值：一是通过UK Biobank数据证实模型可预测系统性疾病（卒中、痴呆等），AUROC达0.536-0.641；二是与Llama2-7B结合后，在OphthalVQA测试集上实现眼科多模态视觉问答，准确率显著优于专业定制模型。

该研究的创新性体现在三方面：首次实现眼科多模态的统一编码（而非传统模态专用编码器），通过MAE重建损失增强跨模态一致性；利用临床报告构建层次化文本标签（如"DR→NPDR→Mild NPDR"），实现语义级图文对齐；证明单一模型可同时支持分类、检索、VQA等多种任务。这些特性使EyeCLIP成为首个真正适用于真实临床工作流的眼科基础模型。

局限性包括训练数据以中国人群为主可能影响跨种族泛化性，且当前仅处理2D切片而忽略FFA/OCT等模态的动态和体积信息。未来工作将探索3D处理、模型蒸馏优化及更公平的种群表示。这项研究不仅为眼科AI设立新基准，其"自监督+对比学习"框架也为其他医学领域处理不完整多模态数据提供了范式参考，有望加速医疗AI在资源匮乏地区的落地应用。