MIRAGE：首个视网膜OCT/SLO多模态基础模型在眼科AI领域的突破性研究

为解决视网膜疾病诊断中人工智能模型泛化性差、依赖大量标注数据的问题，研究团队开发了首个多模态基础模型MIRAGE，通过自监督学习整合光学相干断层扫描(OCT)和扫描激光检眼镜(SLO)图像分析。该模型在19项分类与分割任务中显著优于现有模型，尤其在年龄相关性黄斑变性(AMD)诊断和视网膜层分割任务中表现突出，为开发鲁棒的临床AI系统提供了新范式。

　　

视网膜疾病是全球视力丧失的主要原因，年龄相关性黄斑变性(AMD)、糖尿病视网膜病变(DR)和青光眼等疾病严重影响患者生活质量。尽管光学相干断层扫描(OCT)已成为视网膜疾病诊断的金标准，但其图像解读复杂耗时且存在观察者间差异。现有人工智能(AI)模型虽能辅助分析，但严重依赖大量标注数据，且在未知数据上表现不佳。基础模型(FMs)通过自监督学习(SSL)在大规模无标注数据上预训练，为克服这些挑战提供了新思路。然而，现有眼科基础模型存在验证不足、仅支持单一模态等问题。

为此，研究人员在《npj Digital Medicine》发表了名为MIRAGE的多模态基础模型，该模型能够同时处理OCT和SLO图像，并提出了包含分类与分割任务的综合评估基准。研究团队采用多模态掩码自编码器(MultiMAE)方法，在26万对配对的多模态视网膜图像上预训练视觉Transformer(ViT)模型，同时利用自动生成的视网膜层伪标签增强学习。关键技术包括：基于维也纳成像生物标志物眼研究(VIBES)注册数据的多模态预训练、模态随机掩码策略、跨模态注意力机制，以及ConvNeXt分割解码器的设计。

模型性能评估

ocular疾病诊断性能

在9个OCT分类数据集和2个SLO分类数据集的评估中，MIRAGE在线性探针设置下显著优于DINOv2、RETFound等基准模型。在AMD诊断任务中，MIRAGE在Duke iAMD数据集上达到99.52%的AUROC(曲线下面积)，比第二名高出0.39个百分点(p<0.01)。在青光眼分期任务(GAMMA数据集)中，性能优势达5.20个百分点。平均而言，MIRAGE在所有OCT任务中的AUROC为95.59%，显著优于第二名的RETFound模型(1.15个百分点差距，p<0.001)。

跨数据集泛化能力

在跨数据集评估中，MIRAGE展现出卓越的泛化性能。当在Noor Eye Hospital数据集上训练并在UMN+Duke Srinivasan数据集上测试时，MIRAGE比监督学习ImageNet预训练模型(SL-IN)高出4.74个百分点的AUROC(p<0.01)。反方向评估也显示类似优势，证明了模型对域偏移的鲁棒性。

视网膜病变和层分割

在4个公共OCT分割数据集和1个内部SLO分割数据集的评估中，MIRAGE在视网膜病变和层分割任务中均显著优于专门的基础模型MedSAM。在Duke DME、AROI和RETOUCH数据集上，MIRAGE的Dice分数分别达到69.72%、52.18%和79.60%，比MedSAM分别高出13.92、9.51和10.20个百分点(p<0.001)。对于层分割任务，MIRAGE在Duke DME、AROI和GOALS数据集上的Dice分数分别为83.02%、93.79%和92.46%。

与专业模型比较

与nnUNet、SwinUNETR-V2、MedNeXt和TransUNet等专业分割模型相比，MIRAGE在大多数任务中表现相当，但在跨数据集评估中显著优于所有专业模型，Dice分数达到91.06%，比最佳专业模型(nnUNet)高出约30个百分点，显示出卓越的泛化能力。

机制分析研究

伪标签的有效性

研究表明，使用视网膜层伪标签进行预训练的模型(OCT+Layers)在OCT分类和分割任务中均显著优于仅使用OCT图像训练的模型，证明了多模态学习的附加价值。

领域特异性多模态预训练

与在自然图像(ImageNet)上预训练的模型相比，在领域特异性多模态数据上预训练的MIRAGE表现出显著优势，在各项任务中平均性能最佳，突出了医学领域预训练的重要性。

模型容量影响

虽然ViT-Large版本在大多数任务中表现略优于ViT-Base版本，但两者差异不大，表明MIRAGE的有效性不依赖于模型容量，为资源有限场景提供了实用选择。

讨论与结论

MIRAGE作为首个真正意义上的视网膜多模态基础模型，通过创新的多模态掩码自编码预训练策略，有效利用了OCT、SLO和视网膜层分割信息之间的互补性。与现有基础模型相比，MIRAGE不仅支持多模态输入，而且在分类和分割任务中均表现出色，特别是在跨数据集评估中展现出的强大泛化能力，使其更适合真实临床环境的应用。

研究团队提供了全面的评估基准，包含16个数据集的19项任务，为后续研究设立了新标准。MIRAGE的发布将促进眼科AI研究的可重复性和进步，为开发真正鲁棒的临床AI系统奠定了基础。

研究的局限性包括预训练数据主要来自单一中心且以AMD患者为主，未来需要纳入更多样化的数据；当前仅使用2D B扫描，未来需要探索整合3D信息的方法；视网膜层分割伪标签的准确性也有改进空间。

总之，MIRAGE代表了视网膜图像分析领域的重要进步，为多模态医学基础模型的发展指明了方向，有望推动眼科AI从研究向临床应用的转化。