
-
生物通官微
陪你抓住生命科技
跳动的脉搏
RETBind:面向眼科患者级跨模态影像分析的基础模型
《npj Digital Medicine》:RETBind: a patient-level multimodal foundation model for unified cross-modal retinal representation learning
【字体: 大 中 小 】 时间:2026年11月04日 来源:npj Digital Medicine 18.0
编辑推荐:
摘要 医学人工智能(AI)在眼科领域的众多任务中展现出巨大潜力,为患者级别的诊断支持提供了实用途径。基础模型通过从大规模未标记数据中学习通用表示来进一步发挥这一潜力,从而减轻了大量手动标注的工作负担。然而,现有的眼科基础模型大多依赖于单一模态或特定模态的编码器
医学人工智能(AI)在眼科领域的众多任务中展现出巨大潜力,为患者级别的诊断支持提供了实用途径。基础模型通过从大规模未标记数据中学习通用表示来进一步发挥这一潜力,从而减轻了大量手动标注的工作负担。然而,现有的眼科基础模型大多依赖于单一模态或特定模态的编码器,无法捕捉现实世界多模态临床工作流程中的患者级跨模态信息。为了解决这些问题,我们提出了RETBind——一种基于患者级别的多模态基础模型,它采用统一的编码器,通过结合患者级别的光学相干断层扫描(OCT)和超广角(UWF)眼底成像数据来显式学习跨模态对应关系。这种基于患者级别的配对预训练策略使模型能够学习到互补信息的统一跨模态表示,从而提升了性能和鲁棒性,超越了单一模态方法的效果。在涵盖眼部疾病分类和分割任务的九个基准数据集中,RETBind表现出一致的提升,尤其是在临床相关的不平衡数据集中显著提高了AUPR(准确率-preterception率)。进一步的研究探索了RETBind在从视网膜成像中预测系统性疾病方面的潜力,总体证明了该模型能够在单一共享编码器内学习到统一的跨模态表示,实现不同模态之间的直接交互,并支持在多种视网膜成像任务中的迁移能力。