Meta-EyeFM：融合语言-视觉基础模型革新初级眼保健对话式诊断与分诊

《Cell Reports Medicine》：An integrated language-vision foundation model for conversational diagnostics and triaging in primary eye care

本刊推荐：针对全球范围内眼科医疗资源分布不均、专业医师匮乏的现状，Soh等开发出集成语言-视觉基础模型Meta-EyeFM。该模型通过嵌入路由范式（准确率96.8%）动态分配眼底照片至8个专用视觉模型，在糖尿病视网膜病变（DR）、年龄相关性黄斑变性（AMD）、近视性黄斑病变（MMD）等疾病检测中曲线下面积（AUC）≥91.2%，显著优于Gemini-1.5和GPT-4o（11%-43%）。其对话式界面与强泛化能力为初级保健场景提供可解释AI决策支持，有望实现全球眼健康筛查的规模化应用。

　　

在全球视力损伤已成为第三大致残因素的背景下，年龄相关性黄斑变性（AMD）、青光眼等主要致盲性眼病在社区中的未诊断率居高不下。这种现状与眼科专业医师数量不足、三级医疗设备分布不均密切相关，尤其在农村和低收入地区，患者往往错过最佳干预时机。虽然深度学习算法已在糖尿病视网膜病变（DR）筛查中展现潜力，但现有模型多局限于单一疾病、特定相机品牌，缺乏通用性和交互能力，难以满足真实世界多病并发、设备多样的筛查需求。

为突破这一瓶颈，新加坡眼科研究所Ching-Yu Cheng团队联合多家机构在《Cell Reports Medicine》发表研究，开发出集成语言-视觉基础模型Meta-EyeFM。该模型创新性地将大语言模型（LLM）与8个任务专用视觉基础模型（VFM）结合，通过智能路由机制实现对话式眼科诊断与分诊。

关键技术方法包括：基于RETFound架构的视觉基础模型预训练（使用249,925张眼底照片）；采用低秩自适应（LoRA）技术构建多模态LLM路由系统；利用新加坡眼病流行病学（SEED）队列（含18,736张眼底图像）进行模型微调与验证；在10个外部数据集（共65,664张图像）进行泛化性测试；通过随机少样本分析评估数据效率；与Gemini-1.5-flash、GPT-4o及临床医师进行对标比较。

眼部疾病检测性能

在内部测试中，Meta-EyeFM对需转诊DR（中重度非增殖性DR及增殖性DR）的检测AUC达97.4%，AMD为91.2%，需转诊MMD（类别2及以上）达98.8%，青光眼为94.2%，任何白内障为93.9%。无白内障眼中各项疾病检测AUC进一步提升0.8%-5.6%。随机少样本分析显示，即使仅使用10%数据微调，AUC下降幅度控制在1.3%-13.2%范围内，证明模型具有优异的数据效率。外部测试中模型保持稳定性能，尤其在白内障检测中AUC达94.4%。

疾病严重程度分级能力

模型对轻度非增殖性DR的区分AUC为82%，中重度非增殖性DR达96.4%，增殖性DR达98.9%。早期AMD检测AUC为91.6%，晚期AMD达99.2%。对MMD的脉络膜视网膜萎缩分级AUC为88.7%-98.6%，视觉显著白内障检测准确率达89%。

眼部体征识别精度

在DR相关体征检测中，微动脉瘤识别AUC为82%，激光斑达99%，硬性渗出物为95.6%，黄斑水肿达98.7%。AMD的玻璃膜疣识别AUC为77.9%，色素异常达89.3%。MMD的眼底镶嵌样改变检测AUC达95.3%，弥漫性脉络膜视网膜萎缩达97.1%。

全身性疾病预测价值

模型通过眼底图像预测糖尿病AUC达80.8%，高血压79.8%，慢性肾脏病（CKD）84.8%。无白内障眼中糖尿病预测AUC提升至81.9%，慢性肾脏病达86.7%。

与通用大语言模型对比

使用相同基础提示语时，Meta-EyeFM在DR、AMD、MMD和青光眼检测中的准确率较Gemini-1.5-flash和GPT-4o高出6%-43%。即使对手模型使用更详细的提示语，Meta-EyeFM仍保持10%-36.5%的优势。其核心突破在于路由器的96.8%分配准确率，确保查询被精准导向专用视觉模型。

临床医师对标评估

在102个无白内障眼底标签评估中，Meta-EyeFM正确识别88.2%的病例，优于初级眼科医师（74.5%-84.3%）和验光师（71.6%-81.4%）。其F1分数在DR（0.974）和青光眼（0.743）检测中超越所有初级医师，与高级医师相比，在MMD和正常眼判断表现相当，在DR和青光眼检测中更具优势。

研究结论强调，Meta-EyeFM通过嵌入即路由（embedding-as-router）新范式，成功解决多模态LLM在专业视觉诊断任务中的精度缺陷。其自我监督学习架构赋予模型强泛化能力，在多样人群和设备环境中保持稳定性能。对话式界面降低使用门槛，使非专业人员也能通过自然语言交互完成专业级眼病筛查。该技术有望整合至远程医疗平台，缓解全球范围内眼科医师分布不均的困境，为初级眼保健提供可扩展、可解释的AI决策支持工具。

研究同时指出模型尚存局限：当前疾病覆盖范围仍需扩展至罕见眼病；训练数据以亚洲和欧洲人群为主，需增加非洲、儿童等群体代表性；白内障患者中模型性能略有下降提示介质混浊对眼底评估的影响。未来将通过多中心合作进一步优化模型，使其真正成为普惠性眼健康筛查的基础设施。