ChatGPT在眼科委员会考试题目中的性能评估：基于多版本模型与跨语言分析的Meta研究

为解决ChatGPT在不同版本(GPT-3.5/GPT-4)、题型(文本/图像)及语言环境下回答眼科委员会考试题目的准确率差异问题，研究人员通过系统检索5大数据库开展Meta分析。结果显示：GPT-4综合准确率达73%，显著优于GPT-3.5(54%)，但图像处理能力(55%)明显弱于文本(77%)；跨语言分析显示英语国家(73%)与非英语国家(71%)差异较小，而眼科亚专科中通用医学(80%)表现最优，临床光学(55%)最弱。该研究为AI在医学考试中的应用提供了版本选择与局限性的重要依据。

　　

这项研究采用Meta分析方法系统评估了ChatGPT系列模型(GPT-3.5/GPT-4)在眼科委员会考试题目中的表现。通过检索PubMed、Web of Science等5大数据库截至2025年3月的数据，研究发现：最新GPT-4模型展现出73%的综合准确率，较GPT-3.5的54%有显著提升。有趣的是，模型在纯文本题目中表现优异(77%)，但涉及图像解析的任务准确率骤降至55%，提示视觉模态处理仍是当前技术瓶颈。

跨语言对比显示，GPT-4在英语国家(73%)与非英语国家(71%)的准确率差异不足2%，表明其多语言处理能力相对均衡。在眼科细分领域，通用医学(General Medicine)以80%准确率夺冠，而临床光学(Clinical Optics)仅55%垫底，反映出专业知识深度对AI性能的影响。

研究者特别指出，尽管GPT-4全面超越前代产品，但其图像理解能力仍需第三方验证。不同题型与专科间的表现波动，暗示未来需加强错误模式分析及跨语言优化研究，这对推动人工智能(AI)在医学教育认证体系中的应用具有重要指导价值。