
-
生物通官微
陪你抓住生命科技
跳动的脉搏
开放权重VLMs在2026年日本药师国家考试中的性能评估:模型规模与领域差异分析
《BMC Research Notes》:Benchmarking locally deployed open-weight vision–language models on the Japanese National Examination for Pharmacists
【字体: 大 中 小 】 时间:2026年10月15日 来源:BMC Research Notes 1.7
编辑推荐:
摘要目的我们评估了可本地部署的开放权重视觉-语言模型(VLMs)在2026年日本药师国家考试中的表现,并考察了模型规模和代际差异对特定领域考试成绩的影响。在标准化执行条件下,对26个开放权重VLMs进行了三次独立试验的评估。结果各模型的准确率存在差异,其中qwen2.5-vl
我们评估了可本地部署的开放权重视觉-语言模型(VLMs)在2026年日本药师国家考试中的表现,并考察了模型规模和代际差异对特定领域考试成绩的影响。在标准化执行条件下,对26个开放权重VLMs进行了三次独立试验的评估。
各模型的准确率存在差异,其中qwen2.5-vl:72b取得了最高准确率62.8%(±0.17%)。各科目领域的表现有所不同:病理生理/药物治疗、生物学和药理学表现出较高的准确率,而化学在所有架构和参数规模下均表现出较低的性能。这种模式可能部分反映了与专业科学图像(包括化学结构)相关的挑战。模型参数数量与总体准确率呈中度正相关(R2 = 0.59),表明存在规模扩展趋势,即更大的模型获得了更高的准确率分数。在模型家族内部,准确率通常倾向于随模型规模增加而提高。然而,模型之间观察到显著的性能差异,特别是在参数少于140亿的模型中,而近期发布的模型似乎表现出更一致的规模-性能关系。这些发现表明,除模型规模以外的因素,包括架构和训练差异,可能有助于解释性能差异。本研究为药物领域的开放权重VLMs提供了基准。
我们评估了可本地部署的开放权重视觉-语言模型(VLMs)在2026年日本药师国家考试中的表现,并考察了模型规模和代际差异对特定领域考试成绩的影响。在标准化执行条件下,对26个开放权重VLMs进行了三次独立试验的评估。
各模型的准确率存在差异,其中qwen2.5-vl:72b取得了最高准确率62.8%(±0.17%)。各科目领域的表现有所不同:病理生理/药物治疗、生物学和药理学表现出较高的准确率,而化学在所有架构和参数规模下均表现出较低的性能。这种模式可能部分反映了与专业科学图像(包括化学结构)相关的挑战。模型参数数量与总体准确率呈中度正相关(R2 = 0.59),表明存在规模扩展趋势,即更大的模型获得了更高的准确率分数。在模型家族内部,准确率通常倾向于随模型规模增加而提高。然而,模型之间观察到显著的性能差异,特别是在参数少于140亿的模型中,而近期发布的模型似乎表现出更一致的规模-性能关系。这些发现表明,除模型规模以外的因素,包括架构和训练差异,可能有助于解释性能差异。本研究为药物领域的开放权重VLMs提供了基准。