今日动态 返回首页
会员注册 登录 生物通快讯免费订阅
  • 首页 今日动态 人才市场 新技术专栏 中国科学人 云展台
    BioHot
    • 定制我的BioHot
    • 进入我的BioHot
    • 进入我的集采
    • 肿瘤癌症研究
    • 免疫/基因/细胞疗法
    • 神经生物学
    • 健康与疾病
    • 衰老机制与长寿
    • 单细胞技术
    • 基因编辑-CRISPR
    • RNA研究
    • 肠道菌与人体微生态
    • 细胞代谢
    • AI生物信息学
    • COVID
    云讲堂直播 会展中心 特价专栏 技术快讯 免费试用

  • 生物通官微
    陪你抓住生命科技
    跳动的脉搏

生物通首页  >  今日动态  >  正文

开放权重VLMs在2026年日本药师国家考试中的性能评估:模型规模与领域差异分析

《BMC Research Notes》:Benchmarking locally deployed open-weight vision–language models on the Japanese National Examination for Pharmacists

【字体: 大 中 小 】 时间:2026年10月15日 来源:BMC Research Notes 1.7

编辑推荐:

   摘要目的我们评估了可本地部署的开放权重视觉-语言模型(VLMs)在2026年日本药师国家考试中的表现,并考察了模型规模和代际差异对特定领域考试成绩的影响。在标准化执行条件下,对26个开放权重VLMs进行了三次独立试验的评估。结果各模型的准确率存在差异,其中qwen2.5-vl

  

摘要

目的

我们评估了可本地部署的开放权重视觉-语言模型(VLMs)在2026年日本药师国家考试中的表现,并考察了模型规模和代际差异对特定领域考试成绩的影响。在标准化执行条件下,对26个开放权重VLMs进行了三次独立试验的评估。

结果

各模型的准确率存在差异,其中qwen2.5-vl:72b取得了最高准确率62.8%(±0.17%)。各科目领域的表现有所不同:病理生理/药物治疗、生物学和药理学表现出较高的准确率,而化学在所有架构和参数规模下均表现出较低的性能。这种模式可能部分反映了与专业科学图像(包括化学结构)相关的挑战。模型参数数量与总体准确率呈中度正相关(R2 = 0.59),表明存在规模扩展趋势,即更大的模型获得了更高的准确率分数。在模型家族内部,准确率通常倾向于随模型规模增加而提高。然而,模型之间观察到显著的性能差异,特别是在参数少于140亿的模型中,而近期发布的模型似乎表现出更一致的规模-性能关系。这些发现表明,除模型规模以外的因素,包括架构和训练差异,可能有助于解释性能差异。本研究为药物领域的开放权重VLMs提供了基准。

目的

我们评估了可本地部署的开放权重视觉-语言模型(VLMs)在2026年日本药师国家考试中的表现,并考察了模型规模和代际差异对特定领域考试成绩的影响。在标准化执行条件下,对26个开放权重VLMs进行了三次独立试验的评估。

结果

各模型的准确率存在差异,其中qwen2.5-vl:72b取得了最高准确率62.8%(±0.17%)。各科目领域的表现有所不同:病理生理/药物治疗、生物学和药理学表现出较高的准确率,而化学在所有架构和参数规模下均表现出较低的性能。这种模式可能部分反映了与专业科学图像(包括化学结构)相关的挑战。模型参数数量与总体准确率呈中度正相关(R2 = 0.59),表明存在规模扩展趋势,即更大的模型获得了更高的准确率分数。在模型家族内部,准确率通常倾向于随模型规模增加而提高。然而,模型之间观察到显著的性能差异,特别是在参数少于140亿的模型中,而近期发布的模型似乎表现出更一致的规模-性能关系。这些发现表明,除模型规模以外的因素,包括架构和训练差异,可能有助于解释性能差异。本研究为药物领域的开放权重VLMs提供了基准。

相关新闻
生物通微信公众号
生物通新浪微博
微信
新浪微博
我要投稿
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热搜:视觉-语言模型|开放权重模型|药师考试|模型规模|药物领域|性能评估

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号