Martingale Doppelg?nger-Eval:一种用于评估视觉语言模型图表理解能力的干预性审计框架

《Algorithms》:Martingale Doppelg?nger-Eval: A Specification-Driven Interventional Audit Algorithm for Visual Evidence Use in Vision–Language Models

【字体: 大 中 小 】 时间:2026年09月20日 来源:Algorithms 2.6

编辑推荐:

   摘要

  

摘要

评估图表理解需要区分对局部视觉证据的响应与图表整体形态的关联。我们提出了 Martingale Doppelg?nger-Eval,这是一个干预性审计框架,将可执行的编辑规范与基准生成、有效性检查和响应估计连接起来。匹配图表支持对证据响应和区域敏感性的独立测量。每个结果都包含其不确定性、响应覆盖率和识别状态。我们表征了识别配对效应的条件,并指定了一种序贯程序,用于在检查累积证据后停止审计。我们在由修正后的渲染器生成的 12,000 对样本上直接评估了九个冻结的视觉 - 语言模型。完整配对证据分数介于 0.4362 到 0.4990 之间,而有监督像素对照将学习到的规则推广至不相交的保留符号。一项匹配的仅体积实验揭示了模型特有的响应,而幅度匹配的区域编辑将真实区域敏感性与报告区域的忠实度分开量化。该框架将可解释的视觉比较与其统计评估所需的条件联系起来。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号