《Neurocomputing》：A formal framework for agentic vision-language segmentation and reasoning interpretability
编辑推荐：
•正式的智能体框架将视觉语言模型（VLM）分割建模为目标条件的状态转移。•命题确立了一致性、收敛性和输出有效性的保证。•可解释性商（IQ）从架构上量化推理透明度。•在 1000 种随机权重配置中，IQ 排名 100% 层级稳定。引言图像分割一直被形式化为基于视觉特征从像素到语
- •
正式的智能体框架将视觉语言模型（VLM）分割建模为目标条件的状态转移。
- •
命题确立了一致性、收敛性和输出有效性的保证。
- •
可解释性商（IQ）从架构上量化推理透明度。
- •
在 1000 种随机权重配置中，IQ 排名 100% 层级稳定。
引言
图像分割一直被形式化为基于视觉特征从像素到语义标签的映射。随着视觉语言模型（VLMs）的出现，这一范式扩展到推理分割，即通过自然语言查询而非固定类标签指定目标 [7], [13], [18], [23], [24]。近期系统能够处理需要关于场景推理的组合式和开放词汇查询 [7], [13], [18], [23], [24]。然而，评估仍然主要集中于 IoU 和 Dice 等像素级度量。这些指标表明最终掩码是否准确，但很少提供关于结果如何获得以及中间推理是否一致或过程是否可检查的信息（图 1）。
这一差距难以弥合，原因有两个。首先，推理分割需要在一个现有智能体形式体系未设计过的状态空间上进行推理。分割系统可能同时维护部分掩码、视觉接地信息、不确定性和中间推理状态，这是一种在智能体形式体系发展领域中没有自然类比的結構。诸如 ReAct [19] 等基于语言的智能体推理框架处理离散标记序列和标量奖励 [2], [6]，而经典智能体架构 [17] 形式化符号信念、目标和动作 [14] 而非稠密的、连续值的像素假设；两者都无法容纳推理掩码相似度或收敛所需的度量结构（第 3 节）。其次，即使在原理上存在推理轨迹，也没有既定方法来确定系统的架构是否实际暴露了它。许多分割流水线作为单体单次映射运行，没有持久的中间状态，因此与语言模型中的步骤级推理评估不同，后者预设了可检查的轨迹 [8]，评估分割中的推理透明度首先需要确定轨迹在架构上是否可用。
我们通过将推理分割建模为由表示的目标条件状态转移过程来解决第一个问题（第 3 节）。状态捕获当前的分割假设，而策略使用视觉观察和自然语言目标更新此状态。当满足指定的目标一致性条件时，过程终止。这为分析像素级度量未捕获的性质提供了基础（第 4 节）。
我们通过可解释性商（IQ，第 5 节）来解决第二个问题。IQ 刻画了四种架构属性：轨迹可用性、连贯性、对齐性和模块化。该框架不是将可解释性视为模型输出的事后解释，而是检查架构本身是否暴露、维护并组织了检查其推理过程所需的信息。第 6 节进一步评估了 IQ 在具有代表性的推理分割系统中的操作化实现。
本工作的贡献有三点：
- •
我们将推理分割形式化为一个目标条件的智能体状态转移过程，为分析一致性、收敛性和输出有效性提供了共同表示，超越了像素级准确性。
- •
我们提出了可解释性商（IQ），这是一个通过轨迹可用性、连贯性、对齐性和模块化来刻画推理透明度的结构框架。
- •
我们在具有代表性的分割系统上实证检验了提出的框架，并分析了推理透明度的架构差异是否反映在 IQ 中。
章节片段
背景与相关工作
视觉语言模型（VLMs）使分割任务能够由自然语言指导，[5], [20]。LISA [7] 通过抽象的语言约束引入了推理分割。PixelLM [13] 将此范式扩展到多个开放词汇目标的像素级推理，而 GSVA [18] 将分割推广到多对象和空集场景。LLaFS [23] 展示了少样本语言引导分割，POPEN [24] 纳入了偏好优化以缓解
智能体推理分割的形式化模型
我们将推理分割形式化为一个目标导向的智能体过程，如图 2 所示。
理论性质与设计原则
理论性质汲取自动态模型、不动点理论、单调推理和程序验证中的概念 [1], [3], [9], [10]。
可解释性商
可解释性越来越被视为各个领域推理和智能体 AI 模型的核心要求 [4], [9]。在推理分割中，可解释性很重要，因为输出不仅取决于视觉特征，还取决于中间的语言和语义推理过程。PixelLM[13] 和 POPEN [24] 部分外部化了中间推理并纳入了验证机制以减少幻觉和语义不一致，表明
实证评估
我们使用独立的领域专家进行了两项实证研究，以评估 IQ 的可重复性和鲁棒性。第一项研究检查评分者间信度（IRR），评估独立评估者是否在不同模型和维度上产生一致的 IQ 评估。第二项研究分析对组件权重的敏感性，评估模型排名在不同的权重配置下是否保持稳定。相对于我们早期的四模型试点，本研究扩展了
对比映射
我们将具有代表性的推理分割模型映射到形式化组件
上。总结在表 6 中的结果对比突出了常规像素准确性基准未捕获的结构差异。特别是，现有模型在以下方面存在显著差异：
- •
内部分割状态是显式的还是隐式的，
- •
推理是迭代的还是单通的，
- •
终止是固定步长的还是目标条件的，
- •
推理轨迹是否可外部检查。
第 7.2 节补充了
架构影响
出现了三种具有更高推理透明度的架构模式。首先，状态外部化保持中间假设和细化结果在整个推理过程中可观察。MedAgent-Pro [16] 和 A4-Agent [22] 维护持久的、可外部检查的推理表示，而诸如 LISA [7]、PSALM [21] 和 GLaMM [11] 等系统暴露的显式推理制品较少。SAM 2 的持久内存库 [12] 是一个部分例外：它外部化了
结论
本文引入了智能体推理分割的正式框架，通过将分割建模为具有显式推理动力学、分割状态和控制终止的目标条件状态转移过程，从而启用超越输出准确性的分析。它确立了分割特定的状态、观察、策略、推理轨迹和目标一致性概念，支持对一致性保持、收敛和输出有效性的理论分析。在
CRediT 作者贡献声明
阿尔皮塔·凯沙瓦尼：撰写 – 原稿、可视化、方法学、调查。宾杜·维尔马：撰写 – 审阅与编辑、验证、监督、方法学、调查。
利益冲突声明
作者声明，他们没有任何已知的竞争性财务利益或个人关系可能影响本文报告的工作。
致谢
作者感谢参与评分者间信度研究的九位领域专家，感谢他们的时间和对 IQ 框架组件的仔细评估。他们的评估构成了第 6 节的实证基础。
阿尔皮塔·凯沙瓦尼是德里科技大学的研究硕士在读学生，毕业于德里大学集群创新中心工学学士学位。她的研究兴趣包括深度学习、数学建模以及用于视觉语言分割的智能体 AI 系统。她是主要联赛黑客研究员（前 2.5%）、伊拉斯谟世界奖学金获得者和印度科学院研究员，也是 Ersilia、Bokeh、Apache-Airflow、Wikimedia 和 Scribe-Org 的开源贡献者。
阿尔皮塔·凯沙瓦尼|宾杜·维尔马
