《INTERNATIONAL JOURNAL OF COMPUTER VISION》：Eyegent: Visual Attention Orchestration on Concepts
编辑推荐：
人类注视的位置并非随机，亦非对视觉显著性的单纯反射，而是一种由目标塑造、受语言约束并由消除不确定性需求驱动的决策。研究人员提出Eyegent，一种基于上述前提构建的主动视觉智能体（active vision agent）：视觉搜索应被理解为对语义锚定假设（se
人类注视的位置并非随机，亦非对视觉显著性的单纯反射，而是一种由目标塑造、受语言约束并由消除不确定性需求驱动的决策。研究人员提出Eyegent，一种基于上述前提构建的主动视觉智能体（active vision agent）：视觉搜索应被理解为对语义锚定假设（semantically grounded hypotheses）的序列贝叶斯推断（sequential Bayesian inference），注视（fixation）则充当认知动作（epistemic actions）。给定图像和自然语言查询，Eyegent构建候选分割掩码（segmentation masks）的离散假设空间，维护显式后验信念分布（posterior belief distribution），并选择每次注视以最大化期望信息增益（expected information gain）——通过视觉-语言模型验证更新信念，并在不确定性低于有原则的风险阈值时终止。研究人员将该过程形式化为贝叶斯主动语义锚定（Bayesian Active Semantic Grounding, BASG），这是一种计算层面的理论，为信念集中（belief concentration）、熵减（entropy reduction）和有界决策风险（bounded decision risk）提供形式化保证。该框架在神经生物学上植根于人脑的大规模网络组织，其中突显网络（Salience Network）被认定为语义、推断和眼动过程的动态协调器。关键在于，Eyegent无需注视监督（gaze supervision）与任务特定训练：它是零样本（zero-shot）、模块化的，且完全由现成组件构建。在RefCOCO-Gaze和AiR-D这两个将语言驱动的视觉任务与人类眼动真实标注相结合的基准上，Eyegent在语义、空间和结构扫描路径指标上，于零样本方法中取得了具有竞争力或最先进的性能，并在多个维度上接近有监督基线。结果表明，该系统不仅预测人类注视的位置，而且生成扫描路径的原因与人类生成它们的原因相同：为了查明真相。
在计算机视觉研究中，一种长期流行的假设是：视觉理解可以从图像数据中直接读出，只要表示足够丰富，规模足够大，最终会趋同于理解。然而，基准能力的提升并不等于视觉理解。当前多数视觉架构以单次前馈方式运行，不维护显式不确定性表征，也缺乏主动引导自身感知采样的机制。这种设计与人脑视觉活动存在根本差异。人类视觉是序列性、有目的且深度推断性的：注视被视作认知动作，用于消除不确定性、检验假设，而不是简单地采样视觉显著性区域。早期主动视觉与具身视觉研究曾指出，目的性知觉参与能使不适定问题变得可解，但该传统后来被前馈架构的实证成功和基准驱动优化所遮蔽。与此同时，语言引导的注视在神经层面依赖大规模皮层网络的协调：默认网络提供语义先验，额顶网络维护信念，背侧注意网络实现空间优先级，突显网络则作为动态协调器。基于这些认识，研究人员提出Eyegent，一个将语言引导视觉搜索转化为序列贝叶斯推断的主动视觉智能体。
Eyegent的核心框架是贝叶斯主动语义锚定（BASG）。给定图像和自然语言查询，它先生成候选分割掩码的有限假设空间，维护显式的后验信念分布；然后每次选择注视位置以最大化期望信息增益；通过视觉-语言模型对局部斑块进行语义验证，并以贝叶斯方式更新信念；当后验不确定性低于风险阈值时终止。BASG在计算层面提供了信念集中指数速率、期望熵减、有界决策风险及期望注视次数等形式的保证。系统无需任何注视监督或任务特定训练，是零样本、模块化的，完全使用现成组件。在RefCOCO-Gaze和AiR-D两个耦合语言驱动视觉任务与人眼注视真值的基准上，Eyegent在零样本方法中取得有竞争力或最优的语义、空间和结构扫描路径指标，并在多个维度上接近有监督基线。这一结果的意义在于，它表明一个基于规范性原则构建的系统不仅预测人类注视位置，而且能够出于与人类相同的原因生成扫描路径——即为了探索和消除不确定性。该论文发表在《INTERNATIONAL JOURNAL OF COMPUTER VISION》。
研究人员采用模块化agent架构。认知协调器由Qwen3-VL-8B-Instruct多模态大语言模型（MLLM）担任，负责查询分解、局部语义验证和全局置信判断；语义提议模块使用CLIPSeg文本条件分割模型，将查询短语映射为候选掩码；随机注意模块即空间漂移-扩散注视模型（SDDGM），以信念加权显著性作为漂移输入，通过多选择累加器竞争生成下一次注视。观测似然通过Platt缩放校准后，按贝叶斯递归更新后验。数据集来源为RefCOCO-Gaze（指代表达理解眼动数据）和AiR-D（基于GQA的视觉推理眼动数据）。
4.2 结果
在RefCOCO-Gaze和AiR-D上，研究人员将Eyegent与两种零样本方法ScanDDM和NeVA-Clip比较，并报告有监督基线Scanpath-VQA和ART以及人类间一致性作为参考。实验结果显示，在RefCOCO-Gaze上，Eyegent在语义序列分数（SemSS）、语义注视编辑距离（SemFED）和ScanMatch（带时长）指标上取得零样本方法中最好成绩，并取得最佳MultiMatch Position分数；在AiR-D上，Eyegent在所有语义指标上领先零样本对手，并匹配最佳空间分数。这些数据说明，信念驱动框架不仅适用于单目标指代，也能推广到组合式多步视觉推理。
4.2.1 定性结果
通过可视化后验信念演化，研究人员观察到在一个VQA任务中，正确假设（ski）迅速获得主导概率，而语境替代项概率下降，熵随注视次数呈下降趋势，与理论预测一致。在AiR-D上，Eyegent生成的扫描路径比ScanDDM和NeVA-Clip更接近人类注视：它能解析隐式引用（如将“device”指向智能手机），并采用锚点关系推理策略，先定位上下文线索再注视目标区域。在RefCOCO-Gaze上，Eyegent倾向于将注视集中在所指实体上，处理属性/方位指代和歧义消解时与人类验证行为一致，而对比模型探索更分散。
讨论部分诚实指出，监督方法在某些空间和时间指标上仍具优势，这是预期的，因为监督系统直接针对人类注视分布优化，而Eyegent完全从第一性原理推导行为。更具信息量的比较是，一个无任务特定训练的规范系统能否接近人类探索模式，结果显示答案是肯定的。生物启发设计带来多重优势：目的性序列感知、显式不确定性表示、内在可解释性、无需重训的泛化、对分布转移的稳健性、有原则的不确定性量化、可诊断的失败模式以及模块化可替换性。BASG还与自由能原理、Infomax控制、预测编码和贝叶斯惊讶等理论框架建立原则性联系。局限性包括假设空间在初始化时封闭，若分割模块漏掉正确掩码则无法恢复；当前注视策略通过空间信念图近似信息增益，在高度重叠假设下可能次优；模型-大脑的实证比较尚未完成。
研究结论：研究人员提出了Eyegent，一种将语言引导的视觉搜索重构为对语义锚定假设的序列贝叶斯推断的主动视觉智能体。BASG提供了目标导向注视的原则性说明：注视是认知动作，信念通过递归贝叶斯更新，终止由风险有界停止规则控制。Eyegent无需注视监督或任务特定训练，零样本、模块化，由现成组件构建。在RefCOCO-Gaze和AiR-D上的评估表明，它在零样本方法中达到竞争性或最优性能，并在多个维度上接近有监督基线，支持了规范原则足以复现重要人类注视行为的观点。更重要的是，Eyegent作为更广泛研究纲领的概念验证，将现代AI架构植根于人脑功能组织，为计算建模与认知神经科学之间建立桥梁，其计算状态构成可检验的神经活动预测。未来方向包括开放世界假设细化、更丰富的眼动策略、多智能体扩展和直接神经验证。
