编辑推荐:
研究人员提出了一种名为 Active Perception (ACP) 的框架,旨在解决当前视觉语言模型(Vision-Language Models, VLMs)在图表理解任务中推理与精确视觉定位脱节的问题。不同于自然图像,图表是由显式视觉语法构成的结构化产
研究人员提出了一种名为 Active Perception (ACP) 的框架,旨在解决当前视觉语言模型(Vision-Language Models, VLMs)在图表理解任务中推理与精确视觉定位脱节的问题。不同于自然图像,图表是由显式视觉语法构成的结构化产物,要求像素级的空间感知精度。现有方法虽在抽象推理方面表现优异,但缺乏将每一步逻辑锚定到具体视觉位置的能力,导致微小感知误差会级联扩散至最终答案。为此,研究人员引入 Gaze-Guided Thinking,一种通过坐标基元(Coordinate Primitives)实现抽象推理与具体视觉位置绑定的模式,包括定位(Locate)、追踪(Trace)、提取(Extract)和比较(Compare)。为注入该能力,研究人员设计了 Skill Cultivation 两阶段训练策略:第一阶段通过监督微调(Supervised Fine-Tuning, SFT)在自建的 ChartQAGaze?14K 数据集上植入坐标感知基元;第二阶段采用基于结果的强化学习(Reinforcement Learning, RL)将技能内化为自适应策略。实验表明,基于 Qwen2.5?VL?7B 的 ACP 在 ChartQA 基准上取得总体准确率从 78.96% 提升至 82.44% 的性能突破,其中 Human 子集提升尤为显著(75.76% → 81.28%)。定性分析揭示了模型涌现出类似人类的系统性图表阅读行为,验证了空间锚定推理在结构化视觉理解中的有效性。
Active Perception:面向图表理解的注视引导式思考
本研究发表于《Neurocomputing》,针对视觉语言模型(VLMs)在图表理解任务中存在的抽象推理与视觉定位脱节问题展开深入探讨。图表作为由显式视觉语法构成的结构化产物,其定量信息以几何方式编码,要求像素级的精准感知。然而,现有 VLMs 在语义理解方面表现优异,却常在需要精确坐标对齐的任务中失效,导致错误级联。研究人员指出,人类在阅读图表时会执行主动、连续的视觉扫描,包括定位关键点、追踪趋势、沿轴线提取数值等。受此启发,研究人员提出了 Gaze?Guided Thinking 模式,将推理过程与坐标基元操作紧密结合,从而实现抽象逻辑与视觉证据的迭代锚定。
为实现这一模式,研究人员设计了 Skill Cultivation 两阶段训练策略:第一阶段通过监督微调(SFT)在自建的 ChartQAGaze?14K 数据集上注入坐标基元能力;第二阶段采用组相对策略优化(Group Relative Policy Optimization, GRPO)强化学习,仅以答案正确性作为奖励信号,促使模型自主选择最优的坐标操作组合。实验结果表明,该方法在 ChartQA 基准上取得了显著的性能提升,尤其在 Human 子集上实现了超过 5 个百分点的增益,并展现出与人类相似的图表阅读策略。
关键技术方法方面,研究人员构建了包含 14,064 个问答对的 ChartQAGaze?14K 数据集,覆盖坐标检索、空间推理、数值提取及综合推理四类任务。数据生成采用轻量人工标注配合 Gemini?2.5?Pro 合成,并通过执行验证过滤低质量样本。训练基于 Qwen2.5?VL?7B 模型,第一阶段使用 SFT 注入坐标基元,第二阶段使用 GRPO 强化学习内化为自适应策略。
研究结果分为多个部分。在贡献分析上,研究人员明确了当前 VLMs 在图表理解中的推理与视觉定位脱节缺陷,并提出 Gaze?Guided Thinking 作为解决方案。通过 Skill Cultivation 策略,成功在模型中植入并内化空间锚定推理能力。在消融实验中,单独使用 SFT 或 RL 均无法取得最佳效果,只有两阶段结合才能发挥协同作用,证明了技能注入与内化的互补性。在数据组成分析中,原子基元训练不足以支撑复杂推理,而综合推理示例提供了最大的单阶段增益,两者结合效果最优。在跨模型架构验证中,Skill Cultivation 在 Qwen2?VL?2B、Qwen2.5?VL?3B、Qwen2?VL?7B 及 Qwen2.5?VL?32B 等多个规模模型中均取得稳定提升,证明其为可迁移范式。在训练动态分析中,SFT 周期过长会导致策略熵下降,限制 RL 探索空间,因此需在技能注入与避免过度拟合之间找到平衡点。
在细粒度基元分析中,ACP 显著增加了 Locate 和 Trace 的使用频率,同时保持 Extract 与 Compare 的高效性。基元组合的复杂度与准确率呈正相关,尤其是包含 Trace 的组合在精确数值提取任务中表现最佳。在定性分析中,研究人员观察到模型在阈值比较、峰值对齐等任务中展现出系统化的扫描与比较行为,并在图像遮挡、低分辨率及压缩等退化条件下仍保持稳健推理。注意力分析进一步显示,ACP 能够将文本 token 的注意力持续锚定在相关视觉区域,避免了基线模型的注意力漂移现象。
在泛化与迁移性评估中,ACP 在 ChartX 基准的已见图表类型上实现了稳定的跨域性能提升,但在未见拓扑结构(如雷达图、树状图)上表现受限,揭示了方法的几何依赖性。此外,在图像退化条件下的鲁棒性测试中,ACP 的性能优势随着视觉质量下降而扩大,表明坐标锚定推理在低质量输入下更具优势。
讨论与结论部分,研究人员指出 Active Perception 成功弥合了抽象推理与精确视觉定位之间的鸿沟,并通过 Gaze?Guided Thinking 实现了类似人类的图表阅读行为。该方法不仅在 ChartQA 上取得 SOTA 结果,还为结构化视觉理解提供了一种可迁移的训练范式。未来的研究方向包括扩展至更多图表拓扑结构、引入更高维的空间表示(如分割掩码、深度图),以及探索技能培育的缩放规律。总体而言,这项工作为视觉语言模型在结构化视觉任务中的能力提升提供了新的思路与实践路径。