GoT-CQA：基于思维导图的组合推理方法，用于图表问题解答

《Computer Vision and Image Understanding》：GoT-CQA: Graph-of-Thought guided compositional reasoning for chart question answering

图表问答中复杂推理的图结构引导模型研究，提出GoT-CQA框架，通过构建问题引导的图结构分解多步推理，有效提升复杂问题的回答准确率，并在多个数据集上验证优于基线模型。

　　

张玲玲|黄沐业|王倩颖|王亚轩|吴文军|何子琦|刘军

西安交通大学计算机科学与技术学院，中国西安，710049

摘要

图表问答（CQA）旨在根据视觉图表内容回答问题，这在图表总结、商业数据分析和数据报告生成中起着重要作用。由于强烈的上下文依赖性和复杂的推理要求，CQA是一项具有挑战性的多模态任务。前者指的是严格基于对给定图表的视觉内容或内部数据的分析来回答问题，而后者强调在答案预测过程中涉及的各种逻辑和数值推理。在本文中，我们更加关注CQA任务中的复杂推理，并提出了一种新的基于思维图（GoT）的组合推理模型，称为GoT-CQA，以克服这一问题。首先，我们将图表相关问题转换为由多个操作符节点组成的有向无环GoT，包括定位、数值和逻辑操作符。这直观地反映了人类大脑解决该问题的过程。之后，我们设计了一个由GoT指导的高效自动组合推理框架，以执行各种类型问题中的多步骤推理操作。在ChartQA和PlotQA-D数据集上的综合实验表明，与最新的流行基线相比，GoT-CQA在处理复杂的人类编写和推理问题时表现出色。

引言

图表和图形是关于数据统计、趋势和异常值的有效视觉表达方式，在学术文章、技术报告和各种网站中广泛存在。图表问答（CQA）是指根据视觉图表内容正确回答问题。它在图表总结、商业数据分析和数据报告生成等一系列下游任务中发挥着重要作用。随着多模态理解和推理技术的发展，CQA任务近年来受到了越来越多的关注（Kafle等人，2020年；Methani等人，2020年；Masry和Hoque，2021年；Alexiou和Bourbakis，2025年）。

众所周知，热门的研究领域视觉问答（VQA）（H. Li等人，2023年；Wang等人，2023年；Zeng等人，2023年；Cao等人，2025年）与CQA任务密切相关，前者是对自然图像的问答任务，而后者则专注于特定的图表。尽管VQA任务的性能取得了突破性进展，但由于强烈的上下文依赖性和复杂的推理要求，CQA仍然具有挑战性。一方面，强烈的上下文依赖性意味着回答问题必须严格依赖于给定图表中的视觉和底层数据信息，而不是常识或先验知识。自然图像直接反映了现实世界中的现象，因此从之前的问答对中提取的常识或先验知识可以帮助更好地回答问题。如图1右侧部分所示，对于问题“孩子坐在哪里？”，答案“手臂”是一个非常可能的候选答案，即使模型不理解图像的上下文。然而，对于问题“P2的后代比P1的多多少？”，必须从给定图表中提取P1和P2的位置和值，即使P1和P2的标签出现在其他图表中。在这种情况下，包括坐标、图例、点位置、条形高度等信息的详细图表解析器是CQA的必要前提工作。当前的研究（Rane等人，2021年；Kato等人，2022年）通常结合多种技术，如对象检测、OCR、词嵌入和专家规则来实现这一目标。

另一方面，CQA中的答案预测需要详细的图表解析器之后的复杂推理，涉及多个逻辑和算术操作。大多数先前的研究（Methani等人，2020年；Kafle等人，2020年）将CQA视为一个简单的分类任务，其中输出答案仅限于YES/NO或包含给定图表中所有文本元素的固定词汇表。然而，在实际应用中，更常见的情况是答案不在图表的词汇表中（Out-of-Vocabulary，OOV）。因此，许多CQA模型，如ChartT5（Zhou等人，2023年）、ChartReader（Cheng等人，2023年）和MatCha（Liu等人，2023年），都是基于大型预训练的视觉语言模型为这种一般情况设计的。虽然这些模型有效地提高了回答性能，但它们在处理需要多步骤推理的复杂问题时，其可靠性和泛化能力受到两个核心瓶颈的限制。

一个主要限制是它们依赖于单一的端到端推理过程。这些模型试图在单一的、整体的步骤中将复杂问题映射到答案，这一过程本质上混淆了不同的认知技能，如视觉定位、数值计算和逻辑比较。由于这些操作没有模块化，模型难以稳健地学习每个组件技能，并将它们可靠地应用于新问题。这种架构选择导致了一个显著的瓶颈：组合泛化的脆弱性。模型解决问题的能力往往取决于在训练期间是否看到了类似的完整推理模式。当面临需要这些混合步骤的新或更复杂组合的问题时，其性能通常会下降。它缺乏一个统一且强大的框架来明确指导所需推理链的分解和执行。

受现有方法这些限制的启发，本文致力于探索一个更结构化、更精确的推理框架，以更好地执行CQA任务中的复杂推理。

首先，如何实现多步骤的数值和逻辑推理？在图1的左侧部分，对于问题“P2的后代比P1的多多少？”，其推理过程涉及在图表中找到对应于P1和P2的条形，估计它们的后代数量，最后执行差值操作。对于更具挑战性的问题“P2的后代数量是否超过平均后代数量？”，除了识别条形数量外，模型还需要评估每个条形的对应值，并执行平均和比较操作。总的来说，在CQA模型中执行查找、估计、比较、求和和减法等多步骤操作是必要的。

其次，如何为各种类型的问题建立一个统一的推理框架？以大规模数据集PlotQA-D（Methani等人，2020年）为例，问题是用74个模板构建的，并分为三类：结构理解、数据检索或推理。显然，不同类型的问题涉及不同的推理操作，例如问题“P2有多少后代？”的推理比“P2的后代数量是否超过平均后代数量？”要简单得多。然而，为每种类型的问题设计一个推理模型不仅耗时且成本高昂，而且难以推广到新的问题类型。因此，为各种问题设计一个统一且灵活的推理框架是至关重要的。

为了解决上述问题，我们提出了一种新的基于思维图（GoT）的组合推理框架，称为GoT-CQA模型。GoT-CQA包括三个模块：图表与问题解析模块、组合推理模块和回答模块。图表与问题模块应用预训练的大规模模型为给定图表生成特征序列，并生成与问题对应的GoT，其中的有向无环GoT反映了需要执行的推理操作的类型和顺序。组合推理模块在GoT的指导下对图表数据流进行复杂推理。该模块设计了自我数据推理块以及定位、数值和逻辑推理操作块，并根据问题的GoT自动形成推理框架。回答模块是一个通用的Transformer解码器，用于共同生成YES/NO、词汇表内或OOV答案。我们的主要贡献可以总结为四个方面：

• •
  我们揭示了CQA任务的强烈上下文依赖性和复杂推理要求，并提出了新颖的GoT-CQA模型作为解决这一复杂推理问题的首次尝试。
• •
  我们将关于图表的问题转换为有趣的有向无环GoT，以指导答案推理。GoT将复杂的推理过程分解为几个有序的定位、数值或逻辑操作。
• •
  我们提出了一种高效的自动组合推理模式，可以推广到各种类型的图表相关问题，并在一定程度上提高了推理的可解释性。
• •
  我们在ChartQA和PlotQA-D数据集上进行了广泛的实验，以验证GoT-CQA的优越性。结果表明，与流行的竞争对手相比，GoT-CQA在复杂推理问题上取得了良好的改进。

相关工作

相关工作

在本节中，我们总结了三项关于图表的相关研究，包括图表到表格、图表到文本、CQA，并简要描述了VQA推理的一些最新进展。

方法论

给定一个表示为$(C,Q)$的图表-问题对，目标是根据图表$C$中提供的信息来回答这个句子问题$Q$。图2展示了GoT-CQA的总体框架，它包括三个模块：（1）图表与问题解析模块（左侧部分），用于从图表中提取视觉特征序列并生成与问题对应的GoT；（2）组合推理模块（中间部分），用于执行复杂的定位、数值和逻辑推理。

实验

在本节中，进行了广泛的实验，将提出的GoT-CQA与流行的基线进行比较。详细的消融研究和参数分析有助于提高GoT-CQA的全面性。

结论

在本文中，我们提出了一种名为GoT-CQA的新多模态推理模型，用于解决具有挑战性的CQA任务。GoT-CQA的核心是由有趣的思维图（GoT）指导的组合推理模块。需要注意的是，GoT将复杂问题转换为包含几个简单操作的操作序列，这种自动组合推理模式适用于各种类型的图表相关问题。在ChartQA和PlotQA-D上的广泛实验显示了其有效性

CRediT作者贡献声明

张玲玲：撰写——原始草案、方法论、研究调查、资金获取。黄沐业：撰写——审阅与编辑、验证、软件、数据整理。王倩颖：研究调查、资金获取。王亚轩：可视化、验证、方法论。吴文军：验证。何子琦：可视化。刘军：研究调查、资金获取。

利益冲突声明

作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：刘军的报告得到了中国国家重点研发计划的支持。张玲玲的报告得到了中国国家自然科学基金的支持。张玲玲的报告还得到了中国国家自然科学基金创新研究组的支持。刘军的报告得到了联想-西安交通大学智能

致谢

本工作得到了中国国家重点研发计划（2022YFC3303600）、中国国家自然科学基金（62137002, 62192781, 62293553, 61937001, 62250066, 和 62106190）、中国国家自然科学基金创新研究组（61721002）、“联想-西安交通大学”智能产业联合实验室项目、国防科技重点实验室基金会（6142101210201）、陕西省自然科学基础研究计划（

张玲玲目前是西安交通大学计算机科学的副教授。她于2020年在西安交通大学获得了计算科学博士学位。她曾是卡内基梅隆大学计算机科学学院的访问学生，与A. Hauptmann教授合作。她的研究兴趣包括跨媒体信息挖掘、计算机视觉、零样本学习和少样本学习。