多模态图表问答新突破：mChartQA框架在复杂视觉数据解析中的创新应用

【编辑推荐】本研究提出多模态图表问答框架mChartQA，通过融合大语言模型（LLMs）与表格转文本引擎，攻克传统方法在色彩模式（color complexity）、结构解析（structural intricacies）及无文本图表（textless chart data）中的技术瓶颈。配套基准数据集mChartQABench聚焦多模态必需场景，实验显示模型在四类数据集上准确率提升超20%。

　　

Highlight

本研究核心亮点在于提出mChartQA框架，其创新性地将大语言模型（LLMs）的文本处理能力与先进的视觉编码器结合，专门解决图表问答中色彩复杂度、结构细节和隐式数值数据（implicit numerical information）三大挑战。

Architecture

视觉编码器（E_v）：将图表图像I转化为视觉特征V，公式表示为V = E_v(I)，精准捕捉色彩渐变和微观结构。

连接器（C）：动态对齐视觉特征与文本问题，通过跨模态注意力机制实现"视觉-语言"双向交互。

Baselines

实验对比了少样本学习模型（Few-Shot Learning Models）如GPT-3（1-Shot）、GPT-4（5-Shot）及FlanPaLM（540B），结果显示mChartQA在结构敏感性任务中显著优于纯文本基线模型。

Error Analysis

结构相关错误：首行案例显示，模型因数值四舍五入导致微小偏差；

色彩相关错误：第二行案例中，相似色系（如深蓝vs藏蓝）引发分类混淆；

无文本图表错误：第三行揭示模型对未标注坐标轴的推断能力待加强。

Conclusion

mChartQA框架通过多模态深度融合，为金融分析（如K线图解析）和医疗数据可视化（如心电图分类）等场景提供新范式。配套的mChartQABench数据集首次系统性涵盖"必须多模态解决"的复杂案例，推动领域从文本依赖向视觉认知跨越。