图表规范：激励VLM推理在图表到代码生成中的结构表示

《Neurocomputing》：Chart specification: Structural representations for incentivizing VLM reasoning in chart-to-code generation

　　

视觉-语言模型（Vision-Language Models，VLMs）在从图表图像生成绘图代码方面显示出潜力，但实现结构保真度仍具有挑战性。现有方法主要依赖监督微调，鼓励表面层次的令牌模仿而非对图表结构的忠实建模，这常常导致幻觉或语义不一致的输出。研究人员提出Chart Specification，一种规范的结构表示，将训练从模仿训练代码模式转变为结构基础学习。通过将绘图代码归一化为结构等价的规范，它能够实现（i）构建结构平衡的训练集，以及（ii）一种Spec-Align奖励，为强化学习（Reinforcement Learning，RL）提供细粒度、可验证的结构正确性反馈。在显式的推理到代码生成范式下，该奖励鼓励结构感知推理，从而产生约束一致的绘图代码。在三个公共基准上的实验表明，该方法持续优于先前方法。仅使用3K训练样本，研究人员实现了强大的数据效率，在复杂基准上超越领先基线高达61.7%，并将规模扩展到4K样本，在所有评估指标上建立了新的最先进结果。总体而言，研究结果表明，精确的结构监督为高保真图表到代码生成提供了一条高效路径。代码和数据集可在https://github.com/Mighten/chart-specification-paper获取。

**论文解读：Chart Specification实现高效图表到代码生成的结构监督**

**研究背景与问题**

图表是定量沟通的核心媒介，广泛应用于科学文献、商业智能和公共报告。自动从图表图像生成可执行代码（chart-to-code generation）是智能文档处理的基本需求，但现有方法面临严峻挑战。当前主流方法依赖监督微调，将绘图代码视为文本序列进行令牌级模仿，导致模型学习表面模式而非忠实建模图表结构，从而产生结构幻觉（如错误关联独立数据系列）和语义不一致输出。此外，令牌级预测目标与视觉保真度目标存在本质错位，数值或布局错误难以被有效惩罚，且缺乏结果导向的反馈信号，二进制执行反馈过于稀疏，像素级比较受风格噪声干扰，无法指导模型生成约束一致的绘图逻辑。为解决这些问题，研究人员提出一种结构感知的表示方法，以弥合视觉感知与代码执行之间的鸿沟。

**研究内容与结论**

研究人员提出Chart Specification（一种规范的结构表示），将训练从模仿代码模式转向结构基础学习。基于此表示，构建了ChartStruct（结构平衡的数据集）和Spec-Align Reward（细粒度、可验证的结构正确性奖励），并在显式推理到代码生成范式下，通过Group Relative Policy Optimization（GRPO，组相对策略优化）进行强化学习。在三个公共基准（ChartMimic、Plot2Code、ChartX）上的实验表明，该方法仅用3K训练样本即超越先前领先基线，在复杂基准上提升高达61.7%，扩展到4K样本后在所有评估指标上建立新的最先进结果。结论证明，精确的结构监督为高保真图表到代码生成提供了高效路径。论文发表在《Neurocomputing》。

**关键技术方法概述（不超过250字）**

研究人员采用Chart Specification混合架构，包含语义意图层（S_intent）和数值执行层（S_exec）。S_intent通过大语言模型（Qwen3-32B）从绘图脚本提取全局拓扑、坐标系统、数据域和分析表示，S_exec通过运行时拦截捕获隐式数据（如环图楔形比例、网络图节点-边关系）。基于此，从ChartCoder数据集（约115K样本，经结构验证后约89K）中，通过结构拓扑签名（坐标空间、数据模式、组合拓扑）和复杂度自适应采样，构建ChartStruct训练集（4K/3K规模）。Spec-Align奖励机制通过层次化奖励树：完整性检查（格式与执行）、语义-规范奖励（拓扑门控后对齐坐标、域、系列、数据/函数）和代码-规范奖励（统计距离、关系F1、向量余弦相似度、辅助编辑距离），在GRPO框架中提供细粒度反馈。

**研究结果**

**5.1 Evaluation on ChartMimic**
在ChartMimic基准上，ChartSpec（7B参数）在开源模型中取得领先，总体得分79.9（3K训练）和82.4（4K训练），超越Qwen3-VL-8B-Thinking（66.4）和ChartCoder（75.7）。执行率达93.5%，布局得分92.8，文本得分80.5，接近GPT-5（83.7）。结构类型维度（82.0/83.7）超过GPT-5（76.0），验证结构监督对保真度的关键作用。

**5.2 Evaluation on Plot2Code and ChartX**
在Plot2Code上，ChartSpec以88.7%的Pass Rate超越所有模型（包括GPT-4o的88.6%），Text-Match得分55.3，与GPT-4o（56.3）相当。在ChartX上，GPT-score达3.52，超越ChartCoder（2.09）和GPT-4V（2.63），并在复杂类型（如雷达图3.30、气泡图3.52）上表现稳健。

**5.3 Ablation study**
- **5.3.1 Impact of training data scale**：监督微调（SFT）在1K样本时执行率降至46.5%，而Spec-Align强化学习（RL）在1K时达83.0%，3K时达90.2%，显示结构监督的样本效率优势。类型分析表明，SFT在复杂拓扑（如等高线、小提琴图）上性能退化，而RL保持稳健泛化。
- **5.3.2 Role of chart spec in data construction**：与随机数据相比，ChartStruct驱动模型更关注坐标映射，在Plot2Code Text-Match上提升至50.3（从48.5），在ChartMimic Low-Level上提升至78.4（从76.6），同时执行率略有下降（因纳入更复杂结构）。
- **5.3.3 Efficacy and decomposition of reward mechanisms**：在不同模型规模（2B、3B、7B）和系列（Qwen2-VL、Qwen2.5-VL）中，SFT导致执行率下降（如Q2.5-VL-7B从69.2%降至55.7%），而Spec-Align RL持续提升（最高达94.5%）。奖励分解显示，仅格式与执行奖励带来执行率提升但文本精度下降，加入语义规范后改善类型理解，完整Spec-Align（含拓扑门控）实现最佳均衡。
- **5.3.4 Impact of reasoning process**：无推理步骤的RL已提升执行率19.3%，但推理过程进一步打破性能瓶颈，在Plot2Code Text-Match上从47.4提升至50.3。推理对复杂类型（如树图、小提琴图）增益显著，通过分解结构规划实现更优的轨迹级信用分配。

**总结与讨论**

研究结论强调，Chart Specification通过将视觉感知与代码执行对齐，结合结构平衡的数据集和细粒度可验证奖励，实现了高效、高保真的图表到代码生成。消融实验证实，结构监督优于表面模式模仿，且推理过程对复杂结构至关重要。局限性包括：所有评估基于matplotlib，未验证跨框架迁移性；实验限于7B参数规模，更大模型下的效果尚未探索。总体而言，该工作为结构感知视觉生成任务提供了可扩展的框架。