一种基于大型基础模型的统一框架，用于多阶段合成VQA数据生成和下游VQA训练

《Information Processing & Management》：A unified framework for large-foundation-model-based multi-phrasing synthetic VQA data generation and downstream VQA training

　　

•该框架缓解了 LFM 生成的 VQA 数据中的问题措辞集中度问题。
•多视角问题在保留共同意图的同时改变了证据线索。
•动态措辞轮换在不扩大每个训练轮次训练集的情况下平衡了曝光度。
•在匹配的数据/计算资源以及多个 VQA 骨干网络上，增益均持续存在。
•与合成数据的联合训练提升了所有五个 VQA 基准测试的性能。
引言
视觉问答 (VQA) 是计算机视觉与自然语言处理交叉领域的一项基本任务。它要求模型理解视觉内容并回答自然语言问题 (Kafle and Kanan, 2017, Kim et al., 2025)。除了图像感知和语言理解外，VQA 还涉及跨模态推理、知识密集型推理以及细粒度语义接地 (Jiang et al., 2026, Salaberria et al., 2023, Xu et al., 2023)。这些能力支持了广泛的应用，包括教育、医疗保健和人机交互 (Huang et al., 2023, Lamm and Keuper, 2024, Wang et al., 2026, Xiao and Zhang, 2025)。

高质量的 VQA 数据集对于训练具有强大视觉理解和问答能力的模型至关重要。然而，构建此类数据集需要大量人力来注释和验证图像 - 问题 - 答案三元组，这使得数据收集成本高且耗时，特别是在需要专业知识或细粒度推理的专门场景中。因此，自动生成高质量的 VQA 数据已成为一个重要研究方向。

早期关于自动 VQA 数据生成的努力主要遵循两种范式。一种工作依赖于预定义的问题模板和对图像注释的结构化槽填充，以大规模构建 VQA 对 (Johnson et al., 2017, Ren et al., 2015)。另一种工作训练生成模型在现有 VQA 数据集上直接基于视觉输入合成问答对 (Ding et al., 2024, Khan et al., 2023, Yang et al., 2021)。这些研究表明了可扩展 VQA 数据构建的可行性，但生成的样本仍受限于固定模板、有限的训练语料库或相对较弱的上下文和推理能力，限制了其为下游 VQA 模型提供语言丰富且知识密集型监督的能力。

随着大型基础模型 (LFM) 的快速发展，如 GPT (Achiam et al., 2023) 和 DeepSeek (Liu et al., 2024) 模型系列，合成 VQA 数据生成变得越来越实用。在本工作中，LFM 指纯文本大型语言模型和多模态视觉语言基础模型。凭借广泛的知识覆盖、强大的指令遵循能力和上下文推理能力，LFM 能够生成比早期方法更自然、连贯且知识丰富的问答对。因此，LFM 越来越多地被用于零样本或少样本合成 VQA 数据生成 (Agarwal et al., 2024, J. Chen et al., 2024, Su et al., 2025)。

尽管在生成质量和效率方面取得了进展，但仅使用合成数据训练的 VQA 模型通常在下游基准测试中表现不佳。除了事实错误和有限的知识覆盖之外，语言监督的组织和利用也影响合成 VQA 数据的训练价值。我们关注三个尚未充分探索的问题：有限的问题措辞多样性、受限的答案监督以及训练期间对替代表述的曝光不足。

首先，LFM 生成的问题可能会表现出问题措辞集中度，反映了大模型生成倾向于偏好相对有限的高概率响应模式的倾向 (Lambert et al., 2024, Wong et al., 2025)。在合成 VQA 生成中，这种集中度表现为在不同图像和语义内容中重复使用相似的问题模板，如图 1 所示。这种重复不仅因为生成的问题在语言上显得单调而有害，而且因为它限制了将视觉证据与答案语义相关联的语言路径。当许多合成样本共享相似模板时，由此产生的监督可能会鼓励依赖模板特定的相关性，并限制对同一视觉意图的替代表述的曝光。因此，提高问题多样性不仅需要表面层的改写，还应包括多种视角感知的表述，在保留核心意图的同时改变用于查询图像的证据线索。

其次，现有合成 VQA 流水线中答案多样性建模不足。许多人工注释的开放式 VQA 数据集为每个问题收集多个参考答案，以容纳同义表达、注释者变异性以及不同的语义粒度 (Goyal et al., 2017, Marino et al., 2019, Singh et al., 2019)。这种注释实践表明，开放式 VQA 中的监督目标通常被视为一个有效答案集，而不是单个确定性标签。相比之下，许多基于 LFM 的合成流水线仅为每个生成的问题保留一个规范答案。这种简化便于数据组织，但它折叠了有效答案空间，限制了训练期间可用的答案监督广度。为了提供更广泛的监督，合成 VQA 数据应包含上下文支持的有效答案变体，涵盖语义等价的表达，并且在问题允许的情况下，涵盖在相同核心意图和上下文下有效的语义不同的答案。

第三，多种问题措辞的可用性也引发了如何在训练中使用它们的问题。将所有变体扩展为单独的样本会增加数据集大小和训练成本，同时重复呈现相同的图像和语义意图。选择一种固定措辞保留了原始数据集大小，但丢弃了大部分生成的多样性，而随机采样并不能保证对所有表述的平衡曝光。这些局限性表明，语言多样性不仅应被视为生成数据集的静态属性，还应被视为一个训练时的曝光问题。

基于这些观察，我们提出了一种统一以意图为中心的框架，用于生成语言多样的合成 VQA 数据并改进下游 VQA 训练。该框架将多源上下文构建、多视角问答生成、误差感知质量过滤和动态措辞轮换整合到统一的生成与训练流水线中。

所提出框架的独特贡献在于围绕共享语义意图联合组织生成阶段和训练阶段的语言多样性利用。在生成阶段，多视角问答生成通过不同的提问视角和证据线索表达同一意图，同时保留视觉语义目标和有效答案空间。答案多样化进一步将监督表示为有效答案集，而不是单个规范答案。在训练阶段，动态措辞轮换循环呈现同一意图的替代表述，同时在每个训练轮次中每个图像 - 意图对保留一个训练实例。这种设计将语言曝光与数据集扩展解耦，并减少了对任何单一问题表述的依赖，而不增加每个训练轮次的训练集大小。
章节片段
目标
本研究旨在提高大型基础模型生成的合成 VQA 数据的语言多样性和训练效用，同时通过更丰富的问句表述、更广泛的答案监督以及更有效的训练期曝光来增强下游 VQA 性能。具体而言，我们关注现有合成 VQA 流水线中三个未得到充分探索的问题：重复的问句措辞、受限的答案监督以及训练期间对替代表述曝光不足。
基于训练的 VQA 数据生成
基于训练的 VQA 数据生成旨在学习一个生成模型，从图像或图像相关表示中产生问答对。这一类工作通常依赖于现有的 VQA 注释来训练或适配生成器。Yang 等人 (2021) 将视觉问答对生成表述为直接从图像生成多样且一致的 QA 对的任务。SelTDA (Khan et al., 2023) 将目标数据集中的 VQA 对转换为结构化模板，例如
概述
图 2 展示了所提出框架的概述。我们的目标是使用 LFM 生成具有更丰富语言多样性和更广语义覆盖率的合成 VQA 数据，同时通过更丰富的问句表述和答案监督来改进下游 VQA 训练。为此，所提出的框架由四个阶段组成。首先，我们通过从多个来源收集可用的图像相关信息来构建每张图像的生成上下文。这一步骤提供了可靠的
数据集
我们在五个互补的 VQA 基准测试上评估了所提出的框架。这些基准测试涵盖了多种场景，包括外部知识问答、常识和世界知识推理、场景文本理解、科学导向的多模态推理以及医学放射学 VQA。对于每个基准测试，我们基于其官方训练图像构建合成训练数据。然后我们在相应的真实验证集或测试集上评估训练好的模型。这种设置
主要结果
我们在两种训练设置下评估了所提出的方法：(1) 仅使用合成数据训练；(2) 使用真实数据和合成数据进行联合训练。表 3 总结了两种设置下的结果。总体而言，所提出的框架在所有基准测试上持续提升了下游性能。
仅合成数据训练。表 3 显示，在所有数据集上，完整的合成配置均比报告的合成基线设置达到了更高的准确率。对应的
理论意义
本研究为大型基础模型生成的合成 VQA 数据的质量和效用提供了进一步的见解。现有的基于 LFM 的 VQA 合成研究主要集中在任务相关性、知识接地、事实正确性或推理复杂性上，而对语言多样性关注有限。相比之下，我们的实证分析表明，LFM 生成的合成 VQA 数据表现出问题措辞集中度，其特征是重复使用相似的
结论
在本工作中，我们提出了一种统一框架，用于生成语言多样的合成 VQA 数据并改进下游 VQA 训练。该框架将多视角问答生成与动态措辞轮换相结合，使 VQA 模型能够从多个保留意图的问题表述和有效答案变体中学习，而不增加每个训练轮次的训练集大小。
在五个 VQA 基准测试上的实验表明，所提出的策略持续提升了
CRediT 作者身份贡献声明
Zhiyue Liu: 写作 – 审阅与编辑，写作 – 初稿，监督，资金获取，概念化。Jian Qin: 写作 – 审阅与编辑，写作 – 初稿，软件，方法论。Wenkai Zhou: 写作 – 审阅与编辑，软件，方法论。Qipeng Jiang: 写作 – 审阅与编辑，软件，方法论。Qingbao Huang: 写作 – 审阅与编辑。Jiahai Wang: 写作 – 审阅与编辑。
致谢
本工作得到了国家自然科学基金 (编号 62406081 和 62666005)、广西壮族自治区自然科学基金 (编号 2025GXNSFBA069232)、广西八桂青年人才计划以及广西壮族自治区自然科学基金重点项目 (编号 2025GXNSFDA069017) 的支持。本工作也部分得到了国家自然科学基金 (编号 62276072) 和广西八桂学者计划的支持。
Zhiyue Liu|Jian Qin|Wenkai Zhou|Qipeng Jiang|Qingbao Huang|Jiahai Wang