RAQAG：一个用于自动生成问答数据集的框架，该框架结合了检索增强生成技术

《Knowledge-Based Systems》：RAQAG: A Framework for Automatically Generating Q&A Datasets with Retrieval-Augmented Generation

商业管理领域高质量QA数据集的构建与评估方法研究。针对现有数据集规模小、领域局限及质量验证不足的问题，提出RAQAG框架，通过闭环优化（数据合成-质量验证-反馈迭代）、三阶段动态检索（语义向量搜索+BM25+Reranker）和双生成机制（MiniRAG+LLM），结合RACAR评估系统（涵盖相关性、鲁棒性等五维度），构建包含170,226个QA对的UTD24_QA数据集，并建立5000题的基准测试。实验显示其评估得分较基线提升9.45%，有效解决了长文本分段的领域知识建模难题。

　　
该研究针对大型语言模型（LLMs）训练中存在的核心数据瓶颈问题，提出了一套具有创新性的自动化QA数据生成与评估框架——RAQAG。研究团队通过系统性构建覆盖商业管理领域核心期刊的UTD24QA数据集，突破了现有数据集在规模、多样性及结构化标注方面的局限，为LLMs在专业领域的发展提供了关键数据支撑。

**背景与问题分析**
当前LLMs的发展面临三重数据困境：首先，高质量数据生成与模型参数膨胀速度严重失衡，以GPT-3为例，其训练数据需经过45TB原始数据筛选才能提炼出570GB有效训练集，这种"数据筛选漏斗"效应在专业领域尤为显著。其次，商业管理领域（UTD24涵盖会计、金融、战略管理等7大核心方向）的数据供给严重不足，现有资源如FinQA等仅覆盖金融子领域，且规模普遍在数千级，难以支撑复杂推理需求。更关键的是，传统QAG方法存在两大缺陷：一是生成过程缺乏闭环反馈机制，导致数据质量不稳定；二是检索策略固化，难以适应长文本中隐含的语义关联。

**RAQAG框架的核心创新**
该框架通过"数据生成-质量验证-反馈优化"的闭环系统，实现了三大突破性改进：
1. **动态检索增强机制**：构建三级检索体系（语义向量搜索、BM25排序、BGE重排名），在处理超过17,500篇学术论文时，能精准识别跨段落、跨章节的语义关联。例如在供应链管理领域，可自动关联采购成本分析章节与库存优化案例的段落信息。
2. **双引擎生成系统**：融合MiniRAG的精确检索能力与LLMs的创造性生成优势。实验显示，当处理超过10,000字的长文档时，双引擎机制可将答案准确率提升23.6%，同时保持生成文本的学术严谨性。
3. **多维动态评估体系**：RACAR框架创新性地将质量评估细化为五个核心维度（相关性、抗干扰性、完整性、准确性、逻辑性），并引入动态指标如证据覆盖度（每个答案需引用原文至少3处支撑信息）。这种评估方式使数据质量检测效率提升40%，且能自动排除生成答案中15%的"伪学术"内容。

**UTD24QA数据集的构建突破**
研究团队从UTD24收录的7,832篇论文中，经过多轮过滤优化，最终生成170,226个结构化QA对。其核心价值体现在：
- **领域覆盖广度**：除传统金融数据外，首次系统整合战略管理（占数据量28%）、市场营销（19%）、运营管理（17%）等非金融领域内容
- **结构创新性**：采用Alpaca标准格式，每个QA对包含上下文窗口（500-2000字）、问题类型标签（事实/推理/计算）、答案置信度评分等12个元数据字段
- **生成质量验证**：通过RACAR系统自动筛选出平均得分＞0.72的优质数据（初始筛选淘汰率达68%），确保输入LLMs的培训数据具备高可靠性

**工程化实现与验证**
研发团队特别构建了可视化QAG系统，其技术亮点包括：
- **元数据驱动架构**：通过预定义的领域知识图谱（含UTD24核心概念3.2万节点），自动适配不同学科领域的生成策略
- **可视化质量监控**：开发实时反馈面板，可直观展示答案的来源分布（如文献引用率、段落覆盖度等）
- **弹性扩展设计**：系统支持按需添加新领域知识库，实验显示新增领域（如医疗管理）的数据生成效率达原领域的83%

**实验验证与工业应用**
在NVIDIA RTX 3090平台上的对比实验表明：
- 生成数据的RACAR综合得分较现有最高基准提升9.45%，其中逻辑性维度进步达17.8%
- 在500篇随机抽样中，系统生成的QA对具有92%的上下文关联性（传统方法为68%）
- 实际部署测试显示，经过UTD24QA训练的LLMs在战略决策模拟测试中，问题解决准确率提升41%

工业应用案例显示，某头部咨询公司采用该框架生成的行业分析QA数据集，使LLMs在竞品分析任务中的处理效率提升3.2倍，且关键数据引用错误率从0.47%降至0.09%。

**学术价值与实践意义**
本研究的重要贡献在于：
1. **方法论创新**：首次将RAG技术与QAG系统深度结合，建立"检索-生成-验证"的完整链条，解决传统QAG中检索策略与生成质量不匹配的问题
2. **评估体系革新**：RACAR框架通过5维度16子项的量化评估，为专业领域QA数据建立统一质量标准
3. **工程落地突破**：开发的可视化QAG系统已开源（GitHub链接），支持日均50万+条数据的生产，为商业智能领域提供标准化数据生成范式

该成果不仅填补了UTD24领域数据基础设施的空白，更通过系统化方法验证了"数据质量决定模型性能上限"的核心假设。研究团队正在扩展该框架至法律、医疗等专业领域，预计2025年可实现跨领域数据生成平台的商业化应用。