EduAgentQG：具备显式多样性与目标感知评估的多智能体个性化数学题目生成

《Information Processing & Management》：EduAgentQG: Multi-agent personalized mathematics question generation with explicit diversity and objective-aware evaluation

　　

## 摘要

在智能教育中，个性化数学问题生成旨在生成满足教育要求的数学题目，同时支持自适应测评和学习。现有的基于大语言模型的单智能体和多智能体方法提高了生成的灵活性，但它们仍然倾向于依赖聚合反馈或模型随机性，难以同时确保维度级的目标对齐和可控多样性。为应对这些挑战，我们提出了 EduAgentQG，一个具有显式多样性和目标感知评估的多智能体协作框架，用于个性化数学问题生成。EduAgentQG 将问题生成组织为规划、写作、评估、精炼和检查的闭环过程：结构化生成计划和多种生成方向引导候选问题生成，而细粒度评估则验证逻辑正确性、可解性以及知识概念、难度、年级水平和核心能力等方面的目标对齐。我们首先构建了一个数学问题生成基准，包含一至九年级的 10,273 道题目，涵盖 634 个知识概念、16 种核心能力和三个难度等级；在评估方面，将其组织为两个子集：MathChoice，包含 489 个用于选择题生成的教学目标；MathBlank，包含 500 个用于填空题生成的教学目标。使用 Gemini-2.5-Flash、GPT-4o-mini 和 Qwen2.5-72B-Instruct 进行的实验表明，EduAgentQG 在多样性、目标一致性和胜率方面始终优于 COT、COTN、ReAct 和 EQPR。在 Gemini-2.5-Flash 上，EduAgentQG 在 MathChoice 和 MathBlank 上分别比最强基线提高胜率 3.90 和 4.75 个百分点，展示了其生成多样化、可解且教育对齐的个性化数学问题的能力，且具有更强的可控性。

## 引言

个性化问题生成（QG）旨在自动生成与用户指定的教学目标对齐的题目，这些目标规定知识覆盖范围、难度要求和核心能力发展（Hang et al., 2024, Hwang and Utami, 2024, Jiang et al., 2024, Wang et al., 2021）。在实际教学中，教育工作者通常通过规划、起草、验证和优化的迭代循环来设计题目，以同时支持测评和认知发展（Rembert and Gilbert, 2020, Surya et al., 2020, Walkington and Hayata, 2017）。在此过程中，教师需要在概念理解、核心能力和难度级别之间取得平衡，以确保题目既具有诊断效果又具有教学意义（Kliebard, 1970, Wiggins and McTighe, 2005）。然而，为多样化的学习需求手动创建高质量题目既耗时又难以规模化。虽然教师能够识别特定的学习需求并定义教学目标，但在有限时间内生成精确匹配这些目标的题目仍然具有挑战性（Ikashaum and Wahyuni, 2023, ?zgen, 2021, Rembert et al., 2019）。因此，基于预定义教学目标的自动数学问题生成已成为减少教师认知负荷和时间成本、提高教学效率和增强教育资源可扩展性的重要方法。

传统的题目生成方法主要包括基于模板、神经生成和知识增强方法。基于模板的方法依赖于手工设计的规则和语法模式，提供可控的结构但灵活性有限且多样性不足（Lu and Lu, 2021, Nandhini and Balasundaram, 2011）。神经序列到序列方法通过从数据中学习生成模式来提高流畅性（Dave et al., 2021, Xu et al., 2021），但它们仍然难以捕捉数学结构和推理过程（Zhou et al., 2023）。知识增强和结构感知方法进一步融入数学结构或外部知识来提高逻辑合理性和结构连贯性（Qin et al., 2023）。最近，大语言模型为题目生成带来了显著提升（Beauchamp et al., 2025, Chudziak and Kostka, 2025, Liu et al., 2025）。

许多基于 LLM 的 QG 方法可以视为遵循三阶段过程：在输入阶段，提供教学目标；在生成阶段，模型根据这些目标创建题目；在评估阶段，对生成的题目进行评估，仅保留满意的候选作为最终输出。在此框架内，现有方法大致可分为单智能体和多智能体方法。单智能体方法依赖一个模型在统一过程中执行生成、推理和自评估（Lee et al., 2024, Li, Jiang et al., 2024, Li, Wang et al., 2024, Liang, 2025, Pham et al., 2024, Shah et al., 2024）。这些方法简单灵活，但同一模型必须同时处理规划、生成和质量控制，这限制了对教育约束和多样性的细粒度控制。相比之下，多智能体方法将生成过程分解为多个角色，如生成、评估、批判和精炼，允许不同智能体协作以产生更可靠的输出（Cheng et al., 2025, Gao et al., 2025, Karbasi et al., 2025, Manem et al., 2025, T. Wang et al., 2025, Yan et al., 2025）。然而，现有多智能体方法仍然倾向于依赖聚合反馈或隐式推理模式，往往缺乏维度级教育评估和可控多样性的显式机制。

尽管取得了这些进展，现有方法仍然面临两个主要挑战，如图 1 所示。首先，在评估阶段，当前评分机制通常依赖整体分数，这意味着题目即使未能满足某些教育维度（如知识概念覆盖、难度对齐或能力要求），也可能被接受（图 1a）。这种限制源于整体分数往往掩盖了特定教育方面的缺陷，使在粗粒度水平看似可接受的题目通过评估。其次，在生成阶段，题目多样性通常有限；为同一教学目标生成的题目在语义内容和评估视角上往往高度相似（图 1b）。这是因为现有方法在很大程度上依赖于大模型固有的随机性，缺乏控制多样性的显式机制。

为应对这些挑战，我们提出了 EduAgentQG，一个用于个性化数学问题生成的多智能体协作框架。EduAgentQG 的核心思想是同时支持方向引导的多样性控制和多维度目标感知评估。而非主要依赖模型随机性来获取多样化输出，Planner 将每个教学目标转化为包含多种生成方向的结构化设计计划，Writer 则生成并迭代修改具有不同上下文、呈现方式和推理路径的候选题目。而非依赖聚合质量分数，Solver 和 Educator 在逻辑和教育维度上进行互补的细粒度验证：Solver 检查逻辑合理性、可解性和歧义性，而 Educator 检查年级水平、知识概念、难度和核心能力的对齐。Checker 随后对正确性和清晰度进行最终验证。通过这种设计，EduAgentQG 超越了普通的多智能体角色分工，通过将生成多样性和目标验证明确链接到结构化的教学目标，实现了对个性化数学问题生成的可控多样性和维度级质量控制。

受上述挑战的启发，本研究旨在开发一个可控的个性化数学问题生成框架，能够生成兼具教育对齐和多样性的题目。具体而言，本研究聚焦于以下研究目标：

- 探讨如何将教学目标转化为结构化生成指导，以支持知识概念、难度级别、年级要求和核心能力的对齐。
- 探索如何在同一教学目标下同时实现可控多样性和维度级质量控制，使生成的题目既具有教学对齐又具有有意义的变化。
- 评估所提出的多智能体框架能否在不同题型和骨干模型上始终提高数学题目质量、多样性和目标一致性。

主要贡献总结如下：

- 我们提出了 EduAgentQG，一个具有目标感知的多智能体框架，用于个性化数学问题生成。该框架协调规划、问题生成、评估和精炼，生成满足结构化教学目标的题目，同时提高题目多样性和目标一致性。
- 我们设计了基于规划的多样性控制机制。给定同一教学目标，Planner 推导多种生成方向，引导 Writer 生成具有多样化上下文设置、呈现方式和推理路径的题目，同时保持与目标教学目标的对齐。
- 我们开发了基于互补 Solver 和 Educator 智能体的细粒度目标感知评估机制。该机制通过评估可解性、歧义性、年级水平对齐、知识概念对齐、难度级别和核心能力对齐，联合验证逻辑有效性和教学对齐，为迭代题目精炼提供多维度反馈。
- 在 MathChoice 和 MathBlank 基准上的大量实验表明，EduAgentQG 在不同骨干模型和题型上始终在多样性、目标一致性和胜率方面优于代表性基线方法。

### 问题生成与多样性

题目生成已从基于模板和神经生成方法发展到基于 LLM 的单智能体生成，以及最近的多智能体协作。早期方法依赖于手工设计的模板和语法规则，提供了可控的结构和逻辑一致性，但灵活性、可扩展性和多样性有限（Lu and Lu, 2021, Nandhini and Balasundaram, 2011）。随着深度学习的发展，神经序列到序列模型被广泛使用……

### 任务定义

自动生成符合特定教学目标的数学题目是具有挑战性的，因为必须同时满足多个约束条件。一个有效的题目应该与目标年级水平对齐，覆盖所需知识概念，匹配预期难度级别，并反映指定的核心能力。此外，题目应该逻辑完整、无歧义且可解，具有唯一正确答案。为支持教育多样性……

### 数据集构建与标注

我们从教师和中小学校收集的教师提供的数学题目构建了一个数学题目数据集。原始题目涵盖一至九年级的学校级数学资源。在标注之前，我们按年级水平和题型组织了收集到的题目，并移除了重复、不完整或格式不良的项目。我们仅保留了具有清晰题干、充分条件和唯一答案的题目，以便每个项目都能可靠地……

### 主要发现

实验结果表明，个性化问题生成的核心挑战不仅在于生成数学上正确的题目，还在于在显式教学目标下平衡目标一致性和可控多样性。在 MathChoice 和 MathBlank 上，EduAgentQG 始终在多样性、目标一致性和胜率方面优于 COT、COT_N、ReAct 和 EQPR。在不同骨干模型上观察到的相似模式表明这些改进并非……

### 结论

在本工作中，我们提出了 EduAgentQG，一个用于显式教学目标下个性化数学问题生成的多智能体协作框架。EduAgentQG 将每个教学目标分解为结构化设计计划，并通过规划、生成、评估和精炼的迭代过程协调五个专业化智能体。通过整合面向多样性的规划、维度级评估和闭环反馈，该框架同时提高了……

### CRediT 作者贡献声明

Rui Jia：撰写 – 审阅与编辑，撰写 – 初稿，验证，方法论，调查，形式分析，数据整理，概念化。Min Zhang：撰写 – 审阅与编辑，方法论。Fengrui Liu：验证，形式分析。Bo Jiang：撰写 – 审阅与编辑，资金获取。Kun Kuang：撰写 – 审阅与编辑，验证。Zhongxiang Dai：撰写 – 审阅与编辑，方法论。

### 利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系，这些利益或关系可能影响本文报告的工作。

### 致谢

本工作得到国家自然科学基金 [62477012]、上海市自然科学基金 [23ZR1418500]、上海市经济和信息化委员会 AI for Science 计划 [2025-GZL-RGZN-BTBX-01014]、浙江省"尖兵"和"领雁"研发计划 [2025C02037] 以及杭州市重点研发计划 [2025SZDA0254] 的支持。

Rui Jia | Min Zhang | Fengrui Liu | Bo Jiang | Kun Kuang | Zhongxiang Dai