基于上下文的自动问题生成方法，用于教育评估，该方法通过轻量级变换器增强技术实现

《Engineering Applications of Artificial Intelligence》：Context-based automatic question generation for educational assessment via lightweight transformer augmentation

　　穆罕默德·科里奇（Mohammed Qorich）| 拉贾埃·埃尔·奥瓦扎尼（Rajae El Ouazzani）
ISNET团队，穆莱·伊斯梅尔大学（Moulay Ismail University）技术学院，梅克内斯（Meknes），摩洛哥

**摘要**
自动问题生成（Automatic Question Generation, AQG）在教育技术中发挥着核心作用，它支持自动化评估、阅读理解和智能辅导系统。尽管人工智能（AI）领域取得了最新进展，但开发出能够在生成质量、计算效率和跨领域鲁棒性之间取得平衡的答案不可知型（answer-agnostic）AQG系统仍然具有挑战性。在本研究中，我们采用统一且可复制的评估协议，系统地研究了仅依赖上下文的AQG方法。我们比较了基于Transformer的编码器-解码器架构，包括双向Transformer（BART）和文本到文本转移Transformer（T5），并引入了一种混合架构增强方法，该方法整合了卷积神经网络（CNN）模块以加强上下文表示能力，同时保持部署的可行性。实验表明，与上下文到问题转换任务的架构匹配度比单纯的参数扩展更为关键。虽然较大的BART配置提高了词汇精度，但显著增加了计算成本。相比之下，我们提出的BART-base-CNN混合架构在仅增加0.75%额外参数的情况下，提升了局部特征聚合能力，并且推理延迟仅增加了约3%。在斯坦福问答数据集（Stanford Question Answering Dataset, SQuAD）的严格句子级别评估中，该模型取得了38.56的双语评估替代分数（Bleu-4）、26.05的基于召回率的替代分数（ROUGE-L）以及36.65的显式排序翻译评估分数（METEOR）。此外，跨异构问答数据集（包括Hotpot Question Answering, HotpotQA、Microsoft Machine Reading Comprehension, MS MARCO、Science Question Answering, SciQ和Discrete Reasoning Over Paragraphs, DROP）的零样本迁移实验表明，该架构具有鲁棒性，无需针对特定数据集进行调整。尽管不同推理风格和语言领域的指标分布存在差异，但所提出的模型仍保持了语义忠实性和结构连贯性。总体而言，本文表明，对预训练Transformer模型进行轻量级架构增强可以在实际部署限制下提升答案不可知型AQG的性能，并为基于AI的教育评估提供了可扩展的基础。

**引言**
近年来，人工智能（AI）技术日益影响教育实践，尤其是通过自然语言处理（NLP）和自然语言生成（NLG）应用（Eguchi等人，2021年；Zhang和Aslan，2021年；Perchik等人，2023年；Lee和Kwon，2024年；Li等人，2024年）。在这一背景下，自动问题生成（AQG）已成为智能辅导系统、阅读理解支持和对话学习环境的关键组成部分（Shah等人，2017年；Kurdi等人，2019年；Fung等人，2020年；Zaib等人，2022年；Gabajiwala等人，2022年；Wang等人，2023年）。通过将文本内容转换为疑问形式，基于AQG的系统支持主动学习和可扩展的评估工作流程（Kulkarni等人，2019年；Yannier等人，2020年；Bhutoria，2022年；Hsiao和Chang，2023年；Pahi等人，2024年）。实际上，基于AQG的系统通常在两种模式下运行：一种是基于答案的（answer-aware），另一种是答案不可知的（answer-agnostic）。在基于答案的配置中，模型会接收明确的答案范围或位置指示。而在答案不可知的配置中，模型需要直接从原始文本中推断出关键信息。后者更符合现实的教育场景，因为在推理时往往无法获得标注的答案。然而，答案不可知的AQG在技术上仍然具有挑战性，因为模型必须在没有明确监督信号的情况下识别信息内容并构建连贯的问题。

历史上，AQG方法从依赖句法分析和语义角色标注的规则基流程演变为基于神经序列到序列的模型（Keklik等人，2019年；Gnanasekaran等人，2021年；Tan，2024年；Liu，2020年；Grover等人，2021年；Hao等人，2022年）。另一方面，基于Transformer的预训练编码器-解码器架构，如双向Transformer表示（BERT）、文本到文本转移Transformer（T5）和双向及自回归Transformer（BART），通过大规模预训练和自注意力机制进一步提高了流畅性和上下文对齐性（Chan和Fan，2019年；Kumari和Pushphavati，2022年；Perkoff等人，2023年；Liao等人，2023年）。尽管这些预训练语言模型显著提升了表面质量，但在答案不可知的AQG中仍有三个未充分解决的开放性问题：
1. **评估不一致性**：先前的AQG研究经常使用不同的BLEU和ROUGE实现方式（例如，语料库级别与句子级别计算、不同的平滑策略、不一致的分词方式），这使得直接比较变得复杂，并掩盖了架构效应。最近的基准测试表明，指标变异性和实现差异显著影响了报告的性能（Ushio等人，2022年；Fuadillah等人，2025年）。
2. **架构合理性与参数扩展**：许多近期研究通过增加参数数量或辅助监督来提高性能，但没有系统地研究有针对性的架构修改如何影响生成行为。语言建模领域的更广泛分析表明，仅靠扩展参数并不能统一转化为特定任务的鲁棒性，特别是在资源受限的生成场景中（Hoffmann等人，2022年；Tay等人，2022年）。
3. **教育环境中的部署可行性**：报告的效率声明通常只关注训练时间，而忽略了参数开销、峰值内存使用量和推理延迟等与部署相关的指标。然而，教育平台通常在计算资源有限的条件下运行，模型大小和运行时行为对实际应用至关重要（Treviso等人，2023年；Gupta等人，2020年）。

本研究通过采用统一且可复制的评估协议，系统地研究了答案不可知的AQG。我们专注于预训练的编码器-解码器Transformer（BART和T5），而不是十亿级别经过指令调优的模型，因为中等规模的架构更适合机构部署和控制实验。我们不是强调参数扩展，而是研究轻量级架构增强如何影响上下文表示和生成质量。具体来说，我们引入了一种混合的BART-base-CNN架构，在编码器中加入了一维卷积层以增强局部短语级别的特征聚合。我们使用一致的句子级别评估指标（Bleu-4、ROUGE-L和METEOR协议）以及固定的解码配置，对比了这种设计与不同容量的Transformer基线模型。此外，我们还量化了与部署相关的指标，包括参数开销、峰值内存使用量和推理延迟，以将效率声明基于可测量的证据。除了在斯坦福问答数据集（SQuAD）上的领域内评估外，我们还在结构多样的问答基准数据集（HotpotQA、MS MARCO、SciQ和DROP）上进行了零样本跨数据集泛化评估。这种迁移分析揭示了架构的鲁棒性，而不是数据集特定的适应效应，并能够考察不同推理类型下的指标分布变化。

虽然我们的研究将AQG置于教育评估的更广泛背景中，但我们主要关注在答案不可知条件下的架构鲁棒性、效率和泛化能力。然而，基于自动重叠的指标无法直接衡量教学适当性或认知难度；因此，我们将我们的贡献视为未来教育导向评估的技术基础，而不是一个完整的评估框架。

**本文的主要贡献包括：**
- 我们建立了一个统一的、可复制的评估协议，用于评估答案不可知的AQG，使用一致的句子级别BLEU-4、ROUGE-L和METEOR指标。
- 我们提出了一种轻量级的CNN增强型BART-base架构，仅增加了0.75%的额外参数，从而增强了局部上下文表示能力。
- 我们提供了定量的部署分析，包括参数数量、峰值VRAM使用量和推理延迟，以支持效率声明。
- 我们进行了零样本跨数据集评估，以分析不同QA格式下的架构鲁棒性。
- 我们对指标权衡（词汇精度与子序列重叠）进行了情境化分析，以明确架构归纳偏差如何影响评估结果。

**本文的其余部分安排如下：**
第2节回顾了相关的AQG方法，并指出了先前方法的结构局限性。第3节介绍了所提出的架构、数据集和统一的评估协议。第4节报告了实验结果和面向部署的分析。第5节讨论了教育应用及相关挑战。最后，第6节总结了本文并指出了未来研究的方向。

**背景**
在NLP研究中，AQG任务通过不同的方法论范式获得了越来越多的关注，从基于规则的语言系统到神经编码器-解码器架构和预训练的Transformer模型。在本节中，我们将现有研究分为四大类：（i）基于规则和本体驱动的方法；（ii）具有答案感知监督的神经序列到序列模型；（iii）基于预训练Transformer的生成方法；（iv）基于提示的大型模型。

**方法论**
在本节中，我们描述了我们提出的AQG系统的方法论流程。首先，我们解释了图1所示的整体处理流程，涵盖了从输入准备到最终序列生成的每个阶段。接下来，我们详细介绍了所选混合模型的架构。然后，我们介绍了本研究采用的数据集和任务表述。最后，我们定义了评估协议和用于系统比较的基准模型。

**结果与讨论**
我们所有的实验都在第3节描述的统一答案不可知协议下进行。我们使用相同的预处理、监督信号和解码约束对每个模型进行了训练和评估，以确保公平的架构比较。我们在Kaggle平台上使用单个NVIDIA Tesla P100 GPU（配备12 GB内存）进行了训练。我们没有将硬件限制视为障碍，而是利用它们来指导架构设计，以实现计算效率和控制。

**教育应用与挑战**
我们将BART-base-CNN模型定位为一种答案不可知的问答生成框架，它可以支持教育评估工作流程，而不是取代教学设计。我们的实验关注架构鲁棒性、效率和跨领域泛化能力；然而，教育有效性需要超出基于自动重叠指标的额外任务导向评估。

**结论与未来工作**
在本文中，我们在统一的、可复制的评估协议下系统地研究了答案不可知的自动问题生成。我们研究了不同容量的Transformer框架（BART-base、T5-small和BART-large），通过层冻结和控制解码策略分析了效率和质量之间的权衡，并引入了混合架构增强来加强上下文表示能力。我们的实验表明，与上下文转换任务的架构匹配度至关重要。

**作者贡献声明**
穆罕默德·科里奇（Mohammed Qorich）：撰写——原始草稿、可视化、软件实现、方法论设计、数据分析、概念化。
拉贾埃·埃尔·奥瓦扎尼（Rajae El Ouazzani）：撰写——审阅与编辑、验证、监督。

**利益冲突声明**
作者声明他们没有已知的竞争性财务利益或个人关系，这些利益或关系可能会影响本文报告的工作。