基于证据的弱应答者诊断机制，用于实现对人工智能生成的教育测验的可追溯质量控制

《Engineering Applications of Artificial Intelligence》：Evidence-conditioned weak-answerer diagnosis for traceable quality control of educational quizzes generated by artificial intelligence

　　

摘要

人工智能的应用需要对来自嘈杂数据源生成的内容进行可追溯的质量控制。我们在一个工程流程中实现了基于证据的弱回答者诊断机制，该流程将开放教育视频转换成可追溯的测验。参数量为三十亿的Qwen 2.5语言模型（Qwen2.5-3B）在无上下文的情况下回答每个问题，如果回答失败，则会附带时间戳的原始内容。系统能够保留难以回答的问题；如果问题持续失败，则会由参数量为三百二十亿的Qwen 2.5语言模型（Qwen2.5-32B）进行修订。在Open163开放教育视频benchmark的1997个问题中，经过解析器审核的路由机制保留了398个原始内容可解决的问题的同时修正了631个问题。在未使用黄金标准答案的情况下，修订后Qwen2.5-3B模型的盲测准确率提高了12.07个百分点，基于原始内容的准确率提高了10.32个百分点。黄金标准答案的变化占修订内容的43.6%，约占自动改进效果的四分之三。通过双注释者盲审发现，对于证据不足的问题，人类正确率从36.0%提高到了99.0%，尽管中等的二元一致性限制了这一估计。即便排除了Film子集并在相同样本量下进行汇总，改进效果仍然显著。在相同的631个问题预算下，这种配对路由方法的表现显著优于随机修订和Phi 4.14B模型的直接评判。与修订所有1029个盲测失败问题相比，该方法使用的强模型调用次数减少了38.7%，同时达到了在统计上无法区分的基于原始内容的准确率。独立的Phi 4评估显示，盲测效果的提升得到了保持，但基于原始内容的提升并未体现。因此，存储的讲座证据成为教育质量控制的可审计路由信号。

引言

大规模开放在线课程（MOOCs）和免费提供的大学讲座虽然数量众多，但将其转化为可靠的测验仍然具有挑战性。教师必须观看、转录、改写并验证讲座内容，才能将其转化为形成性评估问题，而这一过程难以扩展到Coursera、edX或Open163等平台。对于人工智能的工程应用来说，核心挑战不仅在于生成问题，还在于根据嘈杂的原始数据验证生成的内容，并确定哪些内容需要 costly 的修复。因此，一个可用的系统必须基于原始内容、可审计且具有成本意识。我们将测验生成视为一个可追溯的质量控制问题，而不仅仅是简单的提示生成任务。

我们采用基于证据的诊断方法来解决这一挑战，而不是使用另一种一次性生成器。五个处理组件——自动语音识别（ASR）、分割、知识提取、测验起草和答案评估——将转录文本、分割结果、起草的测验和追踪记录写入共享的艺术品存储库。其中，人工智能（AI）的核心贡献是一个低成本的诊断层，在调用强修订器之前会读取这个存储库。首先，相同的弱回答者会盲目回答每个测验；只有那些盲目回答失败的问题才会附带其原始内容重新回答。这种配对结果区分了三种情况：无需讲座证据即可回答的问题、只有在提供讲座内容后才能回答的问题，以及即使提供了原始内容仍然无法支持或有缺陷的问题。

本文测试的正是这种配对诊断机制。它对一个问题和一个回答者进行了控制干预：问题、解码规则和模型是固定的，只添加了原始证据。因此，从盲目状态到基于原始状态的转换估计了存储的证据是否解决了回答者的失败。这种方法并不将弱模型的失败等同于问题的失败，也不声称能证明教学质量。相反，它保护了通过原始内容恢复的问题——这些对于选定的回答者来说通常是难但基于事实的问题——免于不必要的重写，并且只将持续的原始提供失败问题路由给强修订器。我们的贡献包括：

• 1.
  我们将弱回答者的配对诊断定义为一种成本意识强的项目级验证信号，用于AI生成的教育测验，区分了不需要原始内容、通过原始内容恢复和因证据不足而失败的问题。
• 2.
  我们在一个可审计的视频到测验的工程流程中实现了这个信号，其中每个生成的问题都与时间戳标注的讲座内容相关联，可以支持教师审核或学生补救。
• 3.
  我们在Open163的1997个问题基准上评估了这一诊断方法，使用了本地、全局、密集的交叉编码器追踪变体、跨回答者分析、双注释者盲审协议、测量的令牌成本，以及包括直接语言模型评判、相同预算的随机修订和仅基于盲测失败的修订在内的强修订基线。

章节片段

相关工作

问题生成已经从基于规则的声明句转换（Heilman和Smith，2010年）发展到神经序列到序列模型（Du等人，2017年）以及基于Transformer的生成器（Ushio等人，2022年）。调查显示，从手工制作的模板向数据驱动的教育生成转变的趋势也在持续（Kurdi等人，2020年；Das等人，2021年）。这一研究方向也被扩展到教育视频和讲座转录文本，例如通过配对生成的问题。

系统概述

该流程由五个连续的代理组成，随后是追踪意识评估、弱回答者诊断和有针对性的强修订。图1概述了这个端到端的工作流程。

处理过程首先使用ffmpeg提取音频，并使用FunASR进行转录。转录文本以时间戳标记的句子形式存储在JavaScript对象表示法（JSON）文件中。然后贪婪地合并相邻的句子，直到达到目标数量。

配对诊断和可控的选择性修订

解析器审核的路由在生成的1997个问题中识别出了1029个盲测失败问题。为每个问题提供其原始内容后，恢复了398个问题（占盲测失败的38.68%）；这些问题被视为难但可以通过原始内容解决的。剩余的631个问题在两种情况下都失败，构成了修订路径，占问题的31.60%。这种划分遵循了第3.5节描述的69个独特解析器失败后的结构化路由提示。

讨论

实验支持四个有界结论。首先，配对诊断提供了一个有用的选择信号，超越了普通的验证和修订流程。在相同的631个问题预算下，它的表现显著优于随机选择和整体的Phi-4缺陷评分。与修订所有盲测失败问题相比，它保留了398个可以通过原始内容解决的问题，并且在强模型调用次数减少了38.7%的情况下达到了统计上无法区分的基于原始内容的准确率。这是强模型选择性的证据，而不是...

限制

有几个限制因素影响了这些结果的解释。首先，诊断标签是针对声明的回答者、提示和证据渠道的操作结果；它们不是内在的缺陷标签。经过校正的结构化路由提示产生了631个持续失败的问题，而严格的选项标签敏感性协议产生了610个。这种提示依赖性是预期之中的，应该进行校准而不是隐藏。

其次，词汇追踪受益于共享术语，因为生成的测验...

结论

本文将讲座衍生的测验生成重新定义为一种基于证据的质量控制问题，而不仅仅是一次性生成任务。我们引入了一种配对弱回答者的诊断机制，其中每个测验问题都与时间戳标注的讲座内容相关联，相同的弱模型首先盲目回答每个问题，只有那些在两种情况下都失败的问题才会附带原始内容重新回答，并且只有在两种情况下都失败的问题才会调用强修订器。在Open163的1997个问题基准上，经过解析器审核...

伦理声明

本研究没有涉及学习者参与者、动物实验对象、可识别的个人数据或临床材料。人类审核仅对匿名化的测验问题和原始摘录进行任务判断；它不收集注释者标识符、敏感属性或行为数据。所有的讲座内容都是为公共教育广播制作的，并在本研究中作为转录文本用于研究目的。没有收集学习者数据、课堂记录、人口统计信息或...

手稿准备过程中生成式AI和AI辅助技术的声明

在准备这项工作时，作者使用了Cursor和OpenAI Codex进行代码重构和分析工作流的协助，并使用ChatGPT对选定的草稿段落进行了润色。作者根据需要进行审核和编辑，并对发表文章的内容负全责。

资金

这项研究没有收到来自公共部门、商业部门或非营利组织的任何特定资助。

利益冲突声明

作者声明他们没有已知的利益冲突或个人关系，这些关系可能会影响本文报告的工作。

韩波

中国兰州大学信息科学与工程学院，兰州730000