面向可解释自动简答评分的覆盖感知神经框架

《Applied Soft Computing》：A coverage-aware neural framework for interpretable automated short answer grading

　　

摘要
自动简答题评分（ASAG）对于可扩展、公平且及时的评估学生的简答至关重要。目前的 ASAG 技术通常采用语义相似性模型来衡量学生回答与参考答案之间的相似度。然而，学术评分不仅取决于语义相似度，还取决于学生回答覆盖预期参考内容的程度以及揭示缺失内容的程度。现有的基于神经网络的方法，包括句子注意力方法和交叉编码器模型，要么无法明确捕获部分内容覆盖，要么在大规模部署时产生高计算成本。为了解决这些局限性，本文提出了一种覆盖率感知神经评分框架，将 ASAG 建模为学生回答与教师参考答案之间的方向性证据对齐问题。该框架结合了高效的句子级编码与方向性交叉注意力，其中学生令牌作为查询，而参考令牌提供键和值。这种非对称交互为每个学生令牌选择性地检索语义相关的参考信息，生成学生回答与参考答案之间可解释的令牌级对齐图。对齐信息被进一步用于估计教学相关参考内容的覆盖率并识别缺失内容，同时互补的语义相似性功能支持最终评分决策。在基准和真实世界 ASAG 数据集上进行的实验表明，所提出的框架始终优于基于相似性的方法，并在与计算昂贵的交叉编码器模型性能相当的同时，提供了可解释的对齐反馈。该框架为自动化教育评估系统提供了一种高效、可扩展且可解释的神经解决方案。

引言
在有效的教学过程中，准确评估学生的知识是一项基本要求。在各种评估方法中，书面考试仍然是评估学生知识的主要手段。简答题在评估关于任何主题的清晰知识方面非常有效。正如 Callear 等人 [1] 所述，简答题具有以下特征：通常使用非正式语言，答案长度可能从简短短语到完整段落不等，正确性比写作风格更重要，通常每个问题只有一个正确答案。回答简答题需要学生具备更高阶的认知技能，如批判性思维、解决问题和概念理解；因此，它们被广泛用于教育中评估对关键概念的理解。然而，当存在大量提交时，人工评分这些回答既耗时又不一致。除此之外，人工评分还存在其他几个挑战 [2]，如评分不一致、不同评分者对同一回答的不同解释以及可扩展性问题，因为随着学生数量的增加，评分变得越来越劳动密集。由于人类会犯错 [3]，疏忽和错误评分的可能性也更高。此外，很难使评估标准形式化 [4]。此外，措辞、短语的变化或不完整的解释进一步复杂化了评估。最后，在分数旁提供有意义的反馈需要大量的努力和专业知识，增加了教育工作者的负担。然而，如果实施自动评估 [5]，它在现代教育中具有许多优势，包括易于获取测试、即时评估 [6]、即时且描述性的反馈、统一且无偏见的评分、为教育工作者节省时间、高效跟踪学生进度以及根据个别表现调整内容的能力，从而改善整体学习体验。然而，简答题的自动评分比选择题更具挑战性。关键问题包括理解正确想法的多样化表达、部分正确性、看似合理但不正确的回答、语境解释以及评估真正的理解 [7]。

传统 ASAG 方法 [8]，包括依赖预定义模板和关键词匹配的规则系统，以及早期的机器学习方法，主要依赖于表面级特征，如词汇重叠和人工工程属性。尽管这些方法只是自动化的起点，但当学生回答与参考答案在措辞上存在差异时，捕获复杂的语义关系变得更加具有挑战性。Heilman 等人报告的研究使用了结合句法分析和预测分数的词汇相似性功能 [9]。然而，这些模型需要大量的特征工程和大量标注的训练数据。Riordan [10] 证明，诸如 GloVe 和 word2vec 等词嵌入能有效支持简答题评分，但需要大量训练数据且计算成本高。最近，基于 Transformer 的模型，BERT 及其变体，通过产生更丰富、上下文感知的文本表示，显著推进了自然语言处理。句子 BERT（SBERT）[11] 专门设计用于语义相似性和同义句识别等任务。它生成高质量的句子嵌入，使其非常适合需要强烈语义内容理解的 ASAG 任务。最近关于 ASAG 的研究 [12] 利用 SBERT 嵌入改进了学生回答的语义表示，当包含问题文本、评分标准或问题包等上下文信息时，SBERT 表现出有前途的结果。同时，他们指出了几个局限性，如对未见问题和答案的泛化能力有限、难以分配部分学分、可解释性有限以及对有限数据的敏感性。基于交叉编码器和注意力的架构通过利用学生和参考答案之间的细粒度令牌级交互来解决这些问题，但存在高计算复杂性并表现出有限的透明度，这限制了它们在大规模教育环境中的使用。

本研究将 ASAG 任务重构为覆盖率感知的证据对齐问题，而不是仅仅依赖学生和参考答案之间的全局语义相似性。除了产生整体相似度分数外，所提出的框架明确建模了学生回答中的证据如何与教师参考答案的教学相关内容对齐。为了实现这一目标，该框架采用方向性交叉注意力，其中学生令牌作为查询，参考令牌提供键和值，从而为每个学生令牌检索语义相关的参考信息。生成的令牌级对齐图被进一步用于估计预期参考内容的覆盖率并识别缺失内容，从而为基于评分标准的评分提供可解释的支持。所提出的架构增强了学生和参考答案之间的上下文对齐，同时保持了适合大规模评估的计算效率。该框架在一项为此研究开发的自定义 ASAG 数据集以及广泛使用的 Mohler 基准数据集上进行评估，该数据集包含基于布鲁姆分类法的不同认知复杂度的问题。实验结果表明，在评分准确性和与人类评估者的一致性方面取得了显著改进，同时保持了与现有神经评分方法相当或更好的性能。

本研究的主要贡献如下：
• ASAG 的覆盖率感知形式化：我们将自动简答题评分重构为覆盖率感知的证据对齐问题，评估学生回答覆盖参考答案教学相关内容的程度，而不是仅仅依赖全局语义相似性。
• 证据对齐框架：我们开发了一种基于方向性交叉注意力的神经评分框架，其中学生令牌作为查询，参考令牌提供键和值。生成的令牌级对齐为评分提供了明确的证据，并支持识别缺失的参考内容。
• 高效且可解释的评分预测：我们整合了基于对齐的证据与互补的语义相似性功能来预测最终分数，同时提供可解释的对齐反馈，并与完全交叉编码器方法相比保持了计算效率。
• 全面评估：我们在一个大型真实世界的数据结构和算法数据集以及基准 Mohler 数据集上进行了广泛的实验。所提出的框架在不同认知复杂度的问题上与人类评分者表现出更高的一致性，并相对于现有神经评分方法表现出改进的性能。

本文组织如下：第 2 节介绍相关工作。第 3 节提供了导致所提出框架演变的理论见解。第 4 节提出了所提出的框架。第 5 节描述实施；此外，结果及其分析在第 6 节结果与分析中呈现，第 7 节结论与未来工作。最后，论文在第 8 节中总结并以未来研究方向结束。

章节片段
相关工作
人工智能（AI）、教育数据挖掘、学习分析和大型语言模型的最新进展显著加速了智能教育的发展，通过实现个性化学习、智能课程推荐、适应性评估、智能辅导和数据驱动的教育决策制定 [13], [14], [15], [16]。在这些应用中，自动评估已成为智能教育系统的基本组成部分，

覆盖率感知证据对齐的设计动机
所提出的框架是基于这样的观察而设计的：有效的简答题评分需要更多，而不仅仅是衡量学生回答和参考答案之间的整体语义相似度。人类评估者评估预期参考内容在学生回答中反映的程度，为部分覆盖的内容分配部分学分，并识别缺失的信息。以下动机见解解释了所提出的覆盖率感知证据背后的设计选择。

覆盖率感知选择性对齐框架
本节提出了用于 ASAG 的覆盖率感知选择性对齐框架。该框架旨在通过选择性地将学生回答中的教学显著组件与参考答案对齐，来明确建模内容覆盖率。与仅相似性方法或无限制的交叉编码器架构不同，所提出的框架，如图 1 所示，引入了一种结构化归纳偏置，支持部分学分评分、可解释性和计算。

数据收集、预处理和标注
所提出的框架在一个自定义数据集上进行了评估，以评估覆盖率导向的评分和可解释性，这超出了现有基准数据集的范围。为了确保与现有基于 Transformer 的 ASAG 方法进行公平且有意义的比较，实验在文献中广泛采用的 Mohler 基准上进行。故意使用了同一学术领域的两个数据集，以评估所提出的框架是否学习领域特定。

结果与分析
本节展示了实验结果，并对所提出的方法进行了全面分析。使用标准定量指标评估所提出模型的性能，并与相关基线方法进行比较，以评估其有效性。此外，进行了详细分析以调查各个组件的贡献，并评估所提出框架在不同实验设置下的稳健性和泛化能力。

结论与未来工作
本工作提出了用于自动简答题评分的覆盖率感知选择性对齐框架，将评分重构为估计概念覆盖的问题，而不是纯粹的语义相似性任务。通过整合高效的句子级编码与选择性交叉注意力和词汇线索，所提出的框架明确建模了匹配、部分匹配和缺失的参考概念。在大规模真实世界数据集和基准语料库上的实验结果。

CRediT 作者贡献声明
Krishna Asawa：写作 – 审稿与编辑，写作 – 原稿，方法论，可视化，调查，验证，形式分析，数据管理，概念化，资金获取。Vartika Puri：写作 – 审稿与编辑，调查，验证，数据管理，资金获取。Himanshu Agrawal：写作 – 审稿与编辑，验证，数据管理，资金获取。

伦理批准和知情同意
本研究使用公开可用的数据集以及作者在机构收集的自定义数据集。所有数据收集程序均严格遵守机构伦理准则。

写作过程中生成式人工智能和人工智能辅助技术的声明
在准备本工作期间，作者使用了 OpenAI 和 Grammarly 来提高语言和可读性。在使用这些工具/服务后，作者审阅并编辑了所需的内容，并对出版物的内容承担全部责任。

利益冲突声明
作者声明他们没有已知的竞争性经济利益或个人关系，这些利益或关系可能会影响本论文报告的工作。

致谢
作者们衷心感谢印度 Noida 的 Jaypee 信息技术学院通过项目资助 DRID/COE/08/2023 支持本工作。作者还感谢计算机科学与工程与信息学系在整个研究过程中提供的必要资源、基础设施和鼓励性的研究环境。作者对所有提供宝贵的合作者和同事表示赞赏。

Krishna Asawa|Vartika Puri|Himanshu Agrawal
印度 Noida, 201304, Jaypee 信息技术学院计算机科学与工程与信息学系