关于自动化编程评估系统中反馈类型的研究

《ACM Transactions on Computing Education》：A Survey on Feedback Types in Automated Programming Assessment Systems

数字化加速催生广泛编程课程需求，自动编程评估系统（APAS）因预定义单元测试反馈局限而受制约。本研究通过大规模实证分析，对比基础编译反馈、标准单元测试反馈与LLM生成反馈，发现AI反馈显著提升学生问题解决能力，建议融合单元测试与AI驱动反馈优化教学。

　　

摘要

随着所有主要行业数字化进程的加速，编程技能的需求不断增加，这促使越来越多的大学将编程课程纳入教学体系，不仅涵盖技术专业，还包括商业和管理领域。因此，需要额外的资源来支持具有不同教育背景和技能水平的学生进行教学、评分和辅导。为此，自动化编程评估系统（APAS）应运而生，这类系统能够提供可扩展且高质量的评估服务，具备高效的评估能力和即时反馈功能。然而，传统的APAS通常依赖预定义的单元测试来生成反馈，这限制了反馈的内容范围和详细程度。近年来，随着大型语言模型（LLM）的发展，这些技术为提升反馈质量和个性化提供了新的可能性。为了研究学生在不同APAS反馈机制下的感知情况及其对问题解决能力的实际帮助效果，我们针对来自两所不同大学的200多名学生开展了大规模研究。具体而言，我们比较了基础编译器反馈、标准单元测试反馈以及基于LLM的高级反馈在学生感知质量和对学习效果影响方面的差异。研究结果表明，虽然学生认为单元测试反馈最为有用，但AI生成的反馈能显著提升学生的学习表现。这些发现提示我们应结合单元测试和AI驱动的指导方式，以优化自动化反馈机制，从而提升编程教育的质量。