替代性评分方式能否改善自动评分编程作业中的学生互动？

《ACM Transactions on Computing Education》：Can Alternative Grading Improve Student Interactions In Automatically Graded Programming Assignments?

本研究探讨评分方式对学生软件开发生涯的影响，采用 bucket 评分法对300+学生进行对比实验，发现该方法能提升学生测试用例质量与反思能力，同时保持自动化评估优势，计划长期沿用。

　　

摘要

背景自动化评估通常以基于测试的自动评分器的形式实现，通过隐藏的“预言系统”向学生提供关于其代码解决方案的自动化形成性反馈。尽管自动评分器在提高评分效率方面具有一定的教育价值，但研究表明它们可能会鼓励一些不利于学习的学生行为。例如，学生会通过反复试错来调试代码以获得最高分，而忽视了对自身工作的深入反思。

目的本研究探讨了评分标准如何影响学生在收到自动化反馈后的软件开发行为。与拥有完整测试用例集的自动评分器不同，工业开发者无法通过这些测试用例了解他们的代码在哪些情况下表现良好或不佳。因此，开发者必须依靠自身的判断力来同步开发测试代码和产品代码，以生产出高质量的软件。我们假设，采用替代性的评分方法可以在保持自动化评估的基础设施和教育优势的同时，促使学生在开发过程中进行更多的反思。

方法我们采用了一种粗粒度的替代评分方法——桶级评分（bucket grading），将学生的代码解决方案仅分为四个等级，以此对项目质量进行总体评估。该方法应用于一个有300多名学生的三年级高等教育软件工程课程中。本研究结合定性和定量方法，对比了该课程之前采用的传统基于分数的评分方式与桶级评分方式的效果。

结果研究发现，桶级评分这种粗粒度的形成性反馈方式改善了学生与自动评分器之间的互动：学生在修改代码之前进行了更深入的思考，因此编写出了质量更高、更有条理的测试用例。学生们对桶级评分表示赞赏，因为它在评分上给予了他们一定的宽容度，并使他们能够更清楚地了解自己代码的整体质量。最终，我们决定继续采用这种评分方法，因为它显著提升了教师和学生的使用体验。