探索用于编程练习的自动化反馈生成技术领域

《ACM Transactions on Computing Education》：Navigating the Landscape of Automated Feedback Generation Techniques for Programming Exercises

本文系统综述了2017-2023年编程教育中自动反馈生成技术，涵盖数据驱动、机器学习、程序修复及LLMs四大类方法。研究发现LLMs在反馈生成中表现突出但存在幻觉问题，数据封闭和语言局限性仍是主要挑战。未来需开发开源LLM、跨语言工具及适应高阶课程的解决方案。

　　编程教育中，反馈的生成是提升学习效果和教学效率的重要环节。随着人工智能、机器学习和网络安全等技术的快速发展，对具备高质量编程能力的人才需求日益增加，使得编程技能成为计算机科学教育中不可或缺的一部分。然而，编程仍然是许多学生在入门课程（通常称为CS1）中面临的重大挑战。因此，研究如何生成有效的编程反馈，不仅对学生的编程能力提升至关重要，也对减轻教师负担、提高教学效率具有重要意义。

### 编程教育中的反馈需求

编程学习涉及一系列复杂的认知技能，如问题分析、规划、问题解决和调试。这些技能的掌握对于学生在编程领域取得成功至关重要。然而，传统的教学方式往往无法满足这种需求，因为手动评估程序反馈的过程耗时费力，尤其在面对大量学生和复杂的编程任务时更为明显。此外，编程任务通常具有开放性，存在多种解决方案，这使得提供针对性反馈变得更加困难。

为了克服这些挑战，研究者提出了多种自动化反馈生成技术。这些技术旨在通过算法或模型分析学生提交的代码，识别其中的错误，并提供有助于学生理解并改进的反馈。然而，这些方法仍存在诸多问题，如反馈的准确性、可解释性以及是否能够适应不同的编程语言等。

### 自动化反馈生成技术的演进

自动化反馈生成技术的发展可以追溯到1960年代，当时的研究主要集中在流程自动化上，以减少人工评分的工作量。最初的系统通常只处理选择题，但随着计算机技术的进步，这些系统逐步演变为能够评估学生编程任务的复杂性。到了2000年代中期，随着大量数据的可用性，反馈生成系统开始利用数据驱动的方法，通过分析学生提交的代码和已有的正确示例，生成更具针对性的反馈。

近年来，基于机器学习的反馈生成方法成为研究的热点。这些方法通常使用神经网络来识别代码中的错误，并生成修复建议。例如，TRACER利用递归神经网络（RNN）来预测代码修复的抽象形式，随后将其转换为具体的代码修改。DeepFix则使用多层序列到序列神经网络结合注意力机制，以修复多个拼写错误。此外，基于程序修复的方法也在不断进步，如GenProg、AE、Angelix和Prophet等工具，它们通过局部化错误、生成修复方案并进行验证，逐步提高了修复的准确率。

随着大型语言模型（LLMs）的兴起，编程反馈的生成方式发生了显著变化。LLMs能够基于大量的代码数据生成高质量的反馈，甚至能够提供代码解释和修复建议。例如，ChatGPT在QuixBugs基准测试中表现优异，不仅修复了大部分错误，还能提供详细的解释，帮助学生理解错误原因。此外，一些研究还探索了如何利用LLMs进行代码生成和错误检测，这些方法在某些编程语言上表现突出，但在其他语言上的适应性仍需进一步研究。

### 自动化反馈的类型与效果

自动化反馈可以分为多种类型，包括知识结果（KR）、知识正确结果（KCR）和知识错误（KM）等。KR通常只提供“正确”或“错误”的二元反馈，而KCR则显示预期的解决方案。KM则提供了更具体的错误信息，帮助学生识别并修复问题。然而，这些反馈类型在指导学生如何改进代码方面存在一定的局限性。

为了提供更具指导性的反馈，一些研究提出了更详细的反馈类型，如知识任务约束（KTC）、知识概念（KCO）、知识如何继续（KH）和元认知知识（KMC）。这些反馈类型能够帮助学生理解编程任务的背景和要求，掌握相关概念，并学会如何继续解决问题。例如，iSnap系统通过在提示中加入文本解释，帮助学生更好地理解代码错误。此外，一些系统如StepTutor和Codechecker还提供了工作示例和变换提示，以帮助学生逐步接近正确的解决方案。

### 技术分类与挑战

目前，自动化反馈生成技术主要可以分为以下几类：数据驱动方法、机器学习方法、程序修复方法和基于大型语言模型的方法。每种方法都有其优势和局限性。数据驱动方法依赖于已有的学生提交数据，通过分析这些数据生成反馈，但需要大量的数据支持。机器学习方法利用神经网络和注意力机制来预测错误并生成修复建议，但其性能依赖于训练数据的质量和数量。程序修复方法通过局部化错误、生成候选修复方案并进行验证，但修复的准确性和效率仍然有待提高。基于大型语言模型的方法则利用强大的语言理解能力，生成高质量的反馈，但存在生成错误、不准确回答和缺乏透明性等问题。

### 当前研究的局限性

尽管自动化反馈生成技术在编程教育中取得了显著进展，但仍存在一些重要的局限性。首先，许多研究依赖于非公开的基准数据，这限制了工具的可重复性和独立评估能力。其次，部分技术不适用于所有编程语言，导致其在多语言环境中的适应性较差。此外，生成反馈的过程通常需要复杂的配置步骤，这对初学者来说可能不太友好。

### 未来研究方向

为了进一步提升自动化反馈生成技术的效果，未来的研究可以从以下几个方面入手：首先，需要开发更加通用的反馈生成系统，使其能够适应多种编程语言。其次，应加强对反馈内容的验证，确保其准确性和可解释性。此外，还需要探索如何将这些技术更好地整合到学习管理系统（LMS）中，以提高其在实际教学中的应用效果。最后，应加强对大型语言模型的研究，探索如何利用其强大的语言理解能力，生成更高质量的反馈，同时解决其在教学中的不准确和不可靠问题。

### 总结

综上所述，自动化反馈生成技术在编程教育中具有广阔的应用前景。然而，要实现其在教学中的广泛应用，仍需克服诸多挑战。未来的研究应关注如何提高反馈的准确性和可解释性，开发更加通用的反馈生成系统，并探索如何将这些技术更好地整合到教学实践中。通过不断改进这些技术，有望为编程教育带来更大的变革，提升学生的学习效果和教师的教学效率。