根据Python教科书确定代码熟练程度

《ACM Transactions on Software Engineering and Methodology》：Determining Code Proficiency Levels from Python Textbooks

提出基于教材和自动化方法（übersequence、Clustering）评估Python开发者能力的框架，实证显示85.51%的代码结构覆盖，教材代码引入顺序高度相似，支持方法有效性，并探讨其在软件维护中的应用。

　　

摘要

衡量开发者的熟练程度至关重要，因为这反映了个人理解和解释高效、有效且结构良好的代码的能力。这是确保软件质量的一个重要方面。尽管之前的研究提出了通过代码来评估熟练程度的不同方法，但学习各种编程概念的过程仍然颇具挑战性，并且存在很多争议。本文提出了一种框架，该框架利用作为基准的教材以及两种自动化方法（übersequence和Clustering）来确定代码熟练程度。我们进行了实证研究以确定Python代码的熟练程度水平。随后，我们通过回答两个关键研究问题来评估该框架的有效性。利用包含22本Python入门教材以及来自Python语法分析（AST）的代码结构的数据集，我们实现了85.51%的高覆盖率。分析结果显示，不同教材中代码结构介绍的顺序具有显著的高相似性，这支持了我们使用教材来评估代码熟练程度的方法。übersequence方法证明了为各个代码结构分配熟练程度的可行性，而聚类方法则进一步提供了结构化的分组视角。为了展示其实际应用性，我们提供了示例，并讨论了未来的研究方向，特别是软件维护任务，如错误分配和代码审查。