《COMPUTERS and EDUCATION》：LLM-derived metrics in second language writing assessment: an explainable AI approach
编辑推荐：
Jingying Hu|Yan Cong•基于大语言模型得出的惊奇度指标与嵌入式相似度指标，可作为用于二语写作评估的可靠且可解释的衡量标准•大语言模型带来的惊奇度指标能够捕捉二语写作发展的多个维度，有助于构建透明且可扩展的二语写作评估体系•基于大语言模型的指标能够补充传统的语言学
Jingying Hu|Yan Cong
- •
基于大语言模型得出的惊奇度指标与嵌入式相似度指标，可作为用于二语写作评估的可靠且可解释的衡量标准
- •
大语言模型带来的惊奇度指标能够捕捉二语写作发展的多个维度，有助于构建透明且可扩展的二语写作评估体系
- •
基于大语言模型的指标能够补充传统的语言学指标，提升写作水平判定的准确性
- •
研究结果展现了大语言模型内部表征为基于教育理念的、借助人工智能的二语写作评估研究带来的方法创新
引言
人工智能已日益深入地应用于学习、教学、评估以及教育管理各个领域（Chiu等人，2023）。尤其是自动写作评估，它为衡量学习者表现、提供评分与反馈提供了可扩展的解决方案。在二语写作研究领域，传统的自动评估方法依赖于一组成熟的语言学特征，这些特征用于描述写作的复杂性、准确性、流畅性及连贯性，进而分析写作发展规律或评估学习者表现（Crossley等人，2016；Hao等人，2024；Kyle与Crossley，2015、2018）。尽管这些特征很有用，但它们通常只能反映写作的某个孤立或有限方面，且未必能在不同语言之间保持稳定的适用性。近年来，人工智能领域的进步，尤其是大型语言模型的出现，使得自动写作评估得以拓展，可用于基于提示工程的文章评分、语法错误检测以及个性化反馈生成（Deng等人，2025；Li与Liu，2024；Qiu等人，2024；Saricaoglu与Bilki，2025；Stahl等人，2024）。然而，基于提示的方法往往存在透明度与稳定性不足的问题，因为提示的设计不同会导致输出结果有所变化，而且模型做出判断的底层机制也不透明（Stahl等人，2024；Tang等人，2024）。从教育技术的角度而言，关键问题不在于大语言模型能否得出与人类评分一致的结果，而在于它们生成的评估依据是否足够透明、稳定且可重复，从而能够为决策提供有力支撑。在那些对公平性与责任性要求极高的教育场景中，这些要求尤为重要。
在可解释人工智能框架下（Arrieta等人，2020；Calderon与Reichart，2025），近期的一些研究开始超越基于提示的评分方式，试图探究大语言模型内部的运作机制，以此揭示其“黑箱”行为。这类方法旨在直接从模型对语言的内部表征与解读中得出可解释的定量指标。具体而言，有两类指标在写作评估方面具有较大应用潜力：（1）概率类指标，如惊奇度与困惑度，可用于衡量某种语言单位在特定语言模式下的可预测性，因此通过反映语言使用与从大量母语者训练数据中学习到的分布模式的一致程度，可大致衡量写作的自然度（Cong，2025；Hu与Cong，2025；Sánchez等人，2024）；（2）基于嵌入的相似度指标，可通过计算大语言模型生成的上下文化句子表示之间的余弦相似度来衡量写作内容在语义上的关联程度，这一指标有望作为文本连贯性的替代指标（Cong，2024）。
本研究在以往主要针对英语的研究基础上，将其应用扩展到二语汉语写作评估领域。如图1所示，我们运用基于大语言模型的惊奇度、困惑度及相似度指标，从词级、句子级和篇章层面对二语汉语写作的发展情况进行了分析，并验证了这些指标的有效性。此外，我们还通过控制变量实验，探讨了这些指标相较于传统语言学指标是否能提供更多有用的预测信息。最后，通过对典型学习者的作文进行相关性分析及定性错误分析，阐明了所提出的指标与二语学习相关概念之间的关联。
本研究具有重要的方法论与教育意义。首先，我们将基于大语言模型的可预测性及相似度指标的跨语言评估从以英语为主的语境拓展到了资源相对匮乏的二语汉语领域。其次，我们的可解释性分析证明了这些指标与既有的语言学维度及概念之间存在关联，同时指出了在何种情况下这些指标的解读可能会出错，从而有助于推动人工智能在写作评估中得到更加透明且具有教育意义的应用。第三，在方法层面，我们提供了一种可重复且可解释的流程，用于系统地生成基于大语言模型的指标，将其与传统语言学指标进行对比，并评估它们在预测能力上的提升效果。我们还提出了一种将模型内部表征与二语写作中的语言学可解释概念相关联的系统性方法。通过在二语汉语这一在语言模型训练数据覆盖度及写作评估方面相对缺乏关注的语言上开发并测试这一流程，我们证明了其在那些缺乏专用计算资源的语言及学习群体中的应用潜力。最后，跨模型比较结果表明，模型的规模并非决定其对写作水平差异敏感度的唯一因素。当小型、针对特定语言设计的模型所使用的训练数据及其语言覆盖范围与目标语言更为匹配时，它们的敏感度可能与大型通用模型相当，甚至在某些分析中更高。因此，在选择用于教育技术中注重透明度且资源效率高的二语写作评估的大语言模型时，模型与目标语言的匹配度而非单纯的参数数量才是重要考量因素。
章节节选
二语写作评估的传统指标
二语写作是一项综合性很强的技能，要求学习者能够准确、流畅、富有层次且连贯地表达思想。虽然复杂性、准确性及流畅性框架是二语写作发展与评估研究的核心基础（Housen等人，2012；Polio，2001；Vercellotti，2017），但连贯性通常也被视为与这一框架平行的另一个重要维度（Verspoor与Rosmawati，2024）。在这一框架下，研究人员已经开发并验证了大量不同的指标，用于
数据集
我们使用了公开可获取的“汉语作为外语水平考试学习者语料库”（Lee等人，2018），该语料库包含了来自汉语学习者作文的超过一百万个汉字。汉语作为外语水平考试是一种针对非汉语母语者的标准化语言能力测评工具，其写作部分与欧洲共同语言参考框架标准相契合（欧洲委员会，2001）。这些作文由考生亲自输入，随后由至少两名受过专业培训的人员进行评分
基于大语言模型的指标在区分二语写作水平方面的有效性
在研究基于大语言模型的指标在分类任务中的预测能力之前，我们首先分析了这些指标能否反映二语汉语写作的发展差异。如表3所示，Kruskal–Wallis检验结果显示，所有20种基于大语言模型的指标在四个不同的写作水平区间上都存在显著差异（所有p值均小于0.001）。其中，由GPT2-base-chinese模型计算出的指标表现出最明显的差异效果：局部困惑度（η2=0.294）、全局困惑度（η2=0.279），
讨论
本研究旨在探讨基于大语言模型的概率类指标与相似度指标是否能够作为反映二语写作发展的可靠且可解释的指标。总体而言，局部惊奇度与全局惊奇度比基于单个词的惊奇度更能清晰地区分不同写作水平，而困惑度指标在针对二语汉语设计的模型中也能体现这一规律，但在DeepSeek模型中则未能始终呈现如此规律的区分效果。相似度指标同样能够反映出写作在语义连贯性方面的水平差异，尤其
CRediT作者贡献说明
Yan Cong：文章撰写——审阅与编辑、验证、监督、资源协调、项目管理、方法设计、资金筹措、概念构思。Jingying Hu：文章撰写——审阅与编辑、初稿撰写、可视化处理、验证、软件应用、项目管理、方法设计、研究实施、正式分析、数据整理、概念构思
未引用参考文献
Abdel Latif，2013；AlGhamdi等人，2025；中国教育部语言教育合作中心，2021；Chao，1968；欧洲委员会文化合作委员会教育分会现代语言部门，2001；Li与Thompson，1989；minicons；Pack与Maloney，2024；Xiao等人，2023。
数据可用性
这些汉语学习者的作文取自公开可获取的汉语作为外语水平考试学习者语料库，该语料库可用于汉语语法错误诊断（
https://github.com/NYCU-NLP/TOCFL，访问时间为2025年1月）。参与者的基本信息及任务相关资料均可通过该语料库文件获取。语料库出处：Lung-Hao Lee、Yuen-Hsien Tseng与Li-Ping Chang（2018）。《构建用于汉语语法错误诊断的汉语作为外语水平考试学习者语料库》，载于《第十一届国际语言大会论文集》
资金来源
本研究未获得公共部门、商业机构或非营利组织提供的任何专项资助。
致谢
本项目得到了普渡大学的跨学科研究学院的支持。同时，我们也要感谢普渡大学罗森高级计算中心的Gilbreth小组，他们为这项研究提供了GPU计算资源方面的支持。
