《Applied Sciences》：Error-Profile-Conditioned Augmentation for Chinese L2 Writing Assessment: Evaluating Synthetic Tail Data Under Data Scarcity
编辑推荐：
在非均衡考试数据上训练的自动作文评分（Automated Essay Scoring, AES）模型，往往将预测压缩向分数均值，对低水平作答的损害尤为严重。本研究探讨合成尾部数据能否在中文二语写作评估中缓解这一缺陷。研究人员使用10,067份汉语水平考试（HS
在非均衡考试数据上训练的自动作文评分（Automated Essay Scoring, AES）模型，往往将预测压缩向分数均值，对低水平作答的损害尤为严重。本研究探讨合成尾部数据能否在中文二语写作评估中缓解这一缺陷。研究人员使用10,067份汉语水平考试（HSK）写作样本，提出错误画像条件化合成（Error-Profile-Conditioned Synthesis, EPCS）：该方法将真实低分段供体的完整错误画像和考官分数迁移至经专家修正的中分段基底文本，使用真实错误示例，并验证所生成的清单。研究人员评估了三个方法版本，采用表层特征检验、真实与合成样本判别，以及在100%、25%和10%低分段保留条件下的下游MacBERT评分。表层相似性并不能预测下游效用：最不易被检出的版本迁移效果较差，而内容降质版本更为有用。在仅保留49个真实低分段训练样本时，结合重加权的EPCS将低分段平均绝对误差（Mean Absolute Error, MAE）从14.91降至12.66，并将60分以下召回率从0.10提升至0.33；召回率在全部五个配对种子中均有提升，低分段误差在四个种子中下降。然而，总体二次加权卡帕（Quadratic Weighted Kappa, QWK）从0.506变为0.497，精确率从0.78降至0.56，假阳性率从0.015升至0.106。这一模式在另外两个预训练编码器和一个基于特征的评分器上复现，并在继承标签的±5分压力测试中依然成立。因此，EPCS可视为一种稀缺条件化的操作点干预，以更多误报和高分段欠评分为代价改善尾部检测。
一、研究背景与目的
自动作文评分（Automated Essay Scoring, AES）在不平衡考试数据上训练时，常将预测压缩向分数均值，对低水平作答造成不成比例的伤害。在汉语水平考试（HSK）动态作文语料库（Version 2.0）的分析样本中，低分段（40–59）仅占7.5%；一个在该自然分布上训练的MacBERT回归评分器会高估低分段并将分数标尺压缩。当真实低分段训练样本从496降至49时，未加权模型的60分以下召回率降至0.10，逆频率损失加权也仅0.101。大语言模型（Large Language Model, LLM）角色扮演生成的“初学者”文本容易被判别器识破且下游收益有限，而现有工作未回答保真度是否预示下游效用、增强是否优于代价敏感基线、以及阈值下代价如何。该研究发表于《Applied Sciences》，旨在通过错误画像条件化合成（Error-Profile-Conditioned Synthesis, EPCS）回答这些问题。
二、研究方法概述
研究以HSK动态作文语料库V2.0的10,067个写作样本为样本队列（1992–2005年纸笔考试作文），并从105,462句专家标注句中构建经验错误画像和单错误示例。EPCS将真实低分段供体的完整分项错误预算、长度和考官分数迁移至经专家修正的中分段基底文本，由LLM按预算注入错误并返回机器可读清单，经校验-修复后继承供体分数。研究人员比较真实数据、随机过采样、逆频率重加权、朴素角色扮演以及EPCS的v1/v2/v3版本与重加权的组合；核心比较在MacBERT、BERT、RoBERTa-wwm和基于特征的梯度提升决策树（Gradient Boosting Decision Tree, GBDT）评分器上复现。
三、主要结果
4.1 保真度与下游效用
通过23个表层特征的Kolmogorov–Smirnov（K-S）检验、真实与合成样本判别以及下游评分，发现朴素角色扮演极易被识别（GBDT判别曲线下面积（Area Under the Curve, AUC）0.970）且下游收益小；v1在表层空间中最难区分但迁移最差，内容降质的v2/v3更易被识别却更有用。表层保真度与下游效用排序不一致。
4.2 尾部稀缺下的增量效应
在保留全部496个真实低分段样本时，v3+重加权仅在3/5种子中改善低分段平均绝对误差（Mean Absolute Error, MAE）和召回率；v2的全数据点估计更好。当保留率降至25%和10%，v3相对重加权的平均尾部收益增大：在25%和10%时4/5种子改善低分段MAE，10%时召回率在全部5个种子中改善。总体二次加权卡帕（Quadratic Weighted Kappa, QWK）相近（10%时0.506对0.497）。
4.3 阈值下与分数区间权衡
在10%保留下，重加权极为保守，只对3.6%的富尾测试集预测低于60，漏掉十分之九的真低分段；v3将低于60预测比例升至16.2%，提高召回率与F1，但精确率从
