《Frontiers in Artificial Intelligence》:ARGUE-TIRA: attention-based trait interaction reasoning for holistic and analytic automated essay scoring
编辑推荐:
自动作文评分(Automated Essay Scoring, AES)已成为自然语言处理的重要应用,能够对书面作答提供可扩展且一致的评估。这些评估可通过整体性(holistic)或分析性(analytic)评价方法进行。近期研究主要集中于利用深度学习模型,尤
自动作文评分(Automated Essay Scoring, AES)已成为自然语言处理的重要应用,能够对书面作答提供可扩展且一致的评估。这些评估可通过整体性(holistic)或分析性(analytic)评价方法进行。近期研究主要集中于利用深度学习模型,尤其是基于Transformer的模型进行整体性作文评分,而准确建模多维分析性评分仍是一个具有挑战性的问题。尽管这些方法在整体性作文评分中表现强劲,但大多数现有方法作为黑盒预测器运行,并未显式建模基于分析性评分规则(rubric)的评估背后的推理过程。本文中,研究人员提出了ARGUE-TIRA,一个用于联合整体性与分析性作文评分的多任务框架。该框架首先预测多个分析性写作特质,随后应用特质交互推理注意力(Trait Interaction Reasoning Attention, TIRA)显式建模评分规则维度间的依赖关系,最后生成整体得分。与独立预测分析性特质的传统多任务AES方法不同,所提出的推理机制通过结构化自注意力推理捕获特质间关系,从而提升评分一致性和可解释性。在ASAP和ASAP++数据集上进行的实验表明,ARGUE-TIRA在整体评分上取得有竞争力的表现,并在分析性特质评分上表现强劲。该框架在ASAP上获得平均整体QWK(二次加权卡帕,Quadratic Weighted Kappa)0.762,并在ASAP++上获得最高平均分析性QWK 0.7424。此外,该框架在八个评估的分析性特质中的七个上取得最佳性能,包括内容(content)、组织(organization)、措辞(word choice)、句子流畅性(sentence fluency)、写作规范(conventions)、提示遵循(prompt adherence)和语言质量(language quality)。
自动作文评分(Automated Essay Scoring, AES)是自然语言处理(Natural Language Processing, NLP)在智能教育中的典型应用,旨在对作文进行可扩展且一致的评价。相关方法已从手工语言和统计特征发展为深度学习与Transformer架构,但多数研究聚焦于整体评分(holistic scoring),即给出一个整体分数;而人类评分常采用基于评分规则(rubric)的分析性评估(analytic assessment),从内容、组织、语言等多维度评价。当前准确建模多维分析性评分仍是挑战,且多数模型是黑盒预测器,未显式建模评分维度间的依赖关系。此外,ASAP++等基准包含异构评分规则,不同提示对应不同特质和标准,增大了适配难度。因此,研究团队提出显式推理特质交互的ARGUE-TIRA框架。
ARGUE-TIRA是一个联合整体与分析性评分的多任务框架。它先通过预训练DistilRoBERTa编码器获得共享作文表示,再预估初始分析性特质分数,并引入特质交互推理注意力(Trait Interaction Reasoning Attention, TIRA)模块,通过自注意力机制显式建模各分析维度间的依赖,最后整合共享表示与细化后的特质分数预测整体分数。该框架在ASAP及其分析性扩展ASAP++(提示1–6,共10,686篇作文)上评估。实验结果显示,与基线相比,ARGUE-TIRA在整体评分上具有竞争力,在分析性评分上取得最高平均QWK(二次加权卡帕,Quadratic Weighted Kappa)0.7424,并在八个分析性特质中的七个上获得最佳性能,证明显式特质交互建模能提升评分一致性与可解释性。
研究团队使用ASAP/ASAP++数据集中的提示1–6(10,686篇)。关键技术包括:采用DistilRoBERTa作为编码器,通过注意力掩码平均池化得到全局表示,并经线性层与层归一化投影到共享空间;特质估计模块用前馈网络和sigmoid函数输出初始特质分数;TIRA将初始分数投影为特质嵌入,使用多头自注意力捕捉特质间关系,再经残差连接、层归一化和前馈网络更新,通过残差细化得到最终特质预测;整体决策模块拼接共享表示与细化特质分数并经前馈网络输出整体分数;训练采用多任务损失,包括整体SmoothL1损失、辅助整体损失、细化特质损失、初始特质损失和特质至整体一致性损失,权重分别为λ=0.5、α=0.2、β=0.7、γ=0.25、δ=0.15。
**5.1 Baseline models**:研究人员选取了多种基线,包括传统神经模型(如Hi att)、提示感知模型(如PAES)、跨提示模型(如CTS),以及内部的多任务Transformer基线(如BERT-MT、RoBERTa-MT、DistilRoBERTa-MT)和去掉TIRA的ARGUE。这些基线覆盖不同学习范式与训练配置。在整体评分任务(ASAP)上,ARGUE-TIRA在提示1、2、3上取得最高QWK,平均QWK为0.762,略低于DistilRoBERTa-MT的0.772,表明特质交互推理在需要语义和组织推理的提示上更有优势。在分析性评分任务(ASAP++)上,ARGUE-TIRA平均QWK为0.7424,比最强基线ARGUE(0.7264)提高约2.20%,并在提示1、2、3、5上最优。特质层面,ARGUE-TIRA在内容、组织、措辞、句子流畅性、写作规范、提示遵循、语言质量共七个特质上取得最佳QWK,仅叙事性(Narrativity)略低于RoBERTa