基于预训练语言模型的多维度写作评估潜力挖掘:迈向更稳健与可解释的评分

《Natural Language Processing》:Unleashing the potential of pre-trained language model in multi-dimensional writing assessment: towards more robust and explainable scoring

【字体: 大 中 小 】 时间:2026年09月23日 来源:Natural Language Processing 1.6

编辑推荐:

  教育评估与自然语言处理领域的快速发展已从根本上改变了多维度写作评估所采用的方法。神经网络方法已展现出显著的有效性,无需进行人工特征工程。然而,预训练语言模型在构建多维度自动作文评分(AES)模型方面的潜力仍有待探索。本研究针对关键挑战展开,包括AES模型对细微

  
教育评估与自然语言处理领域的快速发展已从根本上改变了多维度写作评估所采用的方法。神经网络方法已展现出显著的有效性,无需进行人工特征工程。然而,预训练语言模型在构建多维度自动作文评分(AES)模型方面的潜力仍有待探索。本研究针对关键挑战展开,包括AES模型对细微输入扰动导致预测不准确的脆弱性,以及深度学习框架内部复杂机制的阐释。研究人员提出了一种集成方法,利用多任务学习(MTL)和预训练模型——基于Transformer的双向编码器表示(BERT),并通过快速梯度符号法(FGSM)增强对抗训练,旨在提升多维度AES任务中的评分准确性和稳定性。研究结果表明,BERT-Integrated-MTL-FGSM显著优于现有基线模型。集成可解释人工智能(XAI)阐明了深度学习黑箱内部复杂的评估过程,为跨不同分析性评分量表提供基于词级归因的潜在诊断性反馈,并协助教育者实施个性化教学。这些见解增强了多维度AES模型的稳健性、泛化性和可解释性,从而为多维度写作评估与教学开辟了一条跨学科路径。

论文解读文章

一、研究背景与问题提出
写作是教育指导与评估中的核心组成部分,被视为一项基本语言技能,涵盖批判性推理、逻辑思维和问题解决等复杂认知功能。将写作测试纳入大规模评估项目推动了自动作文评分(AES)系统的发展,为人工评分的费时费力提供了实用替代方案。从评分维度来看,大量研究聚焦于基于人工评分者提供的单一整体分数的AES模型构建,而纳入分析性评分维度的研究相对匮乏。在技术路径上,传统基于特征的方法依赖人工设计的语言特征和多元回归模型,虽取得显著进展,但应用于不同文体或评分维度时需耗费大量精力重新选择合适特征。神经网络方法虽免除了人工特征选择,但多数研究主要聚焦整体评分,忽视了多任务学习(MTL)和预训练语言模型在多维度AES任务中的应用潜力。此外,尽管神经网络应用广泛,其对输入扰动构成的对抗性样本的脆弱性构成重大挑战,尤其是在AES这类敏感应用中。因此,本研究旨在弥合上述空白,构建一个集成MTL、对抗鲁棒性训练和词级可解释性的统一框架,以提升多维度AES的准确性、稳定性和可解释性。
二、研究内容与核心结论
针对现有研究的不足,研究人员提出了一种基于BERT预训练模型的集成多任务学习框架,并嵌入FGSM对抗训练,同时利用集成梯度(IG)实现词级归因解释。研究得出以下核心结论:第一,所提出的BERT-Integrated-MTL-FGSM模型在多维度评分任务中显著优于现有基线模型,在整体维度上取得了0.910的二次加权卡帕系数(QWK),较最强基线提升7.1%;第二,集成MTL通过共享表示有效提升了各评分维度间的泛化能力;第三,适度对抗训练增强了模型对输入扰动的鲁棒性和评分稳定性;第四,基于IG的可解释性分析为教学反馈提供了词级归因依据。
三、关键技术方法
研究人员采用的主要技术方法包括:基于BERT-base-uncased编码器(12层,768隐藏维度,1.1亿参数)的微调;集成多任务学习框架,将整体分数明确约束为四个分析性维度(观点、组织、风格、规范)分数之和;快速梯度符号法(FGSM)对抗训练,在训练阶段引入基于输入梯度的扰动以增强模型鲁棒性;集成梯度(IG)方法生成词级归因解释。实验基于ASAP数据集第7组,包含1,569篇七年级学生关于“耐心”主题的记叙文,每篇平均约250词,评分涵盖观点、组织、风格和规范四个维度,各维度分数范围为0至3分。
四、研究结果分析
4.1 集成多任务学习与对抗训练结合微调BERT用于AES任务的分析:通过对比BERT-Simple-MTL、BERT-Integrated-MTL和BERT-Integrated-MTL-FGSM三种配置,研究发现BERT-Integrated-MTL-FGSM在几乎所有评分维度上表现最优,在整体维度上取得最高R2(0.849)和QWK(0.910)。混淆矩阵分析证实其预测与实际分数更吻合。错误分析揭示了模型的系统性严格倾向和分数压缩倾向。与既有基线相比,该模型QWK达0.910,显著超越此前最优基线Tran-BERT-MS-ML-R(0.839)。
4.2 多任务学习在多维度写作评估中的有效性比较:通过雷达图对比BERT、BERT-Simple-MTL和BERT-Integrated-MTL三种模型,研究发现BERT-Integrated-MTL在各类评估指标和评分维度上均持续优于其他两种模型,其优势归因于MTL能力有效整合了写作质量的多重构念,捕获了评分标准间的复杂相互依赖关系。
4.3 对抗训练在AES任务中的有效性比较:通过在不同扰动幅度(0.00至0.30)下进行FGSM对抗训练实验,研究发现0.10为最优扰动阈值,在此设置下模型准确性和泛化能力得到增强。过高扰动幅度(0.25和0.30)导致性能显著下降,表明过度对抗噪声会掩盖关键特征。适度对抗训练可缓解过拟合、降低对虚假相关性的敏感性,促进跨不同作文提交的一致性评分。
4.4 模型组件消融研究:通过对比有无MTL、有无集成分析-整体约束以及有无FGSM对抗训练的BERT变体,研究确认完整架构BERT-Integrated-MTL-FGSM在整体评分维度上取得最强综合性能,验证了各组件协同贡献的有效性。
4.5 对抗攻击方法的比较:研究评估了FGSM与多步替代方法(如投影梯度下降(PGD)和FreeLB)在对抗鲁棒性方面的表现,结果表明FGSM作为计算轻量级的单步扰动方案,在保持多任务训练配置计算可行性的同时,有效建立了嵌入空间扰动的受控基线。
4.6 分层误差分析:研究对不同分数段作文的预测误差进行了分层分析,结果证实中段分数作文展现出最低的绝对误差,量化验证了模型存在的分数压缩倾向。
五、讨论与结论总结
讨论部分强调,所提出框架的三个核心组件——MTL、对抗训练和IG归因——并非简单组合,而是围绕共享可微编码器的梯度这一核心计算量相互强化。MTL提供跨维度归纳偏置,对抗训练强化共享表示的局部稳定性,IG则提取这些稳定梯度用于可解释评估。研究结论指出,BERT-Integrated-MTL-FGSM通过集成MTL、对抗鲁棒性训练和词级可解释性,显著提升了多维度AES的准确性、稳定性和可解释性。该框架不仅为多维度写作评估提供了有效工具,也为需要多维度评估、鲁棒性和事后可解释性的更广泛自然语言处理(NLP)任务提供了方法论参考。研究同时强调,对抗训练中扰动幅度的精确校准至关重要,过度扰动会损害模型性能。该研究为多维度写作评估与教学开辟了跨学科路径,兼具大规模评估与个性化指导的应用潜力。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号