自动评分对口译表现与自我调节学习的影响：来自教学实验的证据

《Frontiers in Psychology》：Impact of automated scoring on interpreting performance and self-regulated learning: evidence from a pedagogical experiment

　　

面对传统口译训练中反馈的挑战，本研究探讨自动评分系统如何影响学生口译员的表现与自我调节学习（self-regulated learning, SRL）。在Zimmerman循环模型的指导下，研究人员采用14周准实验设计，以两个整班为对象（N=46），并通过前测与后测成绩、问卷和半结构化访谈进行三角互证（triangulation）。实验组在后测中的表现优于对照组（d=1.03，95% CI [0.41, 1.64]），其收益集中在语言准确性和逻辑连贯性上，而在信息保真度和表达流畅性上则无提升，这表明自动评分对不同口译维度的影响并不均衡。SRL结果在水平与功能上均呈现失衡。尽管执行-监控（Execution-and-Monitoring）和评估-反思（Evaluation-and-Reflection）分量表得分相对较高，但只有前者与成绩提升显著相关（r=0.42，95% CI [0.02, 0.70]，p=0.041），这表明高自我报告的反思不能等同于有效的反思。学前计划（Pre-learning Planning）和情绪动机（Emotional Motivation）仍相对落后。访谈揭示了其原因：学生经常比较分数，但很少分析错误产生的原因；计划发生方向性逆转，即源自上一轮得分而非对即将进行的任务的分析；情绪反应出现分化。这些发现支持自动评分在维持刻意练习（deliberate practice）方面的价值，同时强调教师反馈需要在时机和个性化程度上与自动反馈更紧密地协调，以支持学生的计划与情绪调节。因此，本研究的贡献在于明确了自动评分触及SRL周期的哪个阶段，及其带来的相应后果。

传统口译训练中，学生课后大量练习却难以获得及时、实质性的反馈，导致错误重复出现；人工评估耗时费力且难以规模化，反馈缺失成为制约口译能力发展的关键瓶颈。自动评分系统虽提供即时多维反馈，但其实际教学效果鲜有实证检验，已有研究多聚焦评分精度而忽视反馈如何塑造学习行为。为填补这一空白，研究人员以Zimmerman的循环模型为理论框架，开展了一项14周的教学实验，考察自动评分系统对口译表现和自我调节学习（self-regulated learning, SRL）的影响。研究采用准实验设计（quasi-experimental design），整班分配为实验组与对照组；通过前、后测成绩、SRL问卷和半结构化访谈收集数据。结果显示，自动评分显著提升口译总成绩（Cohen's d=1.03），但收益仅集中于语言准确性和逻辑连贯性；SRL中仅执行-监控维度与成绩增长显著相关。该研究首次实证定位了自动评分触及SRL周期的具体阶段，为设计技术支持的混合反馈提供了依据。

研究样本来自中国中部某师范大学英语翻译与口译专业二年级两个完整班级，共46名学生（实验组24人，对照组22人）。关键技术方法包括：其一，前后测采用两名训练评分员按云译系统评估框架（信息保真35%、表达流畅30%、语言准确25%、逻辑连贯10%）进行人工评分，并报告了评分者间信度（ICC(2,k)=0.82/0.81）；其二，SRL问卷改编自Toering等的学习自我调节自评量表（SRL-SRS），含四个维度20个项目，采用Likert五点计分；其三，按前测成绩分层抽样7名学生进行半结构化访谈；其四，定量数据使用混合设计方差分析、Pearson相关和多元线性回归，定性数据使用反思性主题分析（reflexive thematic analysis）。

研究结果按原文标题分述如下。

**4.1 对口译表现的影响**
**4.1.1 总体表现变化**
通过2×2混合设计方差分析发现，时间主效应显著（F(1,44)=46.83，p<0.001，η_p²=0.52），时间×组别交互效应显著（F(1,44)=18.00，p<0.001，η_p²=0.29）。后测时，实验组（M=85.58，SD=5.07）显著高于对照组（M=80.84，SD=4.01），t(44)=3.50，p=0.001，d=1.03，95% CI [0.41, 1.64]；前测两组无显著差异。这表明自动评分对整体口译成绩产生了大效应量的提升。

**4.1.2 四个维度上的表现**
维度层面，语言准确性（F(1,44)=13.20，p<0.001，η_p²=0.231）和逻辑连贯性（F(1,44)=5.40，p=0.025，η_p²=0.109）的时间×组别交互效应显著，而信息保真度和表达流畅性的交互不显著。实验组在语言准确性与逻辑连贯性上分别提高3.21和2.08分，对照组仅提高1.52和0.36分；信息保真度与表达流畅性两组变化微小。结论是自动评分的收益呈维度不均衡分布。

**4.2 SRL特征及其与成绩提升的关系**
**4.2.1 信度、结构效度与分布**
总量表Cronbach's α=0.91，执行-监控（0.85）、评估-反思（0.81）和情绪动机（0.81）信度良好，但学前计划维度α=0.61，低于常规0.7阈值。维度与总量表相关（r=0.67–0.89）及维度间相关（r=0.34–0.66）支持结构效度。描述性结果显示，执行-监控（M=3.92）和评估-反思（M=3.87）均值较高，而情绪动机（M=3.06）与学前计划（M=3.01）接近量表中间值。

**4.2.2 SRL维度与成绩增长的相关分析**
Pearson相关显示，仅执行-监控与成绩增长显著正相关（r=0.42，95% CI [0.02, 0.70]，p=0.041）；评估-反思虽然均值较高，但相关接近零（r=0.10，p=0.653）。多元线性回归中，执行-监控是唯一显著预测因子（B=2.51，β=0.591，p=0.039），模型解释成绩增长方差的28.3%。这说明高自我报告的反思不一定具有生产性。

**4.3 学生与自动反馈的互动**
对7名学生的访谈数据进行反思性主题分析，共编码69个代码和262个引用。在执行-监控维度，分数是触发重复练习或定向纠错的主要信号，但学生因认知负荷较重而无法进行深度的在线自我监控。在评估-反思维度，学生普遍先看总分并比较前后次分数，但很少深入分析错误原因；参考译文因提供正确表达而被认为比分数更有用。在学前计划维度，学生设定的目标多源于上一轮得分而非对即将开始任务的分析，且倾向于防御性下调目标。在情绪动机维度，焦虑反应两极分化：部分学生感到时刻被评价，部分学生因反馈清晰而压力减轻；羞耻感同时驱动了练习投入和回避行为。

讨论部分指出，自动评分的优势在于即时性和个体化，但其反馈类型属于结果反馈（knowledge of results）而非精细反馈（elaborated feedback）。维度收益差异可从问题可分解性、信号可靠性和量表敏感性三个条件解释。SRL循环在表现阶段被强化，但反思仅停留在低努力的自我判断层面，前思阶段未被支持，计划方向发生逆转，情绪动机处于内部冲突状态。因此，建议教师反馈在时间与个体化程度上与自动反馈同步，并设计前瞻性任务分析练习以恢复独立的前思阶段。

研究结论部分可翻译如下：针对研究问题1，自动评分系统的使用与总体口译表现的可测提升相关（d=1.03，95% CI [0.41, 1.64]），但收益局限于语言形式：语言准确性与逻辑连贯性显著提高，信息保真度与表达流畅性未发生显著变化。收益仅出现在缺陷可分解、信号可靠且量表敏感的地方。针对研究问题2，实验组呈现不均衡的SRL特征：在执行和任务后阶段相对较强，但在前思和动机信念方面较弱；仅执行-监控与成绩增长显著相关，并在回归模型中为唯一显著性预测指标；评估-反思虽名义上均值第二高，但相关接近零，因此高自我报告的反思不可等同于有效反思。针对研究问题3，访谈表明SRL循环发生断裂：自我判断普遍但因果归因不稳定，制约因素包括实时认知负荷、评分算法不透明及检视低分表现的情感成本；计划未消失而是方向逆转，源于前次分数而非任务分析，且常被防御性压低；情绪反应分化而非缺失，同一分数可促使部分学生重新练习、部分学生回避，这解释了情绪动机维度的零相关。