《Frontiers in Psychology》:Process visualization feedback in news translation: a controlled intervention study of human-AI interaction using multimodal process data
编辑推荐:
引言:本研究考察新闻翻译中的过程可视化反馈。方法:在Krings三维模型框架内,采用前测—后测对照组设计,以24名翻译硕士(MTI, Master of Translation and Interpreting)学生为对象。最终分析样本为22名参与者(实验组1
引言:本研究考察新闻翻译中的过程可视化反馈。方法:在Krings三维模型框架内,采用前测—后测对照组设计,以24名翻译硕士(MTI, Master of Translation and Interpreting)学生为对象。最终分析样本为22名参与者(实验组11名,对照组11名)。实验组(n = 11)接受个性化过程可视化与结构化反思;对照组(n = 11)接受常规产品导向反馈。两组在T1和T2均有翻译得分,实验组在两个时间点均有完整过程数据(Inputlog、屏幕录制)。结果:在实验组内,被试内比较显示三个维度均发生变化:在时间维度,停顿时间比例增加表明元认知投入增强(p = 0.011);在技术维度,意义层面修改比例从18.1%显著增至28.4%(p = 0.002),表明由表层纠正转向更深层实质性润色;在认知维度,参与者更策略性地使用外部资源,搜索引擎查询(p = 0.02)和知识型搜索(p = 0.01)显著增加。对问题触发停顿的丰富点(rich points)分析显示,问题类型由语言问题转向文本与超语言问题(p = 0.038,p = 0.015)。混合设计方差分析(ANOVA, Analysis of Variance)显示显著的组别×时间交互(p = 0.038,ηp2 = 0.198)。对反思日志(n = 22)和访谈(n = 6)的主题分析揭示两个总主题(overarching themes):元认知意识(metacognitive awareness,54处引用),涉及低效过程模式与能力缺口;以及战略调节(strategic regulation,60处引用),涉及外部资源使用与文本层面重构。讨论:这些发现表明,过程可视化反馈与元认知意识和战略调节增强相关,并可能支持学习者在人—人工智能(AI, Artificial Intelligence)协作新闻翻译中变得更具反思性、策略性和自主性。
研究背景:新闻翻译(news translation)并非逐字转换,而是在时间压力下由编辑与译者选择、重组并改写内容;神经机器翻译(NMT, Neural Machine Translation)与大语言模型(LLMs, Large Language Models)的发展进一步改变了学生的参与方式、认知加工和译后编辑流程,人—AI协作(human-AI collaboration)能力因此成为译者教育的重要目标。问题在于,传统翻译教学以产品导向反馈为主,学生与AI工具协作的过程对教师和学习者均不可见;过程可视化反馈(process visualization feedback,将行为痕迹转化为图形表征的反馈)在二语写作中已显示可提升元认知与自我调节,但新闻翻译教育中将多模态过程数据(multimodal process data)转化为教学干预的研究有限,且控制比较少见,难以区分反馈效应与任务练习或时间成熟效应。为此,研究人员开展控制干预研究。
研究人员采用前测—后测对照组设计,以24名翻译硕士(MTI, Master of Translation and Interpreting)学生为对象,最终分析22名(实验组11名、对照组11名),按T1翻译质量匹配分组。实验组接受个性化过程可视化与结构化反思,对照组接受常规产品导向反馈;T1、T2均收集翻译质量评分,过程数据在实验组T1、T2完整收集。研究得出:实验组在时间、技术、认知三维度均出现过程变化,产品层面组别×时间交互显著,实验组质量提升大于对照组;定性分析显示元认知意识(metacognitive awareness)与战略调节(strategic regulation)增强。其意义在于为过程导向、数据驱动的译者教育及人—AI协作新闻翻译教学提供证据。
关键技术与方法(≤250字):中国某985高校选修新闻翻译课程的一年级翻译硕士(MTI, Master of Translation and Interpreting)学生队列,24名参与,最终22名(实验组11、对照组11);采用前测—后测对照组匹配设计;T1/T2为平行真实新闻翻译任务,70分钟;Inputlog 8.0记录键击与鼠标事件,2秒停顿阈值,屏幕录制15帧/秒并与日志时间戳同步;实验组接受个性化过程可视化报告和结构化反思日志,收集22份日志与6人半结构化访谈;两位资深新闻编辑整体评分,ICC=0.89;分析用配对t检验、Wilcoxon符号秩检验、混合设计方差分析(ANOVA)和主题分析。
研究结果:4.1 过程层面变化(RQ1):基于实验组多模态过程数据,按Krings三维努力模型分析。4.1.1 时间努力(temporal effort):通过Inputlog动作与停顿时间配对t检验,停顿时间比例由25.0%升至33.4%(p = 0.011,Cohen's d = 0.61),被解释为反思导向与元认知投入增强,尽管3名参与者略降。4.1.2 技术努力(technical effort):通过Inputlog修订日志与屏幕录制,按Mossop分类并区分表层与意义层修订,配对t检验显示意义层修订比例由18.1%升至28.4%(p = 0.002,Cohen's d = 1.301),总修订数无显著变化(p = 0.248),说明修订性质转向深层实质性润色,但意义层仍低于表层。4.1.3 认知努力(cognitive effort):通过外部资源咨询编码和Wilcoxon检验,搜索引擎中位数由15.6%升至27.7%(P
holm = 0.020,r = 0.85),知识型搜索由7.2%升至28.8%(P
holm = 0.010,r = 0.93),首次外部咨询前时间由12.1%降至1.7%(P
holm = 0.041,r = 0.74),机器翻译使用下降不显著,词典稳定,交互式AI使用中位数仍为0%;丰富点分析显示超语言问题由8.8%升至24.5%(P
holm = 0.015,r = 0.90)、文本问题由22.2%升至50.0%(P
holm = 0.038,r = 0.75),翻译简报/目标读者问题由20.8%降至2.6%(P
holm = 0.020,r = 0.85),语言与意图问题不显著。4.2 结果层面效应(RQ2):通过2(组别)×2(时间)混合设计方差分析,时间主效应显著F(1,20)=20.24,p < 0.001,η
p2 = 0.503;组别主效应不显著p = 0.074;组×时间交互显著F(1,20)=4.94,p = 0.038,η
p2 = 0.198;实验组T1—T2显著改善p < 0.001,对照组不显著p = 0.123;讨论报告实验组平均增益5.64分,对照组1.91分。4.3 感知与元认知效应(RQ3):通过对22份反思日志(约15000词)和6份访谈(约30000词)进行六阶段主题分析(NVivo 15,κ=0.86),得两个总主题:元认知意识(54处引用)和战略调节(60处引用)。4.3.1 主题1:元认知意识,包括对低效过程模式的意识(12文件14引用)和对具体能力缺口的意识(18文件40引用)。4.3.2 主题2:战略调节,包括外部资源策略使用(14文件29引用)、文本层面重构与改编(12文件22引用)、AI互动模式变化(6文件9引用),后者有限。4.3.3 定性与定量三角验证:将日志关键事件与Inputlog日志、屏幕录制交叉核对,以可观察行为支撑自报变化。
讨论总结:讨论以Krings三维努力模型及Winne and Hadwin的COPES框架(Conditions, Operations, Products, Evaluations, Standards,条件—操作—产品—评价—标准)解释定性主题,认为三维变化互相强化:停顿增加并非低效,而是元认知投入;意义层修订增加显示深度加工;外部资源使用更策略化,表现为从词典依赖转向多源验证与语境检索;产品层面组×时间交互支持干预效果超出自然进步。理论贡献在于将Krings模型用于干预设计与评价,以控制设计补充过程导向反馈研究,并从人本AI视角说明过程可视化可显影人—AI互动。教学启示包括30分钟个性化反馈可行、结构化反思日志关键、需显式AI素养教学,且不同维度变化时间进程可能不同。局限包括过程数据仅实验组T2、样本小且单一机构、8周短期、结果测量限于个体、基线高分可能天花板、交互式AI使用低。
研究结论翻译:本研究在Krings三维后编辑努力模型框架下考察过程可视化反馈对新闻翻译人—AI互动的影响。采用前测—后测对照组设计,24名MTI学生参与,最终分析22名(每组11名)。两组均有完整T1和T2翻译得分,实验组另有完整T1和T2过程数据。在干预组内,Krings模型三个维度均见显著变化:时间上,学生由生产导向转向反思导向,停顿时间比例由25.0%升至33.4%(p = 0.011),与元认知投入增强一致;技术上,意义层面修改比例由18.1%显著升至28.4%(p = 0.002,Cohen's d = 1.301),表明由表层纠错转向更深层实质性文本润色;认知上,学生更策略性地使用外部资源,搜索引擎查询(p = 0.02)和知识型搜索(p = 0.01)显著增加,并有定性引用佐证(14个文件,29处引用)。问题触发停顿分析显示,关注点由语言和受众相关问题转向文本与超语言问题(p = 0.038,p = 0.015),与战略调节增强一致。这些过程层面变化伴随有意义的产品层面提升:显著组别×时间交互(p = 0.038,η
p2 = 0.198)和实验组显著增益(p < 0.001)表明,干预条件下翻译质量提升大于常规产品导向反馈。定性主题分析表明,过程可视化反馈与元认知意识(识别低效过程模式和具体能力缺口)及战略调节(更策略地使用外部资源、文本层面重构、AI互动模式初现变化)相关。定量与定性三角验证提供收敛证据。综上,过程可视化反馈与时间、技术、认知三维度上元认知意识和战略调节增强相关;通过使不可见翻译过程可见、可分析、可行动,该方法可能支持学生成为更具反思性、策略性和自主性的学习者,并凸显过程导向、数据驱动反馈在译者教育中的教学价值,尤其是在复杂且时间敏感的新闻翻译中发展有效人—AI互动策略。