《LEARNING AND INDIVIDUAL DIFFERENCES》：Exploring the mechanism of technology-enhanced formative assessment through students' behavioral and cognitive task engagement
编辑推荐：
摘要：由于教育技术的进步，学生在写作中可获得自动化反馈，因此有必要理解其有效性的作用机制。尽管行为与认知任务投入被认为在反馈对写作结果的影响中起着关键作用，但其影响仍未得到充分理解。研究人员开展了一项实验研究，比较了两组完成写作任务并在有或无反馈条件下修改初稿
摘要：由于教育技术的进步，学生在写作中可获得自动化反馈，因此有必要理解其有效性的作用机制。尽管行为与认知任务投入被认为在反馈对写作结果的影响中起着关键作用，但其影响仍未得到充分理解。研究人员开展了一项实验研究，比较了两组完成写作任务并在有或无反馈条件下修改初稿的中学生（自动化反馈组[n = 348] vs. 无反馈组[n = 227]）。研究人员使用语言相似性度量（即编辑距离）评估学生的行为任务投入，并使用自我报告评估学生的认知任务投入。结果表明，行为任务投入在自动化反馈对写作表现的影响中起中介作用；未发现认知任务投入的中介效应。研究结果意味着，在写作中，当学生在文本修改中表现出主动行为时，自动化反馈所带来的成绩提升才会显现。
教育意义：理解自动化反馈如何支持学生写作技能，有助于教育工作者优化学习环境。研究提供了证据，表明自动化反馈通过促使学生参与文本修改来支持写作表现。对教育工作者而言，这强调了能引发行动并支持学生进行修改的反馈的重要性。
**技术增强形成性评价的作用机制：基于学生行为与认知任务投入的实证研究解读**
**1. 研究背景与问题**
形成性评价旨在通过帮助学生识别优势与待改进之处来支持学习过程。随着教育技术的发展，技术增强的形成性评价利用数字工具和平台监测学生进步、提供即时反馈，并调整教学以满足个体学习需求。其中，自动化反馈系统因其能够提供即时反馈而受到广泛关注，并被认为在减轻教育者负担的同时，有助于为更多学生提供个性化反馈。已有文献表明，自动化反馈系统能有效提升学生的学习技能，尤其在写作领域的表现相关结果上效果显著，效应量介于g = 0.55至g = 0.86之间。然而，关于自动化反馈有效性的作用机制，即其如何通过学生的心理与行为反应影响学习结果，仍存在显著的知识空白。反馈研究已从单纯关注反馈内容转向关注学生如何接受并运用反馈，尤其是学生的行为投入和认知投入。在写作领域，反馈被视作支持学生的重要工具，写作过程本质上具有迭代性，需要学生反复审视并修改文本。尽管已有研究主要关注行为任务投入，并提示其在自动化反馈对修改表现的影响中起中介作用，但认知任务投入的作用在写作情境中尚未得到充分实证检验。因此，亟需同时考察行为与认知两种任务投入在自动化反馈影响写作表现过程中的中介机制，以全面理解学生如何处理和应用反馈。
**2. 研究目的与开展的研究**
针对上述研究空白，本研究采用多维投入视角，旨在探究行为任务投入和认知任务投入如何解释自动化反馈对写作表现的有效性。具体研究问题为：在文本修改过程中，行为与认知任务投入在多大程度上中介自动化反馈对写作表现的有效性？研究提出两个假设：与未收到反馈的学生相比，收到自动化反馈的学生在文本修改中会表现出更高水平的行为任务投入（H1）和认知任务投入（H2），且这两种投入均中介自动化反馈对写作表现的影响。
**3. 主要关键技术方法**
研究采用被试间实验设计，于2022年3月至2023年2月在德国招募九年级至十三年级中学生，最终样本为N = 575名学生（自动化反馈组n = 348，无反馈组n = 227，平均年龄16.4岁），样本涵盖职业中学、普通中学和学术型中学。学生被随机分配到两个写作任务之一（气候友好型能源或汽车发动机替代方案），先完成15分钟的议论文初稿，随后在有或无自动化反馈的条件下用10分钟修改文本。研究通过编辑距离（即字符级Levenshtein距离，标准化为初稿长度的百分比）操作化行为任务投入，通过心理努力量表（自我报告）操作化认知任务投入。写作表现使用多面Rasch模型（MFRM）基于文本标注进行评分。统计分析采用并行中介分析，基于5000次非参数自助抽样检验间接效应。
**4. 研究结果**
**4.1 初步分析**
组间差异检验显示，反馈组与无反馈组在年级、初稿长度、初始写作表现、学校类型、写作任务和性别方面均无显著差异。认知能力原始分数存在组间差异，但经年级调整的WLE分数后差异不显著。相关分析显示，编辑距离与心理努力呈显著正相关，心理努力与修改后写作表现呈显著正相关。
**4.2 反馈对修改行为的组间差异**
约4.7%的参与者未修改文章，该比例在组间无显著差异。整体编辑距离在两组间存在显著差异，反馈组的文本修改程度显著高于无反馈组。具体而言，反馈组学生比无反馈组做出了显著更多的字符替换。
**4.3 并行中介分析**
在控制协变量后，自动化反馈对修改表现的直接效应不显著（β = 0.01, p = .758）。自动化反馈对编辑距离的效应显著（β = 0.12, p = .001），表明收到反馈的学生在修改中做出更多文本更改；编辑距离显著正向预测修改表现（β = 0.11, p < .001）。通过编辑距离的中介间接效应显著（β = 0.02, p = .016），支持了H1，即行为任务投入中介自动化反馈对写作表现的影响。自动化反馈对心理努力的效应不显著（β = 0.05, p = .286），但心理努力显著正向预测修改表现（β = 0.11, p = .001）。通过心理努力的中介间接效应不显著（β = 0.01, p = .297），不支持H2。总间接效应显著（β = 0.02, p = .019），表明存在整体中介效应。完整模型解释了修改表现51.8%的方差。
**5. 讨论与结论**
讨论部分指出，研究结果与先前研究一致，均未发现自动化反馈对修改表现的直接效应，其益处仅在学生积极参与修改任务时才显现。行为任务投入在将自动化反馈转化为实际写作提升中起关键作用，强调学生需要主动行动以充分受益于反馈。认知任务投入未表现出显著中介效应，可能的原因是：认知投入可能通过更复杂的机制起作用，或与行为投入存在交互；研究情境为低风险匿名环境，可能未激发学生深层的认知加工；低任务价值和动机不足可能削弱了认知投入。研究还指出，行为投入侧重于修改动作的启动，而认知投入的作用可能更依赖于任务难度和动机等因素。
研究结论：本研究强调了行为任务投入在解释自动化反馈对写作表现有效性中的重要作用，因为它在文本质量改进中起中介作用。这凸显了教育策略和反馈系统应主动促进学习者参与和互动以优化学习结果。尽管认知任务投入未表现出显著中介效应，但营造鼓励反思和深层反馈加工的环境仍可能有益。未来研究应开发更精确的任务投入测量工具，并与人类反馈效果进行比较，进一步深化对反馈有效性的理解。推进在线学习环境设计以同时培养行为与认知任务投入，有助于增强自动化反馈对学习结果的教育影响。
