在物理问题解决中,比较AI聊天机器人、分层和文本支持对认知负荷和情感-动机结果的影响

《Physical Review Physics Education Research》:Comparing AI chatbot, tiered, and textual support in physics problem solving: Effects on cognitive load and affective-motivational outcomes

【字体: 大 中 小 】 时间:2026年10月27日 来源:Physical Review Physics Education Research 3.5

编辑推荐:

  提供适当的支持对于帮助学生应对物理中的概念困难至关重要。既有的支架式方法(如结构化的分层支持)虽然有效,但开发和广泛实施往往需要大量资源。AI聊天机器人可能提供了一种更易扩展的替代方案,但其作为学习支持工具的潜力需要仔细检验,并与既有支持形式进行直接比较。作为第一步,本研究比较了

  提供适当的支持对于帮助学生应对物理中的概念困难至关重要。既有的支架式方法(如结构化的分层支持)虽然有效,但开发和广泛实施往往需要大量资源。AI聊天机器人可能提供了一种更易扩展的替代方案,但其作为学习支持工具的潜力需要仔细检验,并与既有支持形式进行直接比较。作为第一步,本研究比较了定制配置的AI聊天机器人、分层支持系统和传统教科书式文本支持对学生物理问题解决过程中感知认知负荷及情感动机结果的影响。在一项整群随机实地研究中,德国268名九年级学生使用三种支持格式中的一种独立完成浮力问题。我们通过经过研究验证的问卷测量了内在和外在认知负荷以及情感动机结果(享受、希望、无助感、自我效能感和情境兴趣)。结果表明,AI聊天机器人和分层支持系统与文本支持相比,感知的内在和外在认知负荷显著更低。后测比较显示,聊天机器人条件下的学生比文本支持条件下的学生报告了更积极的情感动机结果,而聊天机器人条件与分层支持条件之间的差异在统计上不显著。总体而言,研究结果表明,互动支持格式可能塑造学生在物理问题解决过程中短期感知的认知和情感动机体验;未来研究应考察这些体验与解决质量、概念学习和长期结果之间的关系。

I. 引言

物理被广泛认为是一门概念上具有挑战性的学科。学生面临的主要困难是将理论原则转化为具体的概念模型,这一技能通常需要刻意的教学支持[1]。如果没有这种指导,许多新手会采用基于公式的问题解决方法,而不是深入理解背后的物理原理[1,2]。为了应对这一挑战,差异化教学(DI)是一种成熟的方法,旨在根据所有学习者的多样化需求调整教学[3,4]。实现DI的一种教学策略是采用分层活动[5],这是一种教学支架形式,提供临时的、适应性的支持,帮助学生在原本无法完成的任务中取得成功[2,6]。在物理教育中,“分层支持”(德语:gestufte Lernhilfen)就是通过向学生提供一系列可选的、逐渐明确的辅助手段来实现这一点,使他们能够根据个人需求调整所获得的帮助水平[7]。这种支架式方法的有效性已有充分记录,不仅对学业成绩有积极影响,也对学生动机有积极影响[8–10]。然而,广泛的应用带来了巨大的实践挑战。虽然教师认识到学生的异质性,但他们往往受到工作量大和有限的时间限制[11]。这使得为每项任务开发高质量分层材料所需的大量努力成为一项难以承受的工作。生成式AI聊天机器人,特别是在通过特定配置进行教学定制时,可能为这一教学困境提供一种可能的回应。它们有潜力充当个性化导师,可能减轻教师负担,同时为进行并行、个性化学习的学生提供可扩展的按需支持,参见[12,13]。当前研究表明,AI聊天机器人可以支持科学、技术、工程和数学教育中的认知和情感动机结果,例如通过充当智能导师或提供个性化支架[14–16],尽管研究结果取决于所考虑的具体系统、任务和结果测量。其他研究探讨了生成式AI在开放式任务中的应用,如编程、制作教学辅助工具或设计思维[15,17–19]。然而,一个未解决的问题是,当使用交互式AI聊天机器人进行物理问题解决时,情感结果(特别是成就情绪[20]、自我效能感[21]和兴趣[22])如何与认知负荷[23]一起受到影响,尤其是在与既有教学支持系统直接比较时。具体而言,动态、交互式AI辅助与更静态的辅助(如结构化分层提示或传统教科书式解释)对学生情感和认知体验的独特影响尚未得到充分理解。

本研究通过系统比较AI聊天机器人辅助、分层支持和传统教科书式解释的效果,直接填补了这一空白。为了将这一比较置于背景中,下一节通过考察不同形式的教学支持来建立理论框架。

II. 研究背景

A. 物理教育中的支持

物理教育中的一个核心概念是教学支架:临时的、互动式的支持,帮助学生在先验知识的基础上完成原本无法完成的任务[2,6]。关键的是,有效的支架不仅仅是提供信息,而是一个动态过程。支持是依条件提供的——直接回应学生的进展——并随着学习者能力的增长而逐渐淡化[6,24]。这种响应性将支架与被动教学辅助工具区分开来。例如,教科书是一种静态资源,无法适应学习者的即时需求,因此不符合支架的定义[2]。因此,教学支持可以在互动性和适应性的连续体上被看待。为了评估新的、高度互动系统的潜力,有必要将它们与这一连续体上的既有支持方法进行比较,从最传统的辅助形式开始。

1. 文本支持

传统文本支持,最常见于教科书,仍然是科学课堂中的重要教学工具[25,26]。在许多科学课程中,此类书面材料是基本要求,教师期望学生利用它们来提高学业成绩[27]。它们被设计为可供学生根据个人学习风格使用的易于获取的资源[25]。然而,文本资源的假定重要性与学生的实际使用之间存在显著差距。学生报告的阅读任务完成度各不相同,从约20%到70%不等[28]。这种利用不足可部分归因于家庭作业任务的复杂性与教科书中解释的相对较低复杂性之间的感知差距[27]。从物理文本中学习本质上是一项具有挑战性的认知任务[29]。难度因整合两种不同的语言系统而加剧:自然语言和数学符号表示[29]。此外,旨在帮助理解的教学特性(如类比)有时会增加认知加工需求,从而阻碍而非帮助学习[29]。从建构主义的角度来看,文本资源不应被视为知识的容器,而应被视为学生构建意义的工具[30]。然而,文本的权威性可能会限制这一过程,因为学生可能不太倾向于阐述自己的思考[31]。Boxtel等人[31]的实证研究支持了这一点,发现能够使用教科书的学生配对比没有教科书的学生配对进行了更少的协作阐述。学生常常没有具体目标地查阅文本,使用低效的搜索策略,并无法将信息与自己的概念整合。有趣的是,尽管阐述性互动减少,该研究发现后测分数没有显著差异,这表明从文本中个人获取事实知识可能弥补了缺乏更深入、协作意义建构的不足。这使得文本支持成为与更互动学习支持进行比较的相关但可能被动的基线。

2. 分层支持

通过支架式教学可以提供更动态的教学辅助形式,其中提供临时支持以帮助学习者完成原本无法完成的任务[24]。这一原则的一个具体实施是“分层支持”(德语:“gestufte Lernhilfen”,参见[32])。在这种方法中,一个复杂问题伴随着一系列书面提示,学习者可以根据自己的感知需求获取这些提示,从而使支持具有适应性[7]。这些提示旨在激发一般学习策略,如复述任务、关注相关信息、激活先验知识或可视化问题[8]。通常,每个提示由一个问题或提问组成,相应的答案在第二步中可访问[7]。最后一个提示的答案是一个完整的示例解答,允许学生验证他们的答案[8]。本研究中使用的分层支持材料基于由Franke-Braun在德国研究基金会(DFG)项目背景下开发的关于阿基米德原理的物理问题解决任务[8]。为了说明这一结构,图1显示了本研究中使用的数字界面,提示的全文在补充材料中提供[33]。

图1. 本研究中使用的分层支持系统的数字界面。学生可以依次获得一系列预先写好的提示,并可选地显示答案。

分层支持的原理与关于示例问题的广泛研究紧密相关,示例问题提供问题陈述、解决步骤和最终答案[8]。两种方法的有效性可以通过认知负荷理论(CLT,参见[34])来解释。CLT假设工作记忆容量有限。当新手学习者试图在没有指导的情况下解决问题时,他们常常采用低效的搜索策略(例如手段-目的分析),这带来了高外在认知负荷——一种对学习不具生产力的努力[34,35]。通过提供清晰的解决路径,示例问题和分层支持消除了这种适得其反的搜索,从而减少外在负荷并释放认知资源[34]。此外,结构化方法如分层支持有助于管理材料的内在认知负荷。内在认知负荷是指学习任务复杂性带来的认知需求,可能受学习者先验知识等因素影响[36]。虽然教学设计无法消除内容的概念复杂性,但它可以管理其对新手的影响[37]。例如,将问题分解为更小的步骤,或先孤立呈现交互元素再组合,促进串行处理而非并行处理。这种策略显著降低了对工作记忆的需求[37,38]。这一过程在所谓的消退示例问题中得到进一步优化,其中部分解答逐渐省略,要求学习者填补空白[34]。这种方法创造了从完全引导的示例学习到独立问题解决的平滑过渡[39]。分层支持可以被概念化为学习者控制的消退过程;通过选择访问哪些提示,学生动态调整支架水平,有效地创建自己的不完整示例。研究表明,与传统的示例-问题对相比,这种消退过程能带来更好的近迁移表现和更少的学习错误[34]。关于分层支持系统的实证研究已经证明了显著的动机益处。与接受非顺序帮助的组相比,使用分层提示的学生报告了更高的能力感、更高的内在动机,以及在同伴合作中更大的社会包容倾向[8–10]。此外,示例问题的增量呈现比整体呈现解决方案带来更高的能力感和更低的感知认知负荷[40]。然而,虽然增量呈现本身改善了情感体验,但添加策略性提示似乎对显著提高最终解决方案的正确性是必要的[40]。这表明,虽然结构化的顺序支持是有益的,但指导的质量和功能在学习成果中起着关键作用。

3. 聊天机器人支持

第三种支持形式,AI聊天机器人,提供了互动性和适应性的提升。与遵循预定义顺序路径的分层支持不同,AI聊天机器人提供动态和交互式支架[41]。现代基于LLM的聊天机器人不同于早期基于规则的聊天机器人,因为它们可以生成灵活的、上下文敏感的对话,并可以通过提示或角色工程进行配置以支持特定的教学互动风格[42]。它们的主要教学潜力在于其个性化支持能力,这使它们能够解决学生的具体疑问并引导个性化学习过程[12,43]。关于生成式AI支持学习的实证结果是有希望的但异质的。元分析证据表明,AI聊天机器人和生成式AI支持的干预措施可以对学习相关结果产生积极影响,但这些效果高度异质,取决于教育水平、学科领域、干预持续时间、结果类型和教学设计[44,45]。就动机结果而言,Huang等人[41]的范围综述表明,聊天机器人支持的学习通常比没有聊天机器人支持的条件更具优势,而效果往往弱于涉及人类反馈或精心设计的教学方法的干预。类似的模式也在物理教育中出现,基于LLM的工具与学习表现、动机和学生参与度的提高相关[14,16,46–49]。例如,Lademann等人[50]发现,在数学和物理学习情境中,由定制聊天机器人产生的AI生成解释增强了积极激活情绪、情境兴趣和自我效能感,并降低了内在和外在认知负荷,而对学习表现的影响尚不清楚。类似地,Kestin等人[46]发现,在本科物理课程中,结构精心设计的AI辅导教师与主动学习课堂相比,与更高的后测成绩以及更高的参与度和动机相关;而Chen和Chang[14]报告称,将ChatGPT整合到基于游戏的物理学习环境中,与单独的游戏化学习相比,提高了学生的表现和感知能力,并降低了内在认知负荷。然而,这一前景广阔的研究领域存在重要的注意事项。一个核心关注点是,聊天机器人支持的问题解决可能模糊了产生正确或完善答案与发展持久理解之间的区别,尤其是当快速答案或连贯解释被视作学习的证据时[51]。例如,Bastani等人[52]在一项针对高中数学学生的实地实验中发现,使用标准GPT-4辅导教师在辅助练习期间提高了表现,但当移除工具访问权限后,学生在随后的无辅助考试中表现差于对照组;当辅导教师被限制为提供教师设计的提示而非直接解决方案时,这些负面影响很大程度上得到了缓解。这些发现指向一个更广泛的风险:生成式AI的使用可能鼓励学生卸载认知和元认知工作,而不是参与学习所需的推理过程[51,53,54]。例如,Stadler等人[55]发现,在研究任务中使用LLM显著降低了学生的认知负荷,但也导致了推理和论证质量的下降。在物理教育中,Krupp等人[53]同样表明,无引导的ChatGPT辅助问题解决可能导致学生采取复制粘贴策略,并不加批判地接受错误的AI生成解决方案。在此背景下,对聊天机器人支持的认知负荷和情感动机反应应被解释为学生问题解决体验的指标,而非学习有效性的直接证据。

III. 研究依据

物理教育中的一个核心挑战是通过差异化支持有效应对学生异质性[4]。本研究比较了三种提供不同程度个性化的教学工具。教科书式支持作为基线,是一种静态且标准化的资源,无法适应个体学习者需求,可能施加较高的认知负荷[2,29]。改进是分层支持,它提供学习者导向的差异化,但对教育者来说,为每项任务创建此类支持过于资源密集[7,11]。相比之下,AI聊天机器人代表了另一种具有潜在可扩展性的动态个性化形式[12]。基于Wodzinski及其同事关于物理问题解决结构化支持的DFG项目先前工作,本研究通过增加AI聊天机器人条件,并在共同的物理问题解决情境中将其与分层支持和文本支持进行比较,扩展了这一设计。然而,关于这些支持方式如何影响学生在物理问题解决过程中自我报告的认知负荷和情感动机体验,仍缺乏比较性证据。现有关于物理教育中AI的研究主要集中在学习表现上[46,48,49],或位于游戏化学习环境中[14],或在大学层面[56]。其他研究探讨了通用AI辅导教师[16]或检查了特定任务辅导教师的用户体验[57]。据我们所知,尚无研究直接在常规课堂环境中,将专门设计用于帮助初中生解决物理问题的特定任务AI聊天机器人,与分层支持和传统文本支持进行直接比较。虽然先前工作常强调最终表现结果,但经常忽视塑造学生在问题解决过程中学习和参与的基本认知过程(内在和外在认知负荷)和情感体验。这些维度对于评估学习支持系统至关重要,因为不同形式的指导可能塑造学生体验问题解决过程的方式。从认知负荷角度看,支持系统在帮助学习者管理任务概念需求方面可能有所不同,例如通过分段复杂信息、引导注意到相关元素,或促使学生阐明其推理[36,37,58,59]。从情感动机角度看,支持也可能塑造学生的任务相关情境兴趣、自我效能感和成就情绪,这些可能受到掌握经验和言语说服的影响[21,60]。因此,本研究提供了三种支持类型——静态教科书式解释、分层支持和AI聊天机器人——在物理问题解决过程中对学生感知认知负荷和同时情感动机状态的系统性课堂比较。通过这样做,我们寻求生成实用的、基于证据的见解,了解不同支持工具如何塑造学生的短期问题解决体验。因此,本调查由以下研究问题指导:

RQ1:AI聊天机器人支持、分层支持和传统文本支持在物理问题解决过程中对学生感知认知负荷的影响有何差异?

RQ2:AI聊天机器人支持、分层支持和传统文本支持在物理问题解决过程中对学生情境兴趣、自我效能感和成就情绪(希望、绝望和享受)的影响有何差异?

IV. 材料与方法

A. 研究设计与样本

我们进行了一项整群随机化实地研究,采用前测-后测设计,比较不同学习支持系统对学生在物理问题解决过程中动机和认知负荷的影响。最终样本包括268名九年级学生,他们完成了所有问卷,并明确确认在研究期间使用了支持系统进行问题解决。研究在学生教室中进行,并遵循标准化协议以确保各组间一致性。学生被要求安静地独立工作。在干预阶段,每个学生独立解决一个来自Franke-Braun[8]的浮力物理任务。任务呈现在纸质工作纸上,学生有20分钟完成,另有5分钟将他们的解答与示例解决方案进行比较。每个工作纸还包含一个附带的支持工具简要指南,提供使用说明和应用元认知策略的指导。学生直接在工作纸上记录答案和推理。所有参与者执行相同核心任务,但他们在三种实验条件下接受的学习支持不同,如表I所示。

表I. 实验条件概览。

组别 支持条件描述 N

G1:聊天机器人 参与者与一个定制配置的AI聊天机器人互动,获取任务相关指导和反馈。聊天机器人旨在促进独立问题解决和概念理解。 103

G2:分层支持 参与者在一个网站上获得一系列结构化的逐步提示,可顺序揭示(改编自Franke-Braun[8])。 64

G3:文本支持(对照组) 参与者获得一个静态的教科书式数字页面,包含解决问题所需的所有信息。 101

为评估干预效果,数据通过问卷收集,分别在干预前(前测)和干预后(后测)进行。使用匿名标识符将个体学生的反应在两个时间点关联起来。因变量是兴趣、自我效能感、认知负荷和成就情绪(希望、绝望和享受)的测量。为考虑先前物理知识的潜在混淆,我们评估了参与者的先前物理知识。所有测量变量的详细概述,包括缩写、测量时间和量表属性,见表II。研究设计可视化见图2。

表II. 所有评估变量的概览,包括结构缩写、量表长度、测量时间点以及通过Cronbach’s α表示的内部一致性。如果量表在前测和后测均施测,则报告两个Cronbach’s α值。

变量(缩写,项目数) 前测 后测 Cronbach’s α 参考文献

先前知识(PK,9) ? ? 0.63 Zenger和Bitzenbauer[66]

自我效能感(SE,7) ? ? 0.88 & 0.90 Duncan等人[67]

享受(EE,4) ? ? 0.79 & 0.88 Bieleke等人[68]

希望(EH,4) ? ? 0.88 & 0.89 Bieleke等人[68]

绝望(EHL,4) ? ? 0.84 & 0.82 Bieleke等人[68]

内在认知负荷(ICL,2) ? ? 0.58 Klepsch等人[69]

外在认知负荷练习(ECLA,3) ? ? 0.61 Klepsch等人[69]

外在认知负荷支持(ECLL,3) ? ? 0.81 Klepsch等人[69]

情境兴趣(SI,6) ? ? 0.85 Woithe[70]

图2. 研究设计概览,包括三个不同组别及相应样本量、评估变量和专门时间段。

B. 变量选择

为研究我们的研究问题,我们开发了一份问卷,以评估与干预相关的关键情感和认知变量。情感和动机变量在干预前后评估,而认知负荷在干预后评估。这些变量的选择受教育心理学和物理教育研究中既定理论框架的指导。为考虑不同支持条件的影响,我们控制了先前对密度的概念理解,因为它塑造了学生体验任务难度的方式,并与动机、成就情绪和认知负荷相关[36,61–63]。我们的第一个研究问题涉及任务的认知需求,我们通过认知负荷理论(CLT)的视角进行评估[23,64]。内在认知负荷被纳入以捕捉学生对浮力问题概念内容和结构的难度感知。外在认知负荷被纳入以捕捉学生感知到的由问题呈现方式和伴随支持产生的认知需求。对于第二个研究问题,我们评估了学生的任务相关情感和动机体验。情境兴趣被纳入,因为它捕捉学生对特定活动的即时兴趣,并影响注意力和学习深度[22]。自我效能感被纳入,因为学生对自己解决任务能力的信念与在挑战性物理问题中的坚持和参与相关[65]。享受、希望和绝望被纳入作为成就情绪,捕捉活动期间积极和消极的情感体验,因为这些对学业结果高度预测,并与学生在任务中部署的认知资源相关[20]。总之,这些变量使我们能够比较三种支持条件下学生在物理问题解决过程中短期感知认知需求和任务相关情感动机体验。

C. 工具开发

本研究使用的问卷采用已建立且经研究验证的量表来测量感兴趣变量。最初以英文开发的量表被翻译成德语,并仔细保持其概念含义。为确保与特定物理情境(即浮力)的相关性,某些项目的措辞和每个量表的引言文本被系统调整。这些调整后的项目随后由两位物理教育专家审查,以确保含义保持。为确保测量一致性并简化学生回答过程,除先前物理知识外,所有变量均采用统一的五点量表,范围从1(“完全不适用”)到5(“完全适用”)。所有构念、相应量表、来源参考文献和内部一致性估计(Cronbach’s α)的综合概述见表II。虽然大多数量表表现出良好的内部一致性(α ≥ 0.70),但内在认知负荷(α = 0.58)和练习外在认知负荷(α = 0.61)的简短量表,以及先前知识测试(α = 0.63),表现出较低的内部一致性。

D. 材料

所有三种条件的最终材料——文本支持页面、分层支持任务和聊天机器人系统提示——与浮力任务一起在补充材料[33]中提供。在此,我们提供物理问题选择和支持材料开发的概述。

1. 物理问题选择

物理任务要求学生确定浮冰必须多大才能承载一人而不下沉,利用阿基米德原理背景下密度和浮力的概念[8]。先前研究主要针对大学生,记录了在推理浮力和阿基米德原理方面的持续困难。这些包括混淆质量、体积和密度,假设浮力取决于物体质量或深度,以及未能区分物体体积与其排开流体体积[71,72]。在一项涉及冰块浮于水面的相关任务中,学生有时未能将浮力与物体的重量等同起来,而是直接专注于确定排开体积[71]。更普遍而言,学生也被发现在流体静力学情境中不一致地应用牛顿平衡条件,例如将非零合力归因于静止物体,或根据物体的竖直位置推断力的大小[71]。这些困难为提供结构化引导以帮助学习者协调相关量和物理关系提供了理由。然而,在本研究中,该内容仅作为比较支持形式的共同物理问题解决情境;学生的概念理解和概念变化并未被评估。选择该任务是因为它提供了一个物理问题解决情境,且在该情境中,已有先前关于分层支持的研究[8]开发了既定的分层提示序列和模型解答。使用该任务使本研究能够将先前关于分层支持的工作扩展到基于人工智能的学习支持情境中。该任务是一个典型的学校物理问题,以适龄的方式突出浮力的概念应用,同时有意降低现实世界的复杂性,这限制了研究结果推广到更开放式的建模任务的程度。

2. 文本支持开发
对照组使用的文本支持材料是通过系统的设计过程(包括专家反馈)开发而成的。其创建遵循了源自教科书研究的明确设计原则,确保材料具备:(i)清晰的结构和适合九年级目标群体的教学适当内容;(ii)精确、语言正确的文本;以及(iii)高质量、支持性的可视化内容[73,74]。为验证其教学质量和内容效度,生成的数字A4页面经两位物理教育研究专家审查和批准。最终的自包含文件为学生解决问题提供了所有必要信息。

3. 分层支持开发
对于脚手架组,干预使用了直接取自Franke-Braun[8]开发材料的特定分层支持(gestufte Lernhilfen)任务。虽然原始设计旨在用于结对合作学习,但材料被修改为个人问题解决,以符合本研究的方案。支持在一个自定义网站上以数字化方式实施,学生可以根据自己的判断逐步揭示提示。其结构反映了原始设计:每个层级包含一个学生可以揭示的提示或问题,随后是可以在第二步解锁的相应答案。这一学习者控制的过程以包含完整模型解答的最终层级结束,使学生能够核对自己的工作。

4. 聊天机器人开发
本研究中使用的AI聊天机器人是基于OpenAI的o3-mini模型,通过Fobizz平台访问开发的。其教学行为通过严格的迭代优化循环进行了精心的提示工程,这是教育技术开发中建立的方法[46,75,76]。在每轮循环中,聊天机器人对模拟学生输入的反应都根据源于专家辅导研究的三个关键教学标准进行评估:(i)其准确评估学生当前理解的能力;(ii)其提出引导性、反思性问题而非直接纠正的能力;以及(iii)其遵循“基于正确之处构建”原则,即先肯定学生推理中的正确要素,再促使其重新考虑有缺陷的部分[77,78]。这一迭代过程持续进行,直到聊天机器人持续满足这些标准,从而形成最终的系统提示(包含在补充材料[33]中),该提示指示聊天机器人充当支持性导师,主要设计用于引导学生独立解决问题和理解概念。重要的是,聊天机器人采用基于模板的设计进行配置。可重用组件是特定于模型的教学互动提示;特定于任务的组件包括问题陈述和示例解答。这种拆分减少了新任务的适应工作量,因为教师无需为每个问题编写完整的提示和解答序列,而是可以重用经过验证的互动模板,配合通常已可用的任务材料。

E. 数据分析
数据分析分三个步骤进行:第一步,进行预分析检查,例如检查变量之间的相关性并验证混合线性效应建模的要求。下一步,使用混合线性效应模型分析纵向变量(具有前测和后测测量的变量),包括测量时间与实验组之间的交互作用作为主要效应,同时考虑学生嵌套于班级中的层级结构。最后,在第三步中,使用横断面线性混合效应模型评估仅后测变量。以下小节更详细地描述每个步骤。

为补充混合效应建模结果并提供更全面的数据图景,我们进一步报告了一般描述性统计,包括响应分布、均值、标准差(SD)以及所有变量的中位数,按干预组划分。如上所述,我们还提供Cronbach's α作为各量表内部一致性的度量,其中值大于0.70被认为是可接受的[79]。

数据分析使用R(版本4.4.2)及其包lme4(版本2.0-1)、lmerTest(版本3.2-1)、performance(版本0.16.0)、effectsize(版本1.0.1)和emmeans(版本1.11.1)进行。

1. 预分析检查
我们首先使用Spearman秩相关系数ρ——即使违反正态性假设也适合用于变量间的相关性分析——结合Hemphill[80]的弱(ρ<0.30)、中(0.30≤ρ<0.60)和强(ρ≥0.60)相关分类,检验了所有变量(参见表II)之间的关系,并区分为前测和后测。此外,由于分配是在班级层面进行的,通过计算所有结果变量的组内相关系数(ICCs)和设计效应(DEFF)来评估混合线性效应模型的要求。多水平建模的常用阈值分别为ICC≥0.05[81]和DEFF≥1.10[82]。ICCs表明在班级层面存在非平凡的聚类(所有变量的ICC在0.02至0.17之间),相应的设计效应(各变量的DEFF在1.33至3.77之间)显示出班级间的方差,证明使用混合线性效应模型(MLM)是合理的。所有混合效应模型的模型假设通过残差图和Q-Q图的视觉检查进行评估,此外还检查了拟合值对残差图以评估同方差性[83,84]。未观察到对正态性或异方差性的重大偏离。聚类结构包含16个不同的班级,平均聚类大小为n=24。

2. 纵向变量的数据分析
对于具有前测和后测测量的结果变量(即愉悦感、希望感、无望感和自我效能感),进行了线性混合效应建模。具体而言,在Wilkinson-Rogers记号中,参见[85],使用了以下模型设定:

Y_ij = β0 + β1 × Time_j + β2 × Group_i + β3 × (Time_j × Group_i) + β4 × PriorKnowledge_i + u_class + u_student + ε_ij (1)

在此,交互作用项(Time × Group)作为主要效应,评估实验组是否随时间呈现不同的轨迹——聊天机器人条件(G1)被指定为参考组。先前知识作为固定效应纳入,作为协变量。为了考虑数据的层级结构,为学校班级以及嵌套在这些班级中的个体参与者指定了随机效应。由于参与者在前后测中均保持在同一个班级内,模型被明确设定以确保个体不会在测量时间之间跨越聚类。时间趋势的随机斜率导致奇异拟合且模型收敛失败;因此,它们被从进一步分析中排除。模型参数使用限制最大似然(REML)估计,以确保方差分量的无偏估计[86]。

为评估整体模型拟合优度,按照文献[87]中的建议计算了边际R2和条件R2指标:
• 边际R2(R2_marginal)量化了仅由固定效应解释的方差比例,从而反映总体层面的解释力。
• 条件R2(R2_conditional)量化了由固定效应和随机效应共同解释的方差比例,从而反映包括群体层面聚类结构在内的完整模型拟合。

3. 仅后测变量的数据分析
仅在后期评估的变量(即内在认知负荷ICL、外在认知负荷练习ECLA、外在认知负荷支持ECLL和情境兴趣)使用横截面混合效应模型单独分析。这些模型将实验条件指定为唯一固定因子,先前知识作为协变量,学校班级作为随机截距以考虑嵌套数据结构:

Y_i = β0 + β1 × Group_i + β2 × PriorKnowledge_i + u_class + ε_i (2)

按照文献[88]概述的方法,固定效应的推断检验基于III型协方差分析(ANCOVA)F检验,并采用Satterthwaite近似自由度。由于仅后测结果的主要焦点——与纵向变量不同——明确在于探索特定的后测组间差异,这些效应通过使用估计边际均值(EMMs)的事后成对比较进一步研究,并采用Tukey校正以控制I型错误膨胀[89]。所有成对比较的效应量被操作化为标准化均值差(等效于Cohen's d)。这些估计通过emmeans包中的eff_size函数计算,利用模型的残差标准差作为标准化因子,并使用模型的残差自由度。按照标准惯例,我们使用已建立的效应量范围:小(d=0.2)、中(d=0.5)和大(d=0.8)[90],相对于模型的未解释方差。

V. 结果
A. 描述性结果
量表长度和信度报告在表II中,作为工具概述的一部分。

所有变量之间的Spearman ρ关系在前测中提供于表III,在后测中提供于表IV。所有测量之间的双变量相关性显示统计学显著关联(p<0.001)。在前测中,其绝对值范围从中等相关ρ=0.27(先前知识与自我效能感之间)到强相关ρ=0.70(希望感与自我效能感之间),而在后测中,它们表现出相似的范围,从ρ=0.26(自我效能感与内在认知负荷之间)到ρ=0.71(希望感与愉悦感之间)。

表III. 所有前测变量对的Spearman秩相关系数ρ:自我效能感(SE)、愉悦感(EE)、希望感(EH)、无望感(EHL)、先前知识(PK)。显著性代码:***p<0.001,**p<0.01,*p<0.05。对角线自相关省略。

SE EE EH EHL PK
SE
EE 0.48???
EH 0.70??? 0.63???
EHL ??? ??? ???
PK 0.27??? 0.27??? 0.27??? ???

表IV. 所有后测变量对的Spearman秩相关系数ρ:愉悦感(EE)、希望感(EH)、无望感(EHL)、内在认知负荷(ICL)、外在认知负荷练习(ECLA)、外在认知负荷支持(ECLL)、情境兴趣(SI)、自我效能感(SE)。显著性代码:***p<0.001,**p<0.01,*p<0.05。对角线自相关省略。

EE EH EHL ICL ECLA ECLL SI SE
EE
EH 0.71???
EHL ??? ???
ICL ??? ??? 0.37???
ECLA ??? ??? 0.45??? 0.45???
ECLL ??? ??? 0.44??? 0.37??? 0.51???
SI 0.69??? 0.60??? ??? ??? ???
SE 0.50??? 0.62??? ??? ?? ?? ??? 0.51???

所有纵向变量的描述性统计在附录的表VIII中提供,所有仅后测变量的描述性统计在表IX中提供,包括均值、标准差、中位数、最小值和最大值。

总体而言,每个测量的响应平均值在量表中心附近,均值和大致在2到3.5之间聚集。最少的平均同意度出现在第3组(教科书)中,涉及情境兴趣(SI;M=2.23)和希望感(EH;M=2.28),而最高的平均同意度也出现在第3组,涉及内在认知负荷(ICL;M=3.55)以及练习的外在认知负荷(ECLA;M=3.53)。值得注意的是,对于每个变量,响应分布在整个量表长度上,这由所有最小值均为1且所有最大值均为5所证实。

由于对所有仅后测变量进行了受试者间多水平ANCOVA,我们在图3中通过箱线图提供了响应分布的更详细概览。在这里,我们遵循了将须线长度限制在四分位距的1.5倍的标准惯例。箱线图显示愉悦感、希望感、情境兴趣和自我效能感等变量呈现一致的下降趋势,从G1组(聊天机器人)到G3组(教科书)。相反,无望感和所有认知负荷变体可以观察到上升趋势。然而,并非所有差异都具有统计学显著性或可观的效应量。需要进行更详细的、细粒度的探索,这将在下一节中呈现。

图3. 变量ECLA(a)、ECLL(b)、ICL(c)和SI(d)的箱线图,按组划分——聊天机器人(G1)、分层支持(G2)、教科书(G3)。此外,还报告了作为效应量度量的标准化均数差的绝对值,以及每次比较的多层协方差分析(ANCOVA)相应的显著性水平。B. 关于纵向变量的结果从多层线性模型(MLM)导出的固定效应估计值及其相应的标准误、自由度、统计量和p值,呈现在表V中。交互项相对于聊天机器人条件(G1)进行评估。此外,还提供了R2值以指示模型拟合度。参与者层面(第2层)和班级层面(第3层)的随机效应方差,以及第1层的残差方差,均见附录中的表X。表V. 所有纵向变量的线性混合效应模型结果:自我效能感(SE)、享受感(EE)、希望感(EH)、绝望感(EHL)。报告了固定效应估计值(B)及其标准误(SE)、近似自由度(d.o.f.)、t值和p值。为每个模型提供了条件R2(R2c)和边际R2(R2m)的拟合优度指标。显著效应以粗体字突出显示。G2:分层支持条件,G3:教科书支持条件。变量 预测变量 B(SE) d.o.f. t p R2c R2m
SE 先前知识 0.10(0.02) 252.94 4.53 <0.001 0.650 0.098
时间 -0.10(0.06) 271.09 -1.69 0.093
G2 0.15(0.14) 22.11 1.24 0.229
G3 0.11(0.14) 13.58 0.83 0.422
时间 × G2 0.05(0.10) 271.93 0.52 0.606
时间 × G3 -0.31(0.09) 271.09 -3.20 0.002
EE 先前知识 0.09(0.02) 249.75 3.90 <0.001 0.533 0.170
时间 -0.07(0.08) 272.00 -0.89 0.375
G2 0.09(0.16) 23.38 0.54 0.596
G3 0.09(0.15) 14.09 0.48 0.639
时间 × G2 -0.31(0.14) 272.00 -2.47 0.014
时间 × G3 -0.37(0.12) 272.00 -3.12 0.002
EH 先前知识 0.08(0.02) 251.84 3.48 0.001 0.570 0.165
时间 -0.01(0.08) 272.00 -0.11 0.913
G2 -0.01(0.15) 26.52 -0.11 0.910
G3 0.13(0.14) 16.22 0.86 0.405
时间 × G2 -0.21(0.12) 272.00 -1.53 0.127
时间 × G3 -0.37(0.11) 272.00 -3.38 0.001
EHL 先前知识 -0.07(0.03) 266.39 -2.12 0.035 0.632 0.106
时间 0.00(0.08) 272.00 0.03 0.977
G2 0.22(0.20) 28.54 1.09 0.285
G3 0.03(0.20) 15.96 0.15 0.882
时间 × G2 0.17(0.13) 272.00 1.32 0.188
时间 × G3 0.55(0.17) 272.00 4.70 <0.001

推断检验显示,对于每个因变量,测量时间与教科书组(G3)之间存在显著交互作用——相对于聊天机器人参考组,教科书条件在自我效能感(SE)、享受感(EE)和希望感(EH)方面从前测到后测表现出显著更急剧的下降。绝望感(EHL)呈现出相反的模式;对于该结果,教科书条件随时间表现出比聊天机器人组显著更大的增加。相比之下,分层支持条件(G2)除了享受感(EE)外,没有与时间表现出任何统计显著的交互作用,因此表现与聊天机器人参考组相当。此外,先前知识在所有分析的纵向变量中均作为统计显著的预测因子。在干预前,各条件之间未观察到统计显著差异,这由所有变量中预测因子G2和G3的交互项不显著所证实。固定效应解释了总方差的9.8%(SE)至17.0%(EE),如R2m值所示。然而,当考虑层级聚类结构时,解释方差的总比例大幅增加。完整的条件模型解释了总方差的53.3%(EE)至65.0%(SE),表明存在显著的参与者和班级特定的聚类效应。C. 关于仅后测变量的结果来自线性混合效应模型的类型III F检验结果汇总于表VI中。该表详细列出了F统计量、分子自由度、Satterthwaite近似的分母自由度以及相应的p值。这些统计量分别针对实验条件(组别)的主效应和协变量先前知识在每个变量上报告。此外,还提供了条件R2(R2c)和边际R2(R2m)的拟合优度指标。表VI. 所有仅后测变量的整体多层协方差分析(ANCOVA)结果:内在认知负荷(ICL)、外在认知负荷练习(ECLA)、外在认知负荷支持(ECLL)和情境兴趣(SI)。对于每个模型,报告了实验条件(组别)和协变量先前知识的效应。统计显著的p值(p < .05)以粗体显示。变量 预测变量 F(NumDF, DenDF) p R2c R2m
ICL Group F(2,16.41)= 5.96 0.011 0.17 0.10
先前知识 F(1,262.64)= 0.79 0.376
ECLA Group F(2,15.82)= 8.70 0.002 0.19 0.13
先前知识 F(1,255.95)= 9.03 0.003
ECLL Group F(2,16.97)= 4.41 0.029 0.17 0.09
先前知识 F(1,264.81)= 4.10 0.044
SI Group F(2,12.04)= 4.22 0.041 0.06 0.04
先前知识 F(1,219.79)= 1.40 0.239

班级层面(第2层)的随机效应方差,以及第1层的残差方差(代表参与者层面),均见表XI。所有仅后测变量的相应事后成对比较结果汇总于表VII中。该表详细列出了基于模型的估计边际均数差(ΔM)及其标准误(SE)、Tukey调整后的p值以及标准化均数差(Cohen's d)及相应的95%置信区间。每项比较评估了聊天机器人支持(G1)、分层支持(G2)和教科书支持(G3)条件之间的方向性差异。表VII. 所有仅后测变量的成对比较结果:内在认知负荷(ICL)、外在认知负荷练习(ECLA)、外在认知负荷支持(ECLL)和情境兴趣(SI)。对于每组比较,报告了基于模型的估计边际均数差(ΔM)及其标准误(SE)、调整后的p值和标准化均数差(d)。p值采用Tukey方法进行调整,以控制I型错误膨胀。显著效应以粗体突出显示。变量 比较 ΔM(SE) p d
ICL G1–G2 -0.15(0.181) 0.594 -0.19
G1–G3 -0.51(0.172) 0.006 -0.62
G2–G3 -0.36(0.185) 0.027 -0.46
ECLA G1–G2 0.073(0.159) 0.653 0.10
G1–G3 -0.54(0.148) 0.004 -0.68
G2–G3 -0.61(0.161) 0.003 -0.78
ECLL G1–G2 -0.15(0.221) 0.638 -0.19
G1–G3 -0.59(0.211) 0.015 -0.74
G2–G3 -0.44(0.227) 0.051 -0.55
SI G1–G2 0.274(0.145) 0.086 0.35
G1–G3 0.362(0.130) 0.018 0.46
G2–G3 0.087(0.145) 0.558 0.11

1. 内在认知负荷关于内在认知负荷(ICL),线性混合模型显示实验条件存在统计显著的总体效应 [F(2,16.41)= 5.96,p = 0.011,R2c = 0.17,R2m = 0.10]。先前知识在此模型中没有作为显著预测因子。事后成对比较显示,聊天机器人条件与教科书条件之间存在统计显著差异,有利于聊天机器人框架 [ΔM = -0.51,SE = 0.172,p = 0.006,d = -0.62]。分层支持条件也与教科书条件存在显著差异 [ΔM = -0.36,SE = 0.185,p = 0.027,d = -0.46]。聊天机器人条件与分层支持条件之间无显著差异。所有组别对比及所有多层协方差分析结果均见表VI和表VII,各组分布概况通过图3中的箱线图展示。

2. 外在认知负荷练习关于外在认知负荷练习(ECLA),线性混合模型显示实验条件存在统计显著的总体效应 [F(2,15.82)= 8.70,p = 0.002,R2c = 0.19,R2m = 0.13]。先前知识在此模型中也作为显著预测因子 [F(1,255.95)= 9.03,p = 0.003]。事后成对比较显示,聊天机器人条件与教科书条件之间存在统计显著差异,有利于聊天机器人框架 [ΔM = -0.54,SE = 0.148,p = 0.004,d = -0.68]。同样,分层支持条件与教科书条件之间也观察到统计显著差异,有利于分层支持框架 [ΔM = -0.61,SE = 0.161,p = 0.003,d = -0.78]。然而,聊天机器人条件与分层支持条件之间的成对比较未达到统计显著水平。所有组别对比及所有多层协方差分析结果均见表VI和表VII,各组分布概况通过图3中的箱线图展示。

3. 外在认知负荷支持关于外在认知负荷支持(ECLL),线性混合模型显示实验条件存在统计显著的总体效应 [F(2,16.97)= 4.41,p = 0.029,R2c = 0.17,R2m = 0.09]。先前知识在此模型中也作为显著预测因子 [F(1,264.81)= 4.10,p = 0.044]。事后成对比较显示,聊天机器人条件与教科书条件之间存在统计显著差异,有利于聊天机器人框架 [ΔM = -0.59,SE = 0.211,p = 0.015,d = -0.74]。其他成对比较均未达到统计显著水平。所有组别对比及所有多层协方差分析结果均见表VI和表VII,各组分布概况通过图3中的箱线图展示。

4. 情境兴趣关于情境兴趣(SI),线性混合模型显示实验条件存在统计显著的总体效应 [F(2,12.04)= 4.22,p = 0.041,R2c = 0.06,R2m = 0.04]。先前知识在此模型中没有作为显著预测因子。事后成对比较显示,聊天机器人条件与教科书条件之间存在统计显著差异,有利于聊天机器人框架 [ΔM = 0.362,SE = 0.130,p = 0.018,d = 0.46]。其他成对比较均未达到统计显著水平。所有组别对比及所有多层协方差分析结果均见表VI和表VII,各组分布概况通过图3中的箱线图展示。

VI. 讨论本研究旨在比较人工智能聊天机器人、分层支持以及传统数字教科书式页面在物理问题解决过程中对学生认知和情感-动机体验的影响。总体而言,结果表明三种条件之间存在一致的模式。与静态文本支持条件相比,人工智能聊天机器人和分层支持条件下的学生通常报告较低的内在和外在认知负荷,尽管分层支持与文本支持之间在与支持材料相关的外在认知负荷方面未达到统计显著差异。对于纵向情感-动机变量,问题解决活动在各条件下似乎都具有挑战性:积极的与任务相关的情感-动机状态从前测到后测趋于下降,而绝望感趋于上升。相对于聊天机器人条件,文本支持条件在这些变量上表现出统计显著较差的变化轨迹,而聊天机器人条件与分层支持条件之间的差异大多不显著。对于仅后测变量情境兴趣,即借助支持工具对特定浮力任务的即时兴趣,聊天机器人条件下的学生报告的即时兴趣显著高于文本支持条件下的学生,而其他成对比较均不显著。然而,从描述上看,情境兴趣遵循与纵向情感-动机变量相同的一般排序,聊天机器人条件最为有利,其次是分层支持,然后是文本支持。关于感知到的外在认知负荷的研究结果与认知负荷理论的假设一致。然而,考虑到认知负荷量表的内部一致性相对较低,这些差异应被解释为学生对任务需求感知的提示性模式,而不是认知加工差异的精确估计。不同条件下认知负荷差异的一个可能解释是,文本支持条件下的学生需要同时协调多个要求较高的过程,在尝试理解物理问题的同时,还要搜索、分类和评估密集的文本块以获取相关信息。特别是,将问题陈述中的信息与教科书式页面的不同部分联系起来的需要可能产生了注意力分散效应,从而消耗了本可用于浮力问题概念方面的工作记忆资源[91]。相比之下,分层支持系统和聊天机器人系统都旨在通过提供更有结构的指导来减少对信息搜索的需求[92]。尽管分层支持与文本支持之间在与支持材料相关的外在认知负荷方面未达到统计显著差异,但描述性模式与其他认知负荷测量指向相同方向。分层支持系统对解题路径进行了结构化处理,以预先消化的顺序步骤呈现信息,从而消除了学生搜索或计划的需求。同样,聊天机器人提供了按需的、有针对性的指导,使学生能够将“搜索和分类”过程外包给人工智能。然而,这种减少不应在每个方面都被理解为有益的。在文本中搜索、选择和整理信息是值得在物理教育中培养的宝贵科学和元认知技能。这些需求是应该减少还是有意识地保留,取决于具体课程的学习目标。在本任务中,重点是应用浮力概念而不是发展研究或信息搜索能力,减少其中一些需求可能使学生能够将更多认知资源分配给问题的概念方面[93]。为了增加更多细节,人工智能聊天机器人条件可能受到两种对认知负荷的竞争效应的影响。一方面,当学生按预期使用聊天机器人时,它可能通过引发有针对性的自我解释[36,59]和利用集体工作记忆效应[58]来减少外在负荷。另一方面,这种互动本身的性质可能引入了“交互性的隐藏负荷”,从而可能增加外在负荷。学生必须构思一篇连贯的文本,将其输入,解读人工智能可能不够完美的回应,并批判性地评估其可信度。除了外部负荷外,聊天机器人和分层支持条件下的学生报告的内部认知负荷低于文本支持条件下的学生。一个可能的解释是,文本支持可能使得学生基本要独自应对浮力问题的概念复杂性。在没有外部支持帮助他们激活先验知识或组织任务的情况下,主题的复杂性可能对他们的工作记忆提出了更高要求,导致感知到的内部负荷较高。相比之下,两种交互式工具可能充当了这一知识鸿沟的桥梁,例如,通过隔离相互作用的元素[37],将复杂主题分解为可管理的子任务,而不改变核心概念要求。另一个互补或替代的解释是,较低的感知内部负荷可能部分反映了认知卸载,而非对任务复杂性的更有效管理[94]。在聊天机器人条件下,学生可能利用了系统的漏洞,以降低自身认知努力的方式使用可用帮助,例如过早地请求提示、程序性说明或解决步骤[95]。在这种情况下,较低的感知内部负荷并不表明学生对浮力问题形成了更连贯的理解,而可能反映了解题过程中要求较高的部分被转移到了支持系统上。一个相关的可能性是,聊天机器人引发了理解错觉:连贯的解释、即时反馈和被引导的感觉可能使任务显得更容易理解,即使这并未转化为更深层的概念理解。从这个角度来看,聊天机器人可能通过使任务看起来更容易处理,提高了学生的主观理解感,这一机制已在元认知错觉和基于流畅性的学习判断研究中得到讨论[96,97]。这一批判性解读与Krupp等人[53]和Stadler等人[55]的研究一致。从这个角度来看,文本支持条件下较高的感知内部负荷可能不仅反映了超载,还可能部分表明更直接地参与了任务的概念复杂性。本研究的发现反映了学习的认知维度与情感动机维度之间的相互作用。在所有条件下,较低的感知认知负荷与更有利的任务相关情感动机反应相关。聊天机器人组报告了最不不利的情感动机特征,而文本支持组报告了最不积极的特征。这一关系进一步得到显著相关性的支持,表明支持工具的外部认知负荷越高,愉悦感( )和希望感( )越低,同时无助感( )越高。这一联系在理论上得到了充分支持;较高的外部认知负荷可能消耗认知资源并引发挫败感,而积极情绪则可能作为缓冲,帮助学生调节对艰巨任务的反应[93,98–100]。比较两种交互式支持系统时出现了一个细微差别。虽然两者通常都比文本支持与更低的认知负荷相关,但聊天机器人条件比文本支持条件显示出显著不那么不利的情感动机特征。这种模式表明,聊天机器人可能帮助缓冲了任务的情感动机挑战。一个可能的解释是,聊天机器人提供了互动线索,使支持体验显得更具响应性和社交参与感。这一解释与关于人工智能导师、聊天机器人和教学代理的研究一致,表明交互式、个性化和情感支持的学习线索——如及时反馈、适应性指导、热情或鼓励性的代理行为以及社会响应性互动——有助于学生的动机和参与度[14,16,46,101–103]。我们关于分层支持组情感动机模式的研究结果通过强调社会学习环境的重要性,补充了早期研究:Franke-Braun[8]、Schmidt-Weigand等人[10]或H?nze等人[9]的开创性研究发现,分层支持条件下的学生比控制条件下的学生报告了更有利的情感动机结果,包括感知能力、内在动机和愉悦感。在我们的研究中,分层支持条件在描述性上往往介于聊天机器人和文本支持条件之间。对这种差异的一个可能解释在于社会学习环境。早期研究是在学生结对合作的情况下进行的,而我们的研究侧重于个人解题。先前观察到的情感益处不仅可能与提示本身有关,也可能与提示所促进的成功同伴互动有关。聊天机器人的对话响应性为预期比互动性较低的支持形式更有利的情感动机特征提供了理论依据。然而,聊天机器人并未显示出对分层支持的统计学显著优势。这一发现表明,在简短的单问题干预中,获得功能性和结构化帮助可能对学生的情感动机体验比提供帮助的具体互动风格更重要。因此,两种交互式格式都可能缓冲了任务中观察到的不利情感动机特征,而文本支持条件提供的即时指导较少。同时,聊天机器人-分层支持之间缺乏显著差异不应被解释为等效的证据。较小的分层支持组可能限制了检测这两种条件之间小差异的灵敏度。七、局限性虽然本研究提供了有价值的见解,但其结论应结合若干局限性来考虑,这些局限性也为未来研究指明了方向。首先,干预的简短、单次设计将我们的结论限制在短期效应上。这种快照方法阻碍了纵向动态的观察,例如新奇效应的衰减或熟悉效应的潜在出现[104–106]。我们观察到的“够用”原则可能是这一短持续时间的产物。其次,我们依赖自评量表引入了测量局限性。虽然这是标准做法,但此类测量容易受到共同方法偏差的影响,如社会期望性[107]。此外,内部认知负荷(ICL, )、外部认知负荷练习(ECLA, )和先验知识(PK, )的测量低于常规Cronbach’s 阈值0.70[79]。因此,涉及这些变量的发现应谨慎解读。特别是,感知内部认知负荷和与练习相关的外部认知负荷的组间差异可能部分反映测量误差,先验知识作为协变量的作用可能比使用更可靠的测量时估计得不够精确。第三,样本量 可能不足以检测小效应量。在多项情感测量上,持续但不显著的趋势偏向聊天机器人而非分层支持,可能代表了这种虽小但可能有意义的效应。未来需要更大样本或更有针对性的设计的研究来最终解决这些细微差异。最后,研究结果是针对特定物理任务和本研究使用的特定技术实现而言的。因此,研究结果可能无法直接推广到更开放的建模任务。此外,AI聊天机器人基于特定的LLM(OpenAI的o3-mini),并配有定制的系统提示,其性能固有地与这一设计相关。这是一个关键考虑,因为最近的研究表明,AI导师的教学设计是一个关键变量,即使促进学生学习的最佳方法仍然是一个开放且未解决的问题[57]。八、展望本研究为AI聊天机器人、分层支持和传统支持在物理教育中的差异性影响提供了基础性见解,为有针对性的未来研究议程奠定了基础。在方法上,未来工作应旨在提高严谨性和持续时间。虽然我们的整群随机设计最大化生态效度,但具有真正个体随机化的受控实验室实验将加强因果推断。为了更好地探索随时间的影响,干预可以扩展到第二个解题阶段和后续评估。这种前测-后测-随访设计不仅能够测量学习结果和保持率,还能通过揭示聊天机器人的细微情感益处是否在长期使用中显现,来批判性检验我们的“够用”假设。更深入地理解潜在的学习过程也至关重要。未来研究应分析不同支架方法如何塑造学生应用的问题解决策略,例如,通过有声思维协议。对于聊天机器人条件,分析聊天日志以识别学生使用的提示类型,可以为了解其求助行为和概念障碍提供宝贵见解。此外,研究学生因素——包括一般自我调节技能、基于文本的自我调节策略和阅读策略——如何预测动机、情感和学习结果,以及它们如何调节不同支持格式的有效性,特别是在以文本为主的支持条件下[108],从而为开发更具适应性和公平性的支持系统提供信息,这一点至关重要。最后,未来研究应通过采用 析因设计,将支持工具的效果与其使用的社会环境区分开来,即将支持类型(分层提示与聊天机器人)与学习环境(个人与协作)交叉。这类研究,结合对聊天机器人教学设计的系统探索(例如,提示工程和反馈风格),对于利用AI聊天机器人的潜力至关重要。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号