学习与AI互动:心理负荷与搜索行为对基于聊天机器人的短期计算机学习的影响

《Human Factors》:Learning and Engaging With AI: An Exploration of the Effects of Mental Workload and Search Behavior on Short-Term Computer-Based Learning With a Chatbot

【字体: 大 中 小 】 时间:2026年08月29日 来源:Human Factors 3.3

编辑推荐:

  目的 本研究考察了在自我调节网络搜索任务中,与更经典的搜索引擎相比,聊天机器人对学习、心理负荷和搜索行为的影响。 背景 人工智能技术,包括聊天机器人,正变得越来越普及。这些工具已被证明有助于支持自我调节学习,主要是在结构化学习情境中。然而,它们所

  
目的
本研究考察了在自我调节网络搜索任务中,与更经典的搜索引擎相比,聊天机器人对学习、心理负荷和搜索行为的影响。

背景
人工智能技术,包括聊天机器人,正变得越来越普及。这些工具已被证明有助于支持自我调节学习,主要是在结构化学习情境中。然而,它们所提供的心理负荷降低可能会阻碍关键学习策略的部署,尤其是在网络搜索方面。

方法
六十名参与者被要求回答一组短文问题,并在通过互联网收集信息(Web条件)或与聊天机器人交谈(LLM条件)并可在网络上验证信息的同时,对其心理负荷、投入的努力和信息素养进行评分。提取了若干关键搜索策略和聊天机器人互动指标。还进行了一项意外记忆测试,以评估参与者如何学习短文问题所涉及的内容。

结果
努力程度、心理负荷、搜索行为和信息素养的测量在不同条件间存在显著差异。记忆测试的表现没有差异。发现了与记忆表现的多种关系,包括关键的网络搜索和验证行为。

结论
聊天机器人可能有助于降低心理负荷,而且与聊天机器人的短期学习可能更多地受与工具互动性质的影响,而非工具本身。

应用
有效使用聊天机器人可能要求学习者验证聊天机器人生成的内容,并表现出更高的参与度。在使用LLM驱动的代理支持自我调节的基于网络的搜索时,应考虑促进参与的学习活动。

要点
• 聊天机器人可以支持自我调节学习活动并降低心理负荷。
• 然而,学习可能受益于一定程度的努力,包括自我调节网络搜索任务。
• 参与者在有或没有聊天机器人支持的情况下执行网络搜索任务,随后进行记忆测试。
• 尽管记忆表现保持相似,但心理负荷和关键搜索策略在不同条件间存在差异。
• 与工具互动的性质,而非工具本身,主要影响学习体验。
论文解读:心理负荷与搜索行为对聊天机器人辅助的短期学习的影响

一、研究背景与目的
随着人工智能(artificial intelligence, AI)技术的迅速发展,以大语言模型(large language model, LLM)为基础的聊天机器人(chatbot,一种通过对话界面与用户交互的智能代理)日益普及,并被广泛应用于支持自我调节学习(self-regulated learning,即学习者主动规划、监控和调节自身学习过程的能力)。已有研究表明,聊天机器人可通过提供个性化反馈、简化信息检索步骤来降低外在认知负荷,从而提升学习效率。然而,也有证据提示,过度依赖此类工具可能削弱认知投入,减少“含意困难”(desirable difficulties,指有利于促进编码和提取过程的适度挑战)的体验,进而对学习产生不利影响。目前,关于聊天机器人影响学习的研究多集中于长期、结构化的课程场景,对于短期、非结构化的网络搜索任务中聊天机器人作用的理解仍不充分。此外,多数实验设计不允许参与者在获得聊天机器人回答后自行验证信息,这与现实使用情境存在差异。为此,本研究旨在对比传统搜索引擎与聊天机器人(允许网络验证)在自我调节网络搜索任务中对学习表现、心理负荷和搜索行为的影响。论文发表于《Human Factors》。

二、研究方法
研究招募了60名来自拉瓦尔大学(Université Laval)的参与者(27名女性,33名男性;平均年龄28.93岁,标准差13.36岁),以20加元酬劳吸引参与,随机分配至Web条件(使用Google搜索)或LLM条件(使用基于Phi-3模型的LM Studio界面,并可进入网络验证信息)。参与者需在10分钟内回答12道从39题题库随机抽取的短文问题(每道要求75至100词,需覆盖6至9个关键要素),每题后评估投入的努力(1–5分)和先前知识(1–10分)。随后完成工具素养问卷(Web条件采用互联网技能量表,LLM条件采用ChatGPT素养量表),并填写NASA任务负荷指数(NASA-TLX,用于测量主观心理负荷)。在完成所有短文问题后,进行一项意外记忆测试,包含12道简答题。研究还记录了搜索行为指标,包括查询/提示数量、复制粘贴问题比例、访问网站数量以及回答策略(完全复制、混合、自我编写)的比例。主要技术方法包括:HTML测试平台用于任务呈现;LM Studio界面整合Phi-3模型作为聊天机器人;禁用Google AI概览功能以确保搜索行为纯净;使用Mann-Whitney检验、Spearman相关分析和层次回归分析,并辅以贝叶斯因子评估证据强度。

三、研究结果
**确认性分析:条件间比较(Confirmatory Analyses: Comparison Across Conditions)**
通过Mann-Whitney检验比较两组在所有共同因变量上的差异。结果发现,Web条件参与者的查询次数显著多于LLM条件,但复制粘贴问题的比例显著更低,访问网站数量更多;Web条件的努力程度、NASA-TLX心理负荷子量表得分以及工具素养均显著高于LLM条件。两组在短文问题准确率、记忆测试准确率和反应时、回答策略分布等方面无显著差异。贝叶斯分析为上述显著差异提供了强至极强证据,而为非显著差异提供了不同强度的零假设证据。

**探索性分析:条件特异性分析(Exploratory Analyses: Condition-Specific Analyses)**
在Web条件下,相关分析显示,记忆成绩与短文问题作答时间、自我编写答案比例、访问网站数量、先前知识和短文准确率呈正相关,与复制粘贴答案比例呈负相关。层次回归模型表明,基本自我调节(工具素养、先前知识、短文准确率)、高级自我调节(关键词策略深度、回答策略深度、访问网站数量)和工作负荷(时间压力、努力)均能显著预测记忆成绩,其中回答策略深度和访问网站数量是最稳定的预测因子。
在LLM条件下,相关分析显示,记忆成绩与验证请求次数和访问网站数量呈正相关,与复制粘贴答案比例呈负相关。进一步分组比较发现,至少验证过一次聊天机器人信息的参与者(17人)记忆成绩显著高于从未验证者(10人)(平均51.2%对29.8%)。层次回归分析中,基本自我调节不能显著预测记忆成绩,但加入高级自我调节指标后模型显著,其中先前知识、回答策略深度和访问网站数量显著;再加入工作负荷指标未显著提高预测力。

四、讨论与结论
讨论部分指出,本研究支持聊天机器人可降低自我调节网络搜索中的心理负荷和主观努力,这与先前关于AI学习工具的研究一致。但值得注意的是,尽管LLM条件心理负荷更低,其记忆测试成绩并未显著低于Web条件,这与部分早期研究结果不同,可能的原因是本研究允许参与者在LLM条件下进行网络验证。探索性分析发现,信息验证行为与记忆成绩正相关,提示主动验证可能是促进学习的关键环节。此外,回答策略深度和访问网站数量在两种条件下均与记忆成绩正相关,支持“含意困难”和认知投入对学习结果的重要作用。在Web条件下,先前知识、工具素养、时间压力和努力感还对记忆成绩有额外预测作用,而在LLM条件下则未发现这些效应,这进一步说明学习效果更多地取决于人与工具的互动方式,而非工具本身。实际应用中,应鼓励学习者在使用聊天机器人时主动验证生成内容,并设计能够促进深度参与的学习活动,例如基于ICAP框架(互动、建构、主动、被动)的参与策略。

研究结论部分的翻译:
总之,本研究探索了短期自我调节学习任务中心理负荷与搜索行为的相互作用。结果支持聊天机器人可能有助于降低心理负荷和感知努力,并概述了与聊天机器人和/或网络的不同互动如何影响网络搜索任务中的记忆塑造。本研究有助于完善对聊天机器人互动与短期学习的理解,并强调与工具互动的性质(而非工具本身)可能影响学习体验。未来研究可探讨在浏览网络和/或与LLM代理互动时执行的不同行动如何与Cheng等人(2013)及其他类似模型的自我调节学习阶段相联系,并评估其对学习的影响。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号