任务-技术匹配以及生成式人工智能在学生全球虚拟团队中的高效应用
《International Journal of Management Education》:Task-technology fit and the productive use of generative artificial intelligence in student global virtual teams
【字体:
大
中
小
】
时间:2026年04月28日
来源:International Journal of Management Education 7.4
编辑推荐:
温迪·法雷尔|埃尔内斯托·塔沃莱蒂|德鲁夫·普拉塔普·辛格|詹妮弗·李|瓦斯·塔拉斯
德国慕尼黑应用科技大学,Schachenmeierstra?e 35,80636慕尼黑
**摘要**
本研究探讨了在基于虚拟团队的全球性国际商务项目中使用生成式人工智能(GAI)与
温迪·法雷尔|埃尔内斯托·塔沃莱蒂|德鲁夫·普拉塔普·辛格|詹妮弗·李|瓦斯·塔拉斯
德国慕尼黑应用科技大学,Schachenmeierstra?e 35,80636慕尼黑
**摘要**
本研究探讨了在基于虚拟团队的全球性国际商务项目中使用生成式人工智能(GAI)与团队表现及同伴评价之间的关系。针对关于GAI在多大程度上能提升学习成果的持续争论,本文应用了“任务-技术匹配”(Task-Technology Fit, TTF)理论来分析哪些特定的GAI应用场景能够提升协作学习中的表现。通过对一个由3193名学生组成的国际样本进行研究,这些学生在实际的客户组织中参与虚拟咨询团队,我们探讨了不同GAI应用与团队报告成绩和同伴评价之间的关联。研究发现,将GAI用于校对和学习过程能够积极促进团队和个人的整体表现;相反,在项目工作中将其用于娱乐目的并不会对项目成果产生积极影响,反而可能对表现产生负面影响。通过将TTF理论延伸到基于团队的、全球性的、以表现为导向的教育环境中,本研究表明,仅仅使用GAI并不能保证更好的结果。实际上,性能的提升取决于将GAI的应用与任务需求及良好的学术实践相契合。研究结果强调了教学指导的重要性,这种指导有助于学生了解在基于体验的团队学习中何时以及为何目的可以使用GAI。
**1. 引言**
在过去三年中,像ChatGPT、Google Gemini和Microsoft Copilot这样的生成式人工智能工具给管理教育领域带来了显著变化(Pulk & Koris, 2025)。这引发了关于这些工具可能对学生批判性思维能力产生负面影响的广泛讨论,以及传统评估方法的效能是否下降的质疑(Rudolph et al., 2023)。迄今为止的大多数批评和实证研究都集中在个体层面上的GAI使用行为,而较少关注GAI在团队环境中的应用。鉴于过去三十年来团队成为大多数商学院最常用的教学方法之一(Hincapie & Hill, 2024; Kalliath & Laiken, 2006),理解GAI对团队的影响对于管理教育者来说尤为重要。由于GAI技术的多样化应用方式,对其在实际团队背景下的使用情况有实证了解至关重要。特别是当来自不同国家和文化背景的学生在跨时区的全球虚拟团队中合作开展体验式国际咨询项目时(Farrell et al., 2024),这些见解显得尤为关键。
我们对GAI在高等教育中的影响和成果认识正在迅速发展。一些研究表明,GAI可以将表现提升多达40%(Dell’Acqua et al., 2023; Noy & Zhang, 2023)。因此,人们普遍认为未来的职业成功将取决于一个人如何、何时以及为何目的使用GAI(Bozkurt, 2024)。教育者需要为学生准备一个GAI已成为必备工具的未来工作世界(Guha et al., 2024)。因此,GAI代表了高等教育的范式转变,要求教学、研究和行政实践的相应变革(Jacques et al., 2024)。已有研究开始探讨将GAI整合到课程中的效果,部分研究表明适当的整合有助于培养和提升批判性思维能力(Kimmel, 2024; Larson et al., 2024)。此外,GAI还被证明可以增强学生的自我效能感和学习动机(Gao et al., 2024),这表明它作为激励工具具有巨大潜力。GAI还可以支持信息与通信技术(ICT)自我效能感的提升,促进自主学习;将基于GAI的支持活动纳入课程有助于培养学生的独立性和自主学习能力(Esiyok et al., 2024)。尽管GAI具有诸多潜力,但同时也存在一些重要的伦理问题,比如数据隐私和算法偏见(Jacques et al., 2024),这些问题可能导致内容偏见或不适当(Limna et al., 2023),进而引发关于负责任使用GAI的伦理准则需求(Fu et al., 2024)。在管理学习中,将GAI用于内容生成并复制粘贴到作业中会引发关于透明度、质量和信任度的担忧(Schneider & Haried, 2024),已有案例显示这可能导致剽窃和作弊行为(Rejeb et al., 2024)。Valcea等人(2024)还警告过度依赖GAI可能阻碍批判性思维的发展,尽管GAI能帮助完成基本任务,但它会妨碍更高层次思维技能的培养。因此,教育政策制定者需要在制定策略时应考虑GAI的利弊,以最大化其在学习和管理中的变革潜力(Kakhki et al., 2024)。尽管学者们呼吁将GAI整合到高等教育中,但还需强调课程中应包含GAI素养及相关伦理考量(Jacques et al., 2024; Walczak & Cellary, 2023)。
在关于这项技术及其可能被学生滥用的广泛争论中,一个关键缺失的是对学生们实际使用GAI情况的实证研究(Ratten & Jones, 2023)。虽然许多研究考察了个别学生的AI使用情况,但它们通常局限于特定国家,并侧重于采纳率(Chan & Hu, 2023; Chan & Lee, 2023; Ravi Kumar & Raman, 2022; Tindle et al., 2023),关于GAI在团队项目中的应用及其对个人和团队表现影响的实证研究仍然有限(Onal & Kulavuz-Onal, 2024)。现有研究表明,学生使用GAI的意愿受多种因素影响,其中最重要的因素是对任务表现的预期(Duong et al., 2023),但目前尚不清楚GAI具体支持哪些任务,以及这些任务是如何导致在体验式国际咨询项目中表现下降和学术实践不良的。
目前围绕GAI的研究主要集中在个体表现(如Dell’Acqua et al., 2023; Noy & Zhang, 2023)、使用GAI的行为动机(如Soodan et al., 2024)以及其在学术中的伦理影响(如Farrell et al., 2024)等方面。然而,很少有研究探讨学生实际如何在学术中使用GAI,例如用于哪些类型的学术任务(如研究、创意构思、写作支持等),以及这种使用如何提升学生在体验式国际咨询项目中的表现及整个团队的项目成果。
以往关于管理教育中GAI的研究主要集中在态度、接受意愿、自我效能感和自主学习方面(Farrell et al., 2024; Huang et al., 2024; Li et al., 2024; Wang et al., 2025),但在复杂团队学习环境中GAI具体应用与表现成果的实证证据仍较为有限。为了理解这一问题,我们的研究基于“任务-技术匹配”理论(Goodhue & Thompson, 1995),该理论认为当技术能力与任务需求相匹配时,表现会得到提升。具体而言,我们提出了以下研究问题:
1) 全球的学生如何使用GAI来完成不同的学习任务?
2) 在基于虚拟团队的国际咨询项目中,GAI在哪些任务上能有效提升团队表现?
3) 在基于虚拟团队的国际咨询项目中,GAI在哪些任务上能有效提升个人表现?
据我们所知,目前缺乏这样的全球性研究视角,而本研究正是为了填补这一知识空白。因此,本研究的目的是通过了解GAI在特定任务中的应用如何提升个人和团队表现,特别是在基于虚拟团队的国际咨询项目中,为相关讨论做出贡献。我们不仅关注由教师评估的最终项目成绩(团队表现),也关注同伴评价所反映的个人表现。
下一节将回顾有关GAI在教育中有效性的最新文献,重点关注需要国际协作的体验式国际咨询项目,并基于这些文献提出假设以供实证测试。随后部分将描述研究背景、样本和方法。最后,将对分析结果进行阐述,并从理论和实践角度进行讨论,同时指出研究的局限性和未来研究方向。
**2. 文献综述**
体验式国际咨询项目为学生提供了实践跨文化沟通、协调、冲突解决和谈判等关键技能的机会(Stock & Edelson, 2025; Tuke et al., 2021)。这些技能在现实工作环境中具有很高的迁移价值,也越来越受到重视。然而,从文化差异和时间区差异到理论与实践结合的挑战等因素,都可能显著增加学生在项目中的认知负担。认知负荷理论指出人类记忆存在局限(Kirschner et al., 2018),而协作可以帮助减轻这些限制(Collaborative Cognitive Load Theory, Janssen & Kirschner, 2020),尤其是对于复杂的体验式团队咨询项目来说。通过分配认知负荷,协作可以增加团队的有效能力(Kirschner et al., 2018)。不过,协作也会引入交易成本(Janssen & Kirschner, 2020),尤其是在来自不同国家和文化背景的学生在不同时区进行合作时更为明显。如果管理不当,这些成本可能阻碍学习(Kirschner et al., 2018)。虽然协作学习能带来诸多实际收益,但也可能因协调问题(如工作量、会议时间等)带来麻烦。
GAI为缓解这些挑战提供了途径,可以减轻某些类型的认知负荷,并提升协作学习效果。例如,它能减少相关负荷(Avello-Martínez et al., 2024),并为具有不同背景的团队成员(如非母语者或有沟通障碍者)提供针对性支持(Baek et al., 2024; Farrelly & Baker, 2023; Perkins et al., 2024)。此外,GAI可以帮助学生启动创意过程、提供工作反馈,并作为澄清概念或获取所需信息的资源(Lin, 2023)。这种支持有助于学生在协作写作或问题解决任务中取得成功。不过,仅仅使用GAI是否就能带来更好的表现?还是说在某些特定任务上使用GAI才能产生更好的效果?
已有理论试图解释学生使用GAI的原因,但如技术接受模型(Duong et al., 2023)或统一技术接受与使用理论(Fu et al., 2024)等,主要侧重于用户的感知和整体使用意图。然而,更好地理解技术与其任务匹配度的方法是“任务-技术匹配”理论(Task-Technology Fit theory, Goodhue & Thompson, 1995)。该理论认为,为任务选择合适的技术与个人表现之间存在关联。图1展示了Task-Technology Fit(TTF)模型。当任务特征与技术特征相匹配时,可以实现良好的任务-技术匹配。Goodhue和Thompson(1995)指出,任务涉及将输入转化为输出,任务特征指特定任务的要求,这些要求会影响技术选择;技术特征则指技术本身的功能和特性。良好的匹配意味着技术能有效支持任务,这在高等教育中尤为重要,以确保学生能够达到预期的学习成果(Al-Dokhny et al., 2024; Soodan et al., 2024)。根据TTF理论,如果任务-技术匹配良好,表现应该会有所提升。由于Generative Artificial Intelligence(GAI)有广泛的应用前景,并且人们对它的期望很高,因此真正理解这项技术能在哪些具体任务上支持表现同时保持与良好学术实践的一致性,在协作性的体验式国际咨询项目中至关重要。下载:下载高分辨率图片(185KB)下载:下载全尺寸图片
图1. 任务-技术匹配模型
在这项研究中,TTF被定义为特定项目任务的需求与GAI的功能能力之间的匹配程度。任务特征指的是基于项目管理的教育中常见活动的认知和实践要求,例如学习新概念、生成想法、起草文本和校对书面输出。技术特征指的是GAI系统的能力,包括解释和支架支持、语言生成、错误检测和语言优化。当GAI的能力直接支持任务的主要要求时(例如,使用GAI进行校对与需要错误修正和清晰度的任务相匹配),就实现了匹配。相反,当GAI用替代品取代核心认知参与而非支持它时(例如,直接为分析任务生成内容),就出现了不匹配。这种针对任务的匹配视角使得可以研究不同GAI使用方式在全球虚拟团队(GVT)项目中的性能影响。
2.1. 技术特征
关于使用GAI的性能影响,Noy和Zhang(2023)发现它将平均时间投入减少了40%,并将质量提高了18%。他们还发现工人之间的不平等现象减少了。然而,是技术的哪些方面使得这些改进成为可能呢?
GAI的一个特征,像ChatGPT一样,是它能够自动化各种认知任务。根据Korinek(2024)的说法,这些任务包括写作、研究、编码,甚至数学推导。GAI的另一个特征是它能够生成创意内容,包括文本、代码和图像(Schneider & Haried, 2024)。GAI的一个显著特征是上下文意识。尽管明确提示上下文很重要,但GAI随后可以相应地进行调整(Korinek, 2024)。此外,从大量数据集中合成知识并解释数据是GAI的一个决定性特征(Panda & Kaur, 2024)。这些模型能够识别模式、提取关键见解,甚至生成复杂研究论文的摘要,使学生更容易获取和理解信息。许多这些能力的关键实现因素是自然语言处理(NLP),这是人工智能的一个分支,专注于人类语言的自动分析和表示(Cambria & White, 2014)。NLP技术对于GAI处理和生成人类语言的能力至关重要,使其能够执行诸如文本摘要、文档分析、特征提取和主题建模等任务。这些方法已经在教育中发挥了重要作用,提高了文本信息的可访问性和可用性(Shaik et al., 2022)。
2.2. 任务特征
在提供数据的体验式国际咨询项目中,学生必须在一个GVT中跨文化协作,为一家真实的公司创建市场进入提案。这种“咨询风格”的任务涉及几个关键任务。鉴于许多学生缺乏撰写全面市场进入提案的经验,他们需要就复杂任务(如行业分析、市场研究、营销策略和财务规划)以及任务本身寻求澄清。此外,团队还需要进行彻底的研究,从总结研究报告到深入分析市场趋势和竞争定位。创意生成是另一个关键任务,要求团队成员头脑风暴从创新营销策略到潜在广告内容等各种想法。校对对于确保所有沟通和提案内容的清晰度和准确性至关重要,因此它是项目的重要组成部分。由于跨文化工作和完成市场进入提案对许多学生来说可能是新的,他们可能需要学习关于跨文化协作、各种业务流程以及与任务相关的具体任务的支持。因此,正如在学术任务中预期的那样,学习也是与此任务相关的一个重要部分。最后,学生需要确保他们能够清晰有效地写作,无论是通过电子邮件解释他们的想法还是阐述复杂概念。
2.3. 任务-技术匹配
在这方面,发现GAI对于许多任务来说是一个合适的工具。然而,对于某些学术任务来说,这个工具可能不太适用。例如,Korinek(2023)建议GAI适用于创意生成、写作和研究等任务。此外,GAI适合将研究内容总结为通俗语言(Anderson et al., 2023),创意生成和学术写作(Hsu, 2023)。Batista等人(2024)进一步支持了这一点,他们指出:“GAI工具可以通过在内容生成、分析和反馈等任务中提供支持来显著提升学习体验”(第676页)。GAI可以支持头脑风暴,开发解决现实世界问题的创新方案,并培养学生的创意写作技能(Baek et al., 2024)。学生从使用生成式GAI进行学术任务中受益,因为它提高了信息检索的效率,支持学术写作,并帮助克服诸如写作障碍等挑战(Haase & Hanel, 2023; Zhai et al., 2024)。GAI工具在学术任务中展示了促进创造力的潜力,在某些情况下达到了人类水平的创造力(Guzik et al., 2023)。
另一方面,关于过度依赖AI生成的内容存在伦理问题(Zhai et al., 2024),这并不适合这项任务,因为这不仅可能导致幻觉问题,还可能削弱学生的学习和解决问题的能力(Noy & Zhang, 2023),尤其是在这种体验式国际咨询项目中。此外,GAI还提供有趣的游戏(Malik, 2024),也可以用于娱乐。一项针对早期采用者的研究表明,有20%的人只是为了娱乐而使用它(Skjuve et al., 2024)。同样,另一项研究表明,ChatGPT(免费)用户常常分心,经常拖延学术工作(Bouzar et al., 2024)。因此,可以预期如果学生仅仅为了娱乐而在学术任务中使用GAI,而不是专注于任务本身,他们的表现可能不会很好。如表1所示,根据文献,澄清、研究、创意生成、校对、学习和写作帮助都是与学术商业咨询任务相关的任务,在这些任务中GAI会是一个很好的选择,并可能带来更好的表现。复制粘贴使用(将GAI的工作当作自己的提交)和仅仅为了娱乐(即在项目中使用工具做有趣的事情而不是工作)在这种情况下都不适合使用该工具,因此不会带来更好的表现。
表1. 任务-技术匹配:生成式人工智能在学术任务中的使用
| 任务/技术特征 | 交互式响应能力 | 认知任务自动化能力 | 学术完整性能力 | NLP能力 | 上下文意识能力 | 支持论文 |
|-------------------|-------------------|-----------------|------------------|------------------|---------------------|
| Anderson et al. (2023) | | | | | | |
| | | | | | |
| | | | | | |
| Korinek (2024) | | | | | |
| | | | | | |
| 复制粘贴使用 | 不匹配 | 不匹配 | 不匹配 | 不匹配 | 不匹配 | |
| | | | | | |
| Zhai et al. (2024) | | | | | |
| | | | | | |
| (Cao et al., 2025; Schneider & Haried, 2024) | | | | | |
| | | | | | |
| | | | | | |
| Hsu (2023) | | | | | |
| | | | | | |
| | | | | | |
| Esiyok et al., 2024; Gupta & Chen, 2022 | | | | | |
| | | | | | |
| | | | | | |
| | | | | | |
| Bouzar et al., 2024; Skjuve et al., 2024 | | | | | |
因此,提出以下假设:
假设1:在GAI与任务匹配良好的用例中,使用GAI将带来更好的GVT表现。
假设2:在GAI与任务不匹配的用例中,使用GAI将导致较差的GVT表现。
团队表现还取决于团队成员如何看待彼此。为了表现良好,团队成员需要相信某个成员的贡献是相关的并且质量足够高。然而,GAI的使用可能会影响个人在团队中的形象。例如,Tavoletti等人(2025)采用实验设计比较了随机分配到四个实验条件下的学生的满意度、表现和创造力:1)从人类那里获得的反馈;2)从AI那里获得的反馈,但学生被告知反馈是由AI生成的;3)从AI那里获得的反馈,但学生不知道反馈是由AI创建的;4)没有提供反馈(控制组)。在接受人类反馈的团队和不知道反馈来自AI的团队之间,个体满意度或团队表现没有显著差异。然而,如果透露了反馈的AI来源,团队的创造力显著下降。这表明仅仅披露AI的来源就改变了团队对反馈的解读和整合方式。因此,学生对AI来源的认知可能会使他们以更加怀疑或不那么合作的态度对待反馈。同样,当团队成员知道或怀疑某个同伴使用了GAI时,这也可能对其看法和同伴的贡献产生负面影响,特别是因为许多学生害怕无意的作弊行为(Baek et al., 2024)。另一方面,如果学生不披露使用情况,并且/或者按照表1中确定的任务技术匹配和良好的学术实践使用GAI,那么对该同伴的整体看法应该会提高。
假设3:在GAI与任务匹配良好的用例中,个人使用GAI将获得GVT团队成员更好的评价。
假设4:在GAI与任务不匹配的用例中,个人使用GAI将导致GVT团队成员较差的评价。
3. 方法
本研究采用了一种定量、横断面的多层次队列设计来检验GAI使用与表现之间的关联。在个人层面,通过同伴评价来衡量表现;在团队层面,则通过最终交付物的团队表现来衡量。数据收集于2024年春季,在一项大规模的为期9周的全球虚拟团队(GVT)咨询项目中,该项目属于国际商务教育的一部分。在这个项目中,来自100多个国家的学生通过受限随机分配被随机分配到具有全球多样性的完全在线团队中,这些团队的任务是为一家真实的公司制定市场进入或扩展策略。受限随机化的目的是确保每个全球虚拟团队都包括来自不同国家的成员。该项目旨在模拟专业的跨境协作,要求团队管理跨时区的沟通,异步协调工作,并在项目结束时由多位外部评分者评估最终交付物。学生通过自选的工具(如电子邮件、消息传递、视频通话)进行协作,GAI的使用频率在项目结束时进行了自我报告。为了监控团队合作过程并控制搭便车行为,参与者每周完成同伴评价,评估特定的合作行为。这种结构能够收集多层次的纵向数据,包括随时间变化的个人同伴评价属性和团队层面的表现指标,非常适合研究GAI如何融入协作工作及其与贡献和成果感知之间的关系。该项目在整个项目过程中系统地收集数据,以监控和控制搭便车行为。数据收集使用了Qualtrics平台,确保了捕获所需信息的方法结构化和可靠性。
每周的同伴评价和团队得分在Qualtrics数据收集平台中被链接起来,以便将观察结果与正确的学生和团队关联起来。在分析文件中使用了匿名学生和团队ID。
3.1. 样本
参与者通过他们的大学课程参与了这个体验式咨询项目。教授们将这个咨询项目纳入课程中,使学生不仅在解决公司的国际化需求方面获得实际经验,还能了解在GVT中工作的典型障碍。在被分配到团队之前,参与者必须通过一个预备测试,以确保他们熟悉项目规则和期望。只有参加标准本科和研究生GVT项目的学生被纳入;独立工作(即没有分配到团队)的学生或参加单独的高中项目的学生被排除在外。在这些程序性排除之后,没有进行额外的预分析排除。如表2所示,共有3193名受访者。由于GAI的使用由学生自行决定,因此使用状况反映了个人偏好而非任务要求。稍高比例的受访者(45%)报告在项目中以某种方式使用了生成式人工智能(GANI),而未使用的受访者比例为40%。受访者的性别分布相当平衡,其中47%自认为是男性,46%为女性,另有少量(0.2%)表示其他性别。表2显示了人口统计信息。
年龄分布显示,最大比例的受访者(60.4%)年龄在20岁以下,其次是21-25岁(29.6%)。较高年龄段的受访者比例相对较低。在教育水平方面,大多数受访者(83.8%)正在攻读本科学位,其次是硕士学位持有者(7.5%)和执行硕士学位持有者(6.7%)。
受访者的工作经验差异很大,其中2-3年工作经验的比例最高(19.7%)。值得注意的是,19.3%的受访者从未有过工作经历,13.8%的受访者仅有0-6个月的工作经验。管理经验较少见,只有63.1%的受访者曾担任过主管职务。在具有管理经验的人中,14.4%曾监督过一两个人,更少数人监督过更多的人或经营自己的企业。
受访者来自103个国家,其中美国(33.8%)、哥伦比亚(7.2%)、加纳(5.6%)和巴基斯坦(5.3%)的占比最高。
尽管参与者在国籍和之前接触GANI的经历方面存在差异,但本研究的分析重点是在标准化教学设计下,GANI使用中的任务特定差异及其与绩效结果之间的关联。所有参与者都完成了相同的项目任务序列,遵循了相同的指导原则,并在同一教学框架下操作。因此,模型强调的是任务特定的GANI使用情况,而非个人背景特征。
3.2. 测量方法
所有参与者都在相同的时间表内完成了相同的每周同行评价问卷;团队交付物由多位外部评分者根据共同的标准进行评分,这些评分者并不了解团队是否使用了GANI。问卷、评分标准和说明都是标准化的。数据包括自我报告(人口统计信息、GANI使用情况)、同行评价(每周评估)和专家/外部评分(团队绩效)。
为了减少偏见并了解学生在使用ChatGPT等生成式AI工具的情况,向他们解释了以下内容:“我们没有关于‘生成式AI’(如ChatGPT)使用的明确政策。我们通常不反对甚至鼓励使用生成式AI,尽管我们知道不同教授对此有不同的看法。目前,我们试图了解学生是否以及如何使用AI来完成项目。”
3.2.1. 独立变量:GANI使用
为了了解受访者如何使用GANI,设计了一个涵盖多种常见用例的问题。这个问题的设计基于研究团队五名成员的集体见解,他们考虑了多种可以应用GANI的情境。选项的设计旨在涵盖具体和一般用途,确保涵盖所有潜在的应用场景。选项包括:“我在该项目中没有使用生成式AI”,“为了寻求对难懂话题的澄清”,“进行研究(查找论文、参考资料、来源)”,“生成想法”,“生成内容(可以直接或稍作编辑后复制粘贴到我的论文中)”,“用于校对、语法检查、编辑”,“为了学习新主题或扩展知识”,“帮助撰写电子邮件和作业(给AI提供要点列表或草稿,要求其转换成格式正确的电子邮件、陈述或论文部分)”,“只是为了娱乐或 casual learning”,以及一个开放的“其他”选项。为了确保同行评价的公正性并保持项目的自然性,研究设计没有要求学生向团队成员披露他们是否使用了GANI,也没有系统地要求这样做。
尽管虚拟团队任务(GVTs)中的任务本身是多样化的,但本研究中考察的任务类别代表了项目式管理教育中常见且具有教学意义的活动;这些任务并不旨在涵盖全球虚拟团队中可能执行的所有任务。
请注意,在本研究中,任务契合度(TTF)并未被量化为一个单一的数值指数。相反,它通过任务要求与报告的GANI使用之间的对齐来分析。任务类别(如学习、构思、起草、校对)捕捉了关键的任务特性,而自我报告的GANI使用类型则捕捉了相应的技术特性。通过评估理论与任务要求相匹配的GANI使用是否与个人和团队层面的绩效结果呈正相关来检验契合度,而那些反映了任务与技术不匹配的使用情况则不予考虑。这种方法允许通过观察到的绩效影响来评估任务与技术的契合度,而不是通过一个单独的综合得分。
3.2.2. 因变量
团队绩效通过每个GVT的国际市场进入咨询报告的最终评估来量化。作为体验式项目的一部分,每个团队在八周内为一个真实客户组织制定了全面的咨询提案。该任务要求团队进行市场和分析竞争对手的工作,并提出连贯的市场进入或扩张策略,包括目标市场选择、定位和营销策略、人力资源考虑以及运营建议。最终报告是该项目的主要总结性成果,反映了团队整合研究、分析、协调和跨地理位置分散的成员执行的能力。报告由多位评分者使用1-7的标准评分尺度进行独立评估,分数越高表示整体表现越好。评分者主要是参与大学的课程讲师,他们并不了解团队或个人是否使用了GANI。
为了减少评分者的主观性影响,每个团队的绩效得分是对该团队所有独立评分的平均值。这种汇总方法与使用X-Culture数据的先前研究一致,并提供了对全球虚拟咨询项目团队层面绩效的保守且外部评估的指标。
个体层面的绩效通过每个全球虚拟团队内同伴的平均评分来量化。在整个项目中,团队成员从多个行为维度评估彼此的贡献,这些维度反映了努力、合作和智力投入。同伴评价每周收集一次,共进行了五次评估,从而使绩效感知能够在持续的互动中形成,而不仅仅是一个时间点的评价。为了减少歧义,队友的名字会自动插入每个评估项目中。在每次评估中,学生会在五个李克特量表(1=低,5=高)上对其他团队成员进行评分,评估的维度包括:感知到的友好程度、感知到的努力和帮助程度、感知到的智力和创造性贡献,以及对团队领导和协调的贡献。对于每个个体,评分是在各项评分、评分者和时间上平均得出的,以得出一个综合的同伴评估绩效得分,反映个体在整个项目期间对团队运作的持续贡献。这种方法捕捉了同伴对个体在整个项目期间对团队运作和任务执行的持续贡献的全面评估,而不仅仅是瞬间的印象或自我报告的绩效。
在项目开始之前,所有参与者都完成了必要的培训模块和准备测试,以确保他们熟悉项目期望、合作规范和评估程序,包括完成每周同行评估的标准化指导。跨多个评分者和时间点汇总的重复同行评估是一种广泛使用且经过验证的方法,用于评估大规模团队研究中的个体贡献(例如,De Jong等人,2016年;LePine等人,2008年)。在这种设计中,剩余的评分者特异性误差构成了随机的测量误差,这会减弱估计效果的准确性,意味着统计上显著的关系代表了保守的估计。
3.2.3. 控制变量
控制变量包括性别、年龄、工作经验和管理经验。教育水平在项目注册时记录下来。工作经验问题询问的是“您有多少年的工作经验?”,答案选项范围从“从未有过工作”到“超过10年”。管理经验通过以下问题来衡量:“您是否有管理经验?”答案选项范围从“没有,我从未担任过主管”到“是的,我拥有超过五名固定员工的自己的企业”。最后,为了确保特定项目中的GANI使用能带来比一般使用更好的结果,它被作为一个控制变量纳入。为了控制使用情况,要求受访者通过选择“我在该项目中没有使用生成式AI”来表明他们是否使用了GANI。同样,由于一些研究表明增加使用量与提高熟练度相关(Dell’Acqua等人,2023年),而其他研究则警告过度依赖GANI的负面影响(Valcea等人,2024年;Zhai等人,2024年),因此还包括了使用频率的测量。问题询问学生在该项目中平均每周使用GANI的时间,答案选项范围从15分钟或更少到超过10小时。
3.3. 分析
使用STATA进行了描述性统计、相关性分析、回归分析和混合效应多级分析。根据结果层次分别估计了不同的模型。对于团队层面的结果,使用了OLS回归。在个体层面,使用了带有随机截距的线性混合效应模型来解释团队内部的聚类现象。没有采用协变量平衡或匹配程序。混合效应多级模型是一种用于分析具有嵌套结构的数据的统计技术,意味着数据点在更高层次的单元内聚类。这种方法考虑了固定效应(群体层面效应)和随机效应(群体层面效应)(Garson,2013年)。
4. 结果
本研究旨在考察个体和团队层面使用GANI与GVT绩效之间的关系,绩效通过团队的报告等级和同伴评价来衡量。分析采用了两种方法:多线性回归用于团队绩效,多级混合效应分析用于同伴评价。在运行分析之前,评估了多项目同行评价量表的可靠性,Cronbach's alpha值为0.94,表明内部一致性很强。评分者间的可靠性在各个维度上的范围为0.75到0.79,表明评分者之间有相当大的一致性。表3显示了研究中包含的个体层面变量之间的Spearman等级相关系数。可以看出,平均同伴评价与特定用途(如校对)的使用有中等程度的正相关(r=0.13,p<.01)。对于其他GANI使用目的(如研究、想法生成、学习、娱乐),也与平均同伴评价有显著的正相关。此外,性别、教育水平和工作经验与管理经验与平均同伴评价呈负相关。需要注意的是,这些相关性没有考虑到数据的层次结构。
表3. Spearman相关矩阵
变量 MSD 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
1. 同伴评价平均 4.06 0.73 2. 女性 0.49 0.50 0.16 ?? 3. 年龄 1.51 5.06 ?0.02 ?0.08 ?? 4. 学历 2.37 0.89 ?0.10 ?? 0.01 0.50 ?? 5. 工作经验 3.44 1.77 ?0.08 ?? ?0.10 ?? 0.33 ?? 6. 管理经验 1.56 0.95 ?0.11 ?? ?0.11 ?? 0.25 ?? 0.21 ?? 7. GAI使用 - 是/否 0.53 0.50 0.10 ?? 0.04 ? ?0.05 ? ?0.01 ?0.14 ?? ?0.08 ?? 8. 使用 - 澄清 0.29 0.45 0.03 0.02 0.00 ?0.02 ?0.11 ?? ?0.05 ? 0.35 ?? 9. 使用 - 研究 0.14 0.35 0.06 ?? ?0.03 0.00 ?0.02 ?0.08 ?? ?0.05 ? 0.23 ?? 10. 使用 - 构思 0.25 0.43 0.08 ?? 0.02 ?0.05 ? ?0.07 ? ?0.03 ?0.03 0.32 ?? 11. 使用 - 复制粘贴 0.03 0.17 ?0.01 ?0.05 ? ?0.04 ?0.05 ? ?0.03 0.10 ?? 0.13 ?? 12. 使用 - 校对 0.19 0.39 0.13 ?? 0.04 ? 0.05 ? ?0.01 0.28 ?? 0.26 ?? 0.17 ?? 0.22 ?? 13. 使用 - 学习 0.14 0.35 0.09 ?? 0.01 0.01 0.01 ?0.05 ? 0.00 0.22 ?? 0.32 ?? 0.24 ?? 14. 使用 - 帮助写作 0.03 0.18 0.02 0.01 0.02 0.00 ?0.01 ?0.01 0.11 ?? 0.13 ?? 15. 使用 - 娱乐 0.10 0.29 0.06 ?? ?0.03 ?0.01 ?0.04 0.00 0.01 0.20 ?? 0.19 ?? 0.17 ?? 0.20 ?? 16. 使用频率 1.00 1.23 0.13 ?? 0.03 0.02 0.04 ?0.14 ?? ?0.04 0.52 ?? 0.60 ?? 0.40 ?? 0.54 ?? 0.19 ?? 0.46 ?? 0.43 ?? 0.22 ?? 0.33 ??
注:由于数据包括序数和二进制变量,本研究报告了Spearman相关系数,违反了Pearson相关性的假设。尽管如此,还是进行了Pearson相关性分析,并比较了两种方法,发现两种方法之间的关联模式是一致的。
为了了解GANI使用在多大程度上可以解释同伴对使用者的看法,进行了个体层面变量的多线性回归分析。结果表明模型在统计上是显著的,相应的R2值表明该模型解释了平均同伴评价2.8%的方差。然而,为了控制数据的嵌套性质,进行了多级混合效应线性回归分析。本研究使用了最大似然估计方法进行分析,并考虑了方差分量。通过似然比(LR)检验将混合效应模型与一个没有随机效应的简单线性模型进行比较,以确认多层级模型的适用性。LR检验得出的卡方值为5932.02,自由度为2,p值为0.00,这表明混合效应模型对数据的拟合度显著优于线性模型。如表4所示,时间与平均同伴评价之间存在非常小但显著的正相关关系,表明同伴的平均评价会随时间增长。使用生成式人工智能(GAI)产生想法与更积极的同伴评价显著相关,使用它来校对书面作品也是如此,将其作为学习工具也是如此。最后,控制变量女性、教育水平和管理经验也与同伴评价显著相关,其中女性表现出正相关,而教育水平和管理经验则表现出负相关。
表4. 固定效应系数表:生成式人工智能的使用与平均同伴评价。
| 使用方式 | β | SE | Z | LL | UL |
|--------------|---------|--------|-----------|------------|
| 时间 | 0.00 | 0.00 | 1.98 | 0.05 |
| 使用GAI产生想法 | 0.04 | 0.04 | 1.00 | ?0.03 |
| 使用GAI进行澄清 | ?0.02 | 0.03 | ?0.71 | 0.48 |
| 使用GAI进行研究 | ?0.02 | 0.03 | ?0.51 | 0.61 |
| 使用GAI产生想法 | 0.06 | 0.03 | 2.13 | 0.00 |
| 使用GAI复制粘贴 | ?0.03 | 0.06 | ?0.45 | 0.65 |
| 使用GAI校对 | 0.12 | 0.03 | 4.25 | 0.00 |
| 使用GAI学习 | 0.09 | 0.03 | 2.99 | 0.00 |
| 使用GAI帮助写作 | ?0.04 | 0.05 | ?0.70 | 0.49 |
| 使用GAI娱乐 | 0.01 | 0.04 | 0.21 | 0.84 |
| 其他使用方式 | ?0.02 | 0.09 | ?0.22 | 0.83 |
| 使用频率 | 0.01 | 0.01 | 0.92 | ?0.01 |
| 年龄 | 0.00 | 0.00 | ?1.03 | 0.30 |
| 女性 | 0.22 | 0.02 | 11.18 | 0.00 |
| 教育水平 | ?0.05 | 0.01 | ?3.60 | 0.00 |
| 管理经验 | 0.01 | 0.01 | 1.77 | 0.08 |
| 经验 | ?0.03 | 0.01 | ?3.05 | 0.00 |
注:GAI指生成式人工智能。混合效应最大似然回归模型。N = 2480名个体,分布在664个组中。整体模型拟合度通过对数似然值?8297.9917来评估,Wald卡方统计量为282.75(p < 0.001),表明该模型对解释因变量的方差有显著贡献。
表5展示了混合效应模型中包含的随机效应的方差分量。这些方差分量量化了平均同伴评价中可归因于团队间差异和团队内个体差异的变异。最大的方差部分来自团队内的个体层面,而团队层面的方差解释的方差较少。此外,残差方差表明存在模型未能解释的平均同伴评价的变异。
表5. 随机效应方差分量:生成式人工智能的使用与平均同伴评价。
表6展示了混合效应模型的类内相关系数(ICC)。ICC值表示平均同伴评价总方差中可归因于团队间差异和团队内差异的比例。可以看出,17%的总方差可归因于团队间的差异。
为了了解团队层面GAI使用与团队表现之间的关联,将GAI使用数据和控制变量汇总到团队层面。报告评分平均值为5.05,标准差为0.80。通过多元线性回归分析发现,团队层面使用GAI与团队表现显著相关,解释了团队表现(团队报告)方差的8.4%。具体来说,使用GAI进行校对(β = 0.58)和学习(β = 0.46)对团队表现有正面影响;相反,使用GAI进行娱乐(β = ?0.53)对团队表现有负面影响。此外,团队的人口统计构成也起到了作用,女性成员比例较高时团队报告成绩较好(β = 0.51)。其他因素如年龄、工作经验和管理经验与团队表现无显著相关性。
表7的回归分析显示,在控制团队构成的情况下,团队层面使用GAI与团队表现显著相关,具体体现在团队报告的成绩上。使用GAI进行校对和学习对团队表现有正面影响,而用于娱乐的GAI使用则有负面影响。这些发现强调了在团队内部有效利用AI的重要性,并表明有策略地使用AI可以提升团队成果。
讨论部分指出,本研究旨在调查生成式人工智能(GAI)工具(如ChatGPT、Gemini、Copilot)与学术任务的匹配程度,这些任务是与协作国际贸易咨询项目相关的。我们探讨了GAI使用案例与任务要求之间的契合度是否有助于提升个人表现(通过同伴评价衡量)以及团队表现(通过报告成绩反映)。研究发现表明,有效利用生成式AI可以与任务要求相一致,并在个人和团队层面提升表现。使用GAI产生想法、校对和学习在个人层面上有显著效果,这与任务-技术匹配良好相符。然而,用于娱乐的GAI使用对团队表现没有显著影响。此外,大部分同伴评价的变异发生在个体层面,而团队层面的变异较少。
讨论还提到了GAI使用频率对团队表现的影响。当将GAI使用数据和控制变量汇总到团队层面时,报告评分平均值为5.05,标准差为0.80。通过多元线性回归分析发现,团队层面使用GAI与团队表现显著相关。具体来说,使用GAI进行校对和学习对团队表现有正面影响,而用于娱乐的GAI使用则有负面影响。团队的人口统计构成也对团队表现有影响,女性成员比例较高时团队成绩更好。其他因素(如年龄、工作经验和GAI使用目的)与团队表现无显著相关性。这些发现强调了在团队内部合理利用AI的重要性,并表明为特定目的策略性地使用AI可以提升团队成果。
总之,本研究结果表明,简单使用GAI并不会自动带来更好的结果。大多数学生并未以违反学术诚信的方式使用GAI。相反,教育者需要教授学生正确的使用方法,使他们既能理解AI的优势,也能意识到其局限性,并负责任地使用它。与先前的研究一致,这些发现建议在课程早期提供结构化的培训,明确GAI的使用规范和期望,并制定评估标准,强调批判性思维和反思能力,而不仅仅是技术熟练度。此类措施有助于确保学生表现差异真正反映了学习成果,而非人工智能素养或获取能力的差异。在教育技术领域,这项研究强调了超越关于是否允许在高等教育中使用生成式人工智能(GAI)的广泛辩论的重要性。相反,焦点应转向理解哪些具体应用与期望的学习和协作成果相一致,以及在何种条件下这些应用能够带来可衡量的效益。通过在大规模、全球性的虚拟团队背景下,运用任务-技术契合度(TTF)视角来考察GAI的使用案例,该研究为基于证据的政策制定、课程设计以及全球教师发展提供了有益见解。研究结果揭示了任务-技术适配性的细微影响,指出在基于项目的学习场景中,某些GAI应用比其他应用更有效。例如,学习和校对等任务对解释、澄清和错误检测有较高要求,这与GAI的核心功能高度契合。在这些情况下,人工智能的使用通过支持理解和优化工作来辅助认知努力,而不会取代核心分析工作。相比之下,在分析或整合任务中直接使用生成式人工智能进行内容生成,则会导致任务要求与技术能力之间的不匹配,因为它可能取代了必要的认知处理过程。这种区别有助于解释为什么在某些情况下,与任务相匹配的GAI应用能够带来更好的学习成果,而不匹配的应用则不会。
5.1 理论意义
我们的研究通过表明“适配性”并非技术本身的属性,而是特定技术应用于团队工作中的具体表现,从而完善了GAI在协作学习中的TTF理论。在团队层面,使用GAI进行校对和学习与团队报告的质量呈正相关,而将GAI用于项目工作中的“娱乐目的”则与团队表现呈负相关。在个体层面,当队友使用GAI进行创意生成、校对和学习时,其他队友对其的评价更正面。这一模式支持了TTF的核心观点,即性能提升取决于任务要求与工具功能的匹配程度。但同时也表明,对于GAI而言,分析单位必须是特定任务的配置,而不仅仅是“GAI的采用”。其次,研究结果表明GVT(Global Virtual Teams)中的TTF本质上是多层次的。同一技术可以支持个体贡献(如同伴评价所反映的),但在某些使用场景中与团队整体输出的关系较弱或不存在。数据表明,同伴评价中的大部分差异存在于个体层面而非团队层面,这凸显了将个体贡献过程与团队成果分开建模的重要性。第三,对假设的部分支持具有理论意义。一些在概念层面上看似“适配一致”的使用案例,在个体或团队层面并未与性能提升相关联。这表明在团队环境中应用TTF时,需要明确区分:(a) 改善个体执行和可见性的使用,以及 (b) 改善团队整合和最终交付成果的使用。最后,“在项目工作中将GAI用于娱乐目的”与团队表现之间的负相关关系表明,相关的反事实并非“不使用GAI”,而是“有效的GAI使用”与“分散注意力或偏离任务的GAI使用”之间的区别。在协调成本已较高的GVT项目中,偏离任务的GAI使用可能会增加流程损失并削弱共同目标,这与团队层面的负面结果一致。
5.2 局限性
本研究存在一些局限性。尽管我们努力识别出与一个体验式的国际合作咨询项目相关的所有任务,但所确定的案例可能无法代表GAI在教育环境中所有潜在的应用。依赖自我报告的数据可能存在偏见,例如社会期望偏见和参与者自我认知的局限性,这些因素可能影响他们的回答准确性。此外,GAI使用情况的分类测量方式可能掩盖了概念上相近行为之间的差异(如研究与学习),这可能是某些使用案例结果为零的原因之一。另外,同伴评估者可能对评估内容的信心不足,导致他们可能更倾向于评价那些经过精心制作的、连贯的GAI生成内容,即使这些内容缺乏深度或洞察力。值得注意的是,尽管同伴评价是通过标准化工具反复收集的,但仍可能存在评分风格和感知偏见的个体差异。特别是,队友对GAI使用的认知或怀疑可能会影响他们的评价结果。由于GAI使用的披露既不强制也不系统跟踪,因此这类偏见可能是非系统性的而非单向的。尽管如此,这种局限性反映了大规模自然主义教育研究中的一个固有权衡,在解释个体层面的性能效应时必须予以考虑。
除了这些局限性外,研究的测量策略也存在不足。GAI的使用是通过单一项目的分类自我报告来捕捉的,仅表明某个特定案例是否发生,而无法反映使用的强度、复杂度或质量。因此,这些测量方法无法区分GAI的表层应用与高技巧应用,也无法捕捉到迭代提示、对结果的批判性评估或整合质量。这种粗略的操作化方法可能降低了效应的大小,并可能解释了为什么一些理论上匹配的案例未能显示出显著效果。更细致的行为测量或使用日志将有助于全面了解GAI能力差异如何转化为性能结果。此外,统计模型仅能解释部分个体同伴评价和团队表现中的变异。虽然这与先前关于复杂协作学习环境的研究一致,但同时也表明,全球虚拟团队中的表现受到技术使用之外的多种因素影响,包括协调质量、动机、领导力、沟通规范和时区差异。噪声较大的自我报告预测因子和分类使用指标的结合增加了第二类错误的风险,表明一些不显著的效果可能是由于测量敏感性不足而非实际不存在的关系所致。此外,研究未考虑学生在使用GAI方面的熟练程度差异,这些差异可能显著影响GAI使用的有效性。学生英语流利程度的差异也可能影响GAI内容的可用性,以及同行对其评估的影响。
5.3 未来研究方向
本研究为未来的研究指明了几个方向。首先,未来的研究可以扩展管理教育中GAI应用的范围,探索本文未涉及的更多任务类型。通过研究任务-技术适配性如何影响不同类型任务的结果,可以更深入地了解GAI在多样化教育环境中的潜力。其次,未来的研究应考虑参与者之间GAI熟练程度的差异,考虑技能水平、能力和学习策略(如认知灵活性、数字能力和元认知意识)对任务表现的影响,从而更全面地理解GAI的教育影响。第三,研究人员可以探讨同伴评估者对主题的掌握程度如何影响他们对GAI辅助贡献的评估。第四,正如文献回顾中指出的,认知负荷理论(CLT)和协作认知负荷理论为理解认知负荷机制在信息过载背景下的作用提供了新的视角。最后,未来研究还可以探讨同伴对GAI使用的认知是否会对其评估产生影响。
总之,本研究为未来的研究开辟了几条路径。例如,可以探索GAI在管理教育中的应用范围,考察更多任务类型;研究GAI熟练程度对不同参与者表现的影响;分析GAI使用知识对同伴评估的影响;以及GAI对群体动态和协作公平性的影响。总之,这项研究为未来研究提供了丰富的方向。在团队层面上,将生成式人工智能(GAI)用于学习和校对与最终报告质量的提高呈现出正相关关系,而将其用于与任务无关的目的(“仅仅是为了娱乐”)则与团队绩效呈现负相关关系。在个人层面上,当团队成员将GAI用于创意生成、学习和校对时,会获得更积极的同行评价。相比之下,一旦考虑到特定任务的用途后,GAI的总体使用情况和使用频率并不能解释绩效差异。这些发现表明,生产力的提升源于将GAI的能力与任务的认知和协调要求相结合,而不是盲目采用该技术。结果还强调了多层面视角的重要性。与个人贡献相关的GAI使用模式并不总是与整体团队结果一致,这表明能够提升个人绩效的技术并不一定会自动转化为更好的集体成果。这一区别有助于解释为什么某些理论上可行的任务-技术匹配并未体现在团队层面的绩效上。总体而言,该研究表明,在全球虚拟团队中,与任务相匹配的生成式人工智能使用方式相比于随意使用能够带来更好的结果。这些发现突显了引导学生有目的地使用GAI的重要性,并为未来研究过程机制、技能发展及因果效应提供了基础。
**作者贡献声明:**
Wendy Farrell:撰写——审阅与编辑、撰写——初稿、可视化、验证、方法论、形式分析、概念化。
Ernesto Tavoletti:撰写——审阅与编辑、撰写——初稿、概念化。
Dhruv Pratap Singh:撰写——审阅与编辑、撰写——初稿、概念化。
Jennifer Leigh:撰写——审阅与编辑、撰写——初稿、概念化。
Vas Taras:撰写——审阅与编辑、撰写——初稿、数据整理、概念化。
**资金支持:**
本项工作得到了欧盟-NextGenerationEU计划的支持,该计划由意大利大学与研究部(MUR)的国家创新生态系统资助(项目编号:ECS00000041 - VITALITY - CUP D83C22000710005)。
**关于生成式人工智能和人工智能辅助技术在写作过程中的声明:**
在准备本工作的过程中,作者使用了ChatGPT来提升语言表达和可读性。使用该工具/服务后,作者对内容进行了必要的审阅和编辑,并对发表文章的内容承担全部责任。