《Journal of Intelligence》:Second Language Learners’ Cognitive Evaluation of GenAI Interactive Learning Experience: Scale Development and Network Analysis
编辑推荐:
随着生成式人工智能(GenAI)日益融入第二语言(L2)学习,越来越需要可靠的测量工具来评估学习者对GenAI中介的互动学习体验的认知评价。本研究在1130名中国大学生中开发并验证了GenAI二语互动学习体验量表(AI-L2-ILES)。基于互动体验视角并将其
随着生成式人工智能(GenAI)日益融入第二语言(L2)学习,越来越需要可靠的测量工具来评估学习者对GenAI中介的互动学习体验的认知评价。本研究在1130名中国大学生中开发并验证了GenAI二语互动学习体验量表(AI-L2-ILES)。基于互动体验视角并将其改编至L2学习情境,研究人员将学习者对GenAI互动的认知评价概念化为五个维度:有效性(Effectiveness)、社交性(Sociability)、新颖性(Novelty)、心流(Flow)和无缝性(Seamlessness)。探索性与验证性因子分析支持了这一五因子结构,并在性别和学科间提供了满意的信度、效度和测量不变性证据。网络分析进一步揭示,心流是最核心的维度,社交性与有效性的关联最强,而新颖性处于相对边缘的位置。网络结构在不同学科间保持稳定。总体而言,AI-L2-ILES为测量学习者对GenAI中介的互动性L2学习体验的认知评价提供了一种心理测量学上可靠的工具,并捕获了这一新兴构念的五个不同但相互关联的维度。该量表为考察L2学习者如何认知评价其与GenAI的互动提供了一个有用的工具。
随着生成式人工智能(GenAI)在第二语言(L2)教育中的迅速普及,学习者的互动对象与互动过程发生了深刻变化,如何系统评估L2学习者对GenAI互动学习体验的认知评价成为亟待解决的方法论问题。现有量表多聚焦于GenAI反馈下的L2技能习得或教师的相关素养,缺乏对学习者持续互动中形成的整体经验评价的测量工具。此前,服务心理学中的智能服务互动体验(SSIE)框架虽为理解用户与智能系统互动提供了参考,但其维度源于服务体验情境,尚未针对L2学习的教育特性进行适配。为此,研究人员基于SSIE框架进行情境化改编,开发了GenAI二语互动学习体验量表(AI-L2-ILES),并创新性地引入维度层级网络分析,以揭示各维度间的直接关联与相对重要性。
研究人员以中国湖南、河南、江苏、浙江四省五所高校1130名有GenAI辅助L2学习经验的大学生为样本,采用便利抽样通过课程管理平台和学生微信群招募,数据收集于2025年12月16日至24日,有效问卷经注意力筛查后随机分为两个子样本(各565人)。在量表开发阶段,6名语义学、心理测量学与计算机辅助语言学习专家进行了定性内容评估,27名来自不同学科与学历层次的学生通过焦点小组讨论了维度适用性。基于专家意见和学生反馈,删除了“易用性”与“安全性”,将“社交化”重构为“社交性”,最终形成有效性、社交性、新颖性、心流、无缝性五个维度,共16个条目。在统计分析上,研究人员运用探索性因子分析(EFA)与验证性因子分析(CFA)检验因子结构,采用McDonald's ω评估信度,以平均方差抽取量(AVE)、异质-单质比率(HTMT)和Fornell-Larcker标准评估效度,并通过多组CFA检验跨性别和学科的测量不变性。随后,研究人员使用EBICglasso估计高斯图模型,进行1000次非参数自举检验边际精度,用case-dropping自举评估中心性稳定性,并通过网络比较检验(NCT)比较不同学科学科的网络差异。该研究还以GenAI非正式二语学习量表(GenAI-IDLE)作为效标,检验了标准关联效度。
在“探索性因子分析”中,EFA结果显示KMO值为0.873,Bartlett球形检验显著,五因子解释了总方差的67.5%。原始“效率”与“学习”维度合并为“有效性”,两个存在交叉负载的学习维度条目被删除。在“验证性因子分析”中,CFA显示五因子模型拟合良好(χ
2/df = 3.062,TLI = 0.956,CFI = 0.966,RMSEA = 0.060,SRMR = 0.039),且优于单因子、四因子与高阶模型。在“效度与信度分析”中,总量表McDonald's ω为0.885,各分量表ω介于0.836至0.889;AVE值介于0.635至0.737,HTMT值均低于0.85,表明聚合效度与区分效度良好;五个维度均与GenAI-IDLE显著正相关(r = 0.268至0.670),提供初步效标关联效度证据。在“跨组不变性分析”中,性别与学科分组的形态、度量、标量不变性模型均满足ΔCFI < 0.01与ΔRMSEA < 0.015的判据。在网络分析部分,研究人员估计的五节点网络密度为0.800,最强边为社交性—有效性(0.436),其次为无缝性—心流(0.363);新颖性与有效性、心流与有效性之间的边置信区间包含零。在“中心性分析”中,心流强度中心性最高,新颖性最低,且中心性稳定性系数(CS)为0.75,表明估计稳定。在“跨学科网络比较”中,L2、人文社科与STEM三组间的网络全局强度与结构均无显著差异,表明网络结构跨学科稳定。
讨论部分指出,五维度结构反映了SSIE框架在L2学习情境中的情境化调适:易用性与安全性的删除说明学习者更关注GenAI对学习过程的促进而非系统技术属性;效率与学习的融合表明教育情境下互动效率与学习价值紧密相关。社交性与有效性的强关联支持“计算机是社会行动者”范式,即GenAI的社交回应能增强学习者对其学习价值的感知。心流的中心地位提示沉浸体验可能是连接不同经验维度的枢纽,而新颖性的边缘位置说明其更多反映初始反应而非持续经验。研究结论认为,AI-L2-ILES是一个心理测量学性质良好的工具,未来需在不同国家、不同L2、不同水平、不同GenAI工具及不同学习任务中进行进一步验证,以确立其普适性。