《Applied System Innovation》:An Exploratory Configurational Analysis of Learning-Process Engagement in AI-Supported Learning
编辑推荐:
这项探索性研究考察了人工智能(artificial intelligence, AI)支持课程中的学习过程参与度(learning-process engagement),该参与度通过学生自我报告的课堂注意力、主动参与和思考来测量。研究人员将必要条件分析(Ne
这项探索性研究考察了人工智能(artificial intelligence, AI)支持课程中的学习过程参与度(learning-process engagement),该参与度通过学生自我报告的课堂注意力、主动参与和思考来测量。研究人员将必要条件分析(Necessary Condition Analysis, NCA)和模糊集定性比较分析(fuzzy-set qualitative comparative analysis, fsQCA)应用于来自台湾一所科技大学三个队列的问卷数据,在筛选107份作答中的不变应答后,使用了90个案例。17名受访者在全部30个条目上选择了相同选项,因而被排除在主要分析之外。该研究考察了五个可测的学习者特征和学习实践:学业自我概念(academic self-concept)、学习欲望(learning desire)、学习策略(learning strategies)、学习规划(learning planning)和习惯性调节(habitual regulation)。在筛选后的样本中,没有条件满足集合论必要性标准,而四个条件显示出统计学显著的NCA上限效应。高参与度与一个组态相关,该组态包含学习欲望、学习策略、学习规划和习惯性调节,其中学习策略和习惯性调节为核心条件。低参与度与所有五个条件的同时缺失相关。在所有107名受访者中,没有条件满足集合论必要性标准。重新估计校准锚点产生了五个高参与度组态,而保持原始锚点固定则保留了单一组态。对于教师而言,这些模式为未来研究提供了问题,而不是为个别学生选择支持的经验证规则。
生成式人工智能(artificial intelligence, AI)已在两三个学年内进入大学常规课程,学生参与度成为判断这一转变是否有效的最常用结果指标。已有元分析显示生成式AI对大学生认知、行为、情感和能动性参与具有总体积极效应,但学科类别、学习策略和使用情境会调节效应大小;系统综述同样呈现希望与不一致并存的混合证据。然而,多数定量研究以相关、多元回归和结构方程模型估计净效应,只能回答“控制其他预测因子后某前因是否提高平均参与度”,无法回答两个实践相关问题:是否存在不可或缺的条件,其缺失会阻挡高参与度?前因条件是否需要以组合方式出现,不同特征的学习者能否经由不同路径达到同等高参与度?净效应模型不能直接检验这些集合关系。因此,研究人员采用必要条件分析(Necessary Condition Analysis, NCA)和模糊集定性比较分析(fuzzy-set qualitative comparative analysis, fsQCA)分别考察下限约束与条件组合。
研究数据来自台湾一所科技大学三个队列(师范教育、休闲服务管理、信息工程)在AI支持课程中填写的问卷,共107名学生作答。研究人员筛除17名在所有30个条目上选择同一选项的不变应答者,主分析样本为90例。研究考察五个学习者特征和学习实践——学业自我概念(academic self-concept)、学习欲望(learning desire)、学习策略(learning strategies)、学习规划(learning planning)和习惯性调节(habitual regulation)——与学习过程参与度(learning-process engagement,通过课堂注意力、主动参与和思考的自我报告测量)之间的集合关系。该研究的贡献在于将必要性与充分性分离,考察是否存在多条充分路径,以及独立分析低参与度组态。
主要技术方法包括:NCA用于检查每个条件与结果之间的上限包络,通过10,000次排列检验判断上限效应是否可能由随机散布产生,并生成瓶颈表(bottleneck table)报告达到指定参与度水平所需的最小条件值;fsQCA采用直接校准法,以样本第5、50、95百分位数作为完全不隶属、交叉点和完全隶属锚点,将复合分数转换为模糊集隶属度,然后进行必要性分析(一致性阈值0.90)和充分性分析(频数阈值2,原始一致性0.80,PRI 0.70),并依据简约解与中间解的对比区分核心条件与边缘条件。研究还进行了多项稳健性检验:保留全部107例重估锚点、固定原始锚点、采用第10/50/90百分位数锚点、使用原始六块计分、改变频数与一致性阈值,以及留一法个案删除。
结果部分具体如下:
4.1 描述性结果:在筛选样本中,各复合均值介于3.581(习惯性调节)至4.144(参与度)之间,所有构念均高于量表中点;六个复合分数间相关为0.553至0.824,学习欲望与学习策略相关最强(r=0.824)。
4.2 必要条件:集合论必要性检验中,没有条件达到0.90一致性阈值,学习策略一致性最高(0.826)。NCA检验发现四个条件具有统计学显著的上限效应:学习策略(d=0.252, p=0.008)、学业自我概念(d=0.208, p<0.001)、习惯性调节(d=0.182, p=0.025)和学习规划(d=0.163, p<0.001);学习欲望无显著效应(d=0.048, p=0.385)。这表明高参与度没有集合论意义上的“守门员”,但存在下限水平。
4.3 瓶颈分析:在参与度第80百分位,NCA支持下限为学业自我概念3.75、学习策略3.17、学习规划3.40、习惯性调节3.00;学习欲望标称瓶颈值3.00不具统计显著性,不应解释为约束。
4.4 高参与度组态:fsQCA产生一个高参与度组态:学习欲望×学习策略×学习规划×习惯性调节(一致性0.947;原始覆盖率0.630)。简约解仅保留学习策略和习惯性调节,二者为核心条件,学习欲望和学习规划为边缘条件;学业自我概念未进入该组态。
4.5 低参与度组态:对否定结果单独分析,低参与度组态为五个条件同时缺失(一致性0.915;原始覆盖率0.644)。学业自我概念在高参与度组态中被省略,而低参与度组态包含其缺失,说明高低参与度组态并非镜像。
4.6 稳健性结果:保留全部107例并重新估计校准锚点时,得到五个高参与度组态(总体一致性0.901;覆盖率0.814);固定筛选样本锚点时,原单一组态保留(一致性0.951;覆盖率0.678)。使用其他锚点或原始计分时,组态表达式发生变化,但原始四项组态在留一法重拟合中始终出现;频数阈值2或3、一致性0.80/0.85/0.90下中间解不变。
讨论部分总结:主要发现回答了三个研究问题:没有集合论必要性条件,但有四个NCA下限;高参与度只有一个而非多个充分组态;低参与度组态是五个条件同时缺失。学习欲望进入充分组态但几乎不构成下限,学业自我概念构成最高下限但未进入充分组态,说明二者在条件组合与程度约束中扮演不同角色。单一路径的出现与条件间强相关(0.553–0.824)和有限组态多样性有关,不应推广为参与度只有单一来源。NCA的必要性在程度(degree)上定义,fsQCA的必要性在种类(kind)上定义,两种结果可以共存。研究提出临时诊断框架,但强调其仅为假说,未经测试。局限性包括横断面自我报告、单一学校样本、筛选不均、量表天花板、构念重叠、缺乏AI使用测量等。未来需要多机构样本、纵向设计和干预研究。
研究结论翻译如下:这项探索性研究考察了台湾一所科技大学三个AI支持课程队列的学习过程参与度模式。这些组态描述了与AI支持课程中参与度相关的学习者特征,但并未表明AI使用产生了这些特征。单一高参与度组态产生于主要筛选和校准选择。在所有107个案例中,重新校准产生了五个组态,而固定锚点保留了原始组态。这一发现尚未得到独立验证。所测学习者特征与参与度之间的关联应被视为特定于这些队列的假说。它们对其他学生、机构或AI支持课程设计的适用性需要独立评估。必要性取决于“种类”与“程度”的区分。没有条件在几乎所有高参与度案例中都存在,因此没有条件是集合论意义上的守门员。然而,四个条件显示出样本特定的NCA下限:学业自我概念、学习策略、学习规划和习惯性调节各自标记了一个低于该水平就不会出现参与度上限范围的水平,而学习欲望没有施加这种下限。只使用两种方法之一的研究会报告一个更干净但不那么准确的结果。在筛选样本中,一个组态与高参与度相关:学习欲望、学习策略、学习规划和习惯性调节,其中学习策略和习惯性调节是核心条件。研究人员确实预期会有多条路径,但只观察到一条。这并不表明参与度只有一个来源。观察到的低参与度组态涉及所有五个条件的同时缺失,包括学业自我概念,而后者在高参与度解中被省略。对于AI支持课程的教师,这些模式提出了课堂水平探究的问题:学生如何规划工作、选择学习策略以及维持学习常规。这些发现并未确定个别学生的需求,也未确定哪种支持会提高参与度。需要独立复制、与非AI支持课程比较以及干预研究来评估其教学价值。