大学生人工智能素养快速测评工具AILIT-S的开发与验证：一项跨国研究

为解决现有AI素养测评工具冗长耗时的问题，研究者基于Long & Magerko框架开发了10项精简版AILIT-S测试。跨国验证（N=1,465）显示其保持高结构效度（CFI=0.982）和 congruent效度（r=0.91），虽信度（α=0.61）低于长版本，但为群体水平研究提供了5分钟内高效评估方案。

　　

随着生成式AI的爆发式发展，人工智能素养（AI literacy）已成为高等教育中不可或缺的核心能力。然而当前AI素养评估面临两大困境：现有工具多为耗时12分钟以上的长量表（如28项的AILIT长版本），或依赖可能存在偏差的自我报告量表。这种矛盾在需要快速评估群体差异或课程效果的教育场景中尤为突出。

针对这一需求，由德国、美国和英国学者组成的跨国团队在《Computers in Human Behavior: Artificial Humans》发表了突破性研究。他们基于Long & Magerko的AI素养框架，通过严格的IRT（项目反应理论）分析，从原始28项测试中精选出10项最具代表性的题目，开发出可在5分钟内完成的AILIT-S短版本。研究采用三阶段验证方案：首先基于1,465名三国大学生的数据，通过3-PL模型（固定猜测参数g=0.25）筛选覆盖五大主题且具有高区分度的项目；随后在独立验证样本中证实其保持优异的结构效度（RMSEA=0.021）和与长版本0.91的相关性；尽管信度指标（α=0.61）因项目缩减有所降低，但完全满足群体比较需求。

关键技术方法包括：1）跨国样本分层（德国472人、英国499人、美国494人）；2）基于3-PL模型的IRT分析；3）验证性因子分析（CFA）检验单维性；4）通过M₂
统计量评估模型拟合度。

研究结果部分显示：

1. 项目筛选：从"AI是什么"（选2项）、"AI工作原理"（选4项）等五大主题中优选项目，确保覆盖-2到2能力区间（图4）。典型如第17项排序题（ML步骤）因高区分度入选。
2. 心理测量特性：短版本EAP信度0.62 vs 长版本0.78，但CFI（0.982）和TLI（0.977）显示更优模型拟合。
3. 跨版本一致性：个人能力估计值相关系数达0.91（图5），证明分数可互换性。

讨论指出，AILIT-S特别适用于：1）课程效果快速评估（如pre-post测试）；2）多变量大型研究中的AI素养模块；3）政策制定者快速摸底群体差异。但作者强调，高利害场景（如个人认证）仍需使用长版本。该研究首次提供了经跨国验证的AI素养快速测评工具，为推进AI教育研究提供了关键方法论支持。未来研究可拓展至职场人群和非西方语境，以进一步完善工具的普适性。