《Acta Psychologica》：How personal anticipations and perceived gratifications influence continuous use intention toward AI-driven chatbots? Moderating roles of perceived innovativeness and active involvement
编辑推荐：
视频媒介听力已被认识到具有通过提供更丰富的语境线索和视听输入来促进学习者理解、参与和动机的潜力。然而，真实听力评估的开发通常需要大量的时间和财务资源，这阻碍了其实际实施。本研究旨在通过应用生成式人工智能（Generative AI）来开发视频媒介听力评估，以应
视频媒介听力已被认识到具有通过提供更丰富的语境线索和视听输入来促进学习者理解、参与和动机的潜力。然而，真实听力评估的开发通常需要大量的时间和财务资源，这阻碍了其实际实施。本研究旨在通过应用生成式人工智能（Generative AI）来开发视频媒介听力评估，以应对这些挑战。研究人员采用多模态生成式人工智能（InVideo）创建了四个视频，同时使用GPT-4自动生成针对五个听力子技能的20个测试题项。共有542名大学生在30分钟内完成了基于AI的视频媒介听力评估，随后填写了一份问卷。此外，研究人员还选取了五名学生和五名教师进行半结构化访谈。心理测量模型的结果显示，20个题项中有19个有效测量了五个目标听力子技能，具有适当的题项难度和区分度，确认了构念效度（Construct Validity）。问卷结果显示，AI生成的视频在音频、视觉和视听一致性方面表现充分，支持了测试的相关性和实用性。问卷和半结构化访谈表明，与基于音频的方法相比，视频媒介听力似乎能提高学生的听力能力，并增强他们的兴趣、动机和参与度，而教师报告称多模态AI减少了语言教学中准备视听材料的情感劳动，支持了评估的积极后果。本文讨论了基于AI的视频媒介听力评估的基本有效性考量及其对语言学习和教学的启示。
**论文解读：基于生成式人工智能的视频媒介听力评估有效性验证**
**研究背景与问题**
在语言学习领域，视频媒介听力评估因其提供更丰富的语境线索和视听输入，被证实能促进学习者理解、参与和动机。然而，真实听力评估的开发常受限于高昂的时间和财务成本，且传统方法在技术层面存在瓶颈。尽管视频媒介评估具有认知和情感优势，但实际应用仍处于早期阶段，主要障碍包括材料开发成本高、耗时长以及技术限制。现有研究多聚焦于视频对语言学习的影响，而较少关注针对特定听力子技能的评估题项设计，尤其缺乏对生成式AI（Generative AI）在构建视频媒介听力评估中系统性的实证验证。因此，本研究旨在通过生成式AI开发视频媒介听力评估，并在Messick统一有效性框架下进行验证，以填补这一空白。论文发表在《Acta Psychologica》。
**研究内容与结论**
研究人员开发了基于生成式AI的视频媒介听力评估，具体包括：使用多模态生成式AI平台InVideo生成四个主题视频（图书馆借书、健康生活方式、旅行、中国长城历史），并利用GPT-4自动生成20个多项选择题项，针对五个听力子技能（理解关键词、提取具体细节、进行推理、识别说话者态度、总结主旨）。研究共招募542名中国南方两所大学的学生（年龄19-21岁，英语水平约B1级），完成评估后填写问卷，并对五名学生和五名教师进行半结构化访谈。通过心理测量模型（Q矩阵验证、项目反应理论）和定性分析，结果表明：19个题项成功测量了目标子技能，且题项难度与区分度适当，支持构念效度；学生对视频的音频质量、视觉质量和视听同步性评价积极，支持相关性和实用性；学生和教师均报告了积极的学习与教学后果，如增强兴趣、动机和参与度，以及减少教师准备视听材料的情感劳动。研究证明了生成式AI在开发高效、真实的视频媒介听力评估中的潜力。
**主要关键技术方法**
研究人员采用的关键技术方法包括：1）使用多模态生成式AI平台InVideo进行文本到视频生成，通过提示工程（Prompt Engineering）、参数配置和人工审核三阶段生成四个视频；2）利用GPT-4进行自动题项生成（AIG），结合渐进提示和迭代提示策略优化题项质量；3）采用Q矩阵验证（基于G-DINA模型）和两参数逻辑斯蒂克项目反应理论（2PL IRT）模型评估构念效度及题项参数；4）通过确认性因子分析（CFA）和Cronbach信度分析评估问卷的效度与信度；5）运用主题分析法对开放式问题和访谈数据进行定性分析。样本来源为南方一所工程大学和一所金融学院的542名学生。
**研究结果**
**4.1 与构念表征及相关方差相关的结果**
通过Q矩阵验证，除第18题外，19个题项均被确认测量了预期的听力子技能，支持构念效度。2PL IRT模型显示题项区分度范围0.163–1.963，难度范围?1.71–4.11，均处于可接受区间，且题项拟合良好，表明构念无关方差最小。题项难度与受试者能力均值接近，说明评估任务难度适当。
**4.2 与相关性和实用性相关的结果**
学生对视频质量的评价显示，在音频质量、视觉质量和视听同步性三个维度上，均值介于3.629–4.057（5点量表），多数回应为“同意”或“强烈同意”。其中音频清晰度评分最高，语速评分最低；视觉方面背景相关性评分最高，面部表情评分最低；视听同步方面背景音乐与场景协调性评分最高，视听一致性评分最低。验证性因子分析表明问卷具有良好拟合度（CFI=0.963, TLI=0.952, RMSEA=0.065, SRMR=0.032）。
**4.3 与潜在学习与教学后果相关的结果**
量化结果显示，约65%的学生报告理解能力提升，64%表示兴趣增加，大部分学生对偏好和参与度持积极态度。开放式问题主题分析揭示了三个主要方面：分数解读（学生认为分数反映真实听力能力及双任务处理能力）、测试使用（促进内容理解、词汇学习、识别弱点）和反拨效应（拓宽视野、增强听力和口语能力、提升学习心理）。学生访谈证实视频评估更生动、吸引注意力，但部分学生反映双任务处理存在挑战。教师访谈均支持使用视频评估，认为可提高效率、减少情感劳动。
**讨论与结论**
讨论部分指出，Q矩阵验证结果支持生成式AI开发题项能够测量目标听力子技能，与先前研究一致；第18题未获支持可能与样本量较小或题项区分度低有关。音频质量结果显示AI生成视频具有良好情感表达能力，但语速略快需调整；视觉质量方面面部表情需改进。视听同步性评价总体积极，但视频仍为二维，未来可探索AI增强虚拟现实。学习后果方面，学生偏好视频形式，但个体差异和双任务需求影响体验；反拨效应体现为知识获取、技能提升和积极情感。教师视角表明生成式AI可减轻备课负担。研究结论为：基于生成式AI的视频媒介听力评估题项有效测量了目标子技能，支持构念效度；大多数受试者对视频质量持积极看法，证明了相关性和实用性；学生和教师均报告了积极的反拨效应，支持了评估的积极后果。这三个方面的有效性证据说明了计算机辅助语言评估、学习和教学之间的整体关系，强化了以学习为导向的评估理念。
