多模态生成式人工智能在教育中的应用现状系统综述：任务分布、模态配置与方法的探索

《IEEE Access》：Multimodal Generative AI in Education: A Systematic Literature Review of Tasks, Modalities, and Methods

　　

摘要：

背景：多模态生成式人工智能（AI）正在通过使系统能够生成和解释多种形式的信息（包括文本、图像、图表、音频和视频，主要通过多模态大语言模型（MLLMs））来变革教育技术。此前对教育中AI的研究综述主要关注基于文本的大语言模型或单一教学领域，而未量化多模态系统在教育任务、模态和方法中的分布情况。目的：本系统文献综述通过三个问题考察多模态生成式AI在教育中的当前应用，以弥补该空白：（1）涉及哪些教育任务，其分布如何？（2）使用了哪些模态配置（文本、图像、语音/音频、视频），哪些仍缺乏探索？（3）采用了哪些方法论，其分布如何？方法：审查了2020年至2026年1月19日期间发表的38篇论文，采用针对教育任务、模态配置和方法论的两级编码策略（主导类别和二级标签）。结果：文献主要关注面向学习者的反馈、辅导和学习指导（38项研究中的17项，44.7%），其次是评估、评分和评价（10/38，26.3%）以及学习支持工具（8/38，21.1%）。大多数系统采用视觉-语言（文本和图像）配置（31/38，81.6%），而包含视频（4/38，10.5%）和语音/音频主导的配置（3/38，7.9%）仍相对较少。大多数研究报告技术性能指标，而非经过验证的教学成果。结论：当前多模态生成式AI的教育应用集中在视觉-语言辅导和评估，而视频和语音/音频模态以及经过教学验证的证据仍相对缺乏探索。本综述绘制了……

显示更多