《Future Internet》：A Survey of Multimodal Learning Analytics: Data, Methods, Systems, and Responsible Deployment
Georgios Kostopoulos,
Sotiris Kotsiantis,
Theodor Panagiotakopoulos and
Achilles Kameas
编辑推荐：
多模态学习分析（MMLA）是学习分析（LA）的扩展，它结合了多种数据流，如音频、视频、生理信号、日志和空间轨迹，以分析无法通过单一模态轻易捕获的学习过程。本综述综合了关于感知与仪器、特征提取、多模态融合、建模方法以及提供反馈和支持反思的端到端系统的研究。研究人
多模态学习分析（MMLA）是学习分析（LA）的扩展，它结合了多种数据流，如音频、视频、生理信号、日志和空间轨迹，以分析无法通过单一模态轻易捕获的学习过程。本综述综合了关于感知与仪器、特征提取、多模态融合、建模方法以及提供反馈和支持反思的端到端系统的研究。研究人员还讨论了生成式人工智能（AI）和大语言模型（LLMs）如何通过实现对学习者话语和交互的可扩展语义和语用分析，日益改进MMLA流水线。此外，研究人员回顾了在处理真实世界数据（例如噪声、缺失数据和可扩展性）时出现的鲁棒性问题，以及负责任部署问题，如隐私和以学生为中心的公平、责任、透明和伦理（FATE）观点。
1. 引言
多模态学习分析（MMLA）作为传统学习分析（LA）的扩展，旨在整合音频、视频、生理信号、日志和空间轨迹等多种数据流，以分析无法通过单一模态捕获的复杂学习过程，如协作动态、情感投入和生理调节。MMLA通过集成眼球运动、身体姿势、手势、语音、空间位置和生理信号，实现对学习实时动态的全面理解。近期研究范式从描述性建模转向闭环系统，支持自动化反馈、反思和形成性评估。技术推动力包括传感技术、计算机视觉的进步，以及大语言模型（LLMs）和生成式人工智能（AI）的集成，后者扩展了语义和语用分析能力。在真实环境（如K-12课堂和临床模拟）中部署MMLA凸显了负责任AI的必要性，隐私、同意和公平性成为核心设计约束。尽管MMLA前景广阔，但仍面临模态选择、融合技术不标准化、鲁棒性不足以及评估偏向预测准确性而忽视可解释性和教学实用性等挑战。
2. 研究问题与综述方法
本文以系统级部署为目标，围绕三个研究问题展开：流水线与架构（RQ1）、闭环与教学整合（RQ2）、部署约束与差距（RQ3）。采用可追溯综合标准，包括范围、系统级焦点、部署证据、提取模板和综合逻辑。按照PRISMA启发的工作流，从Scopus等数据库检索2015年至2025年初的文献，经过筛选纳入符合条件的研究。质量评估记录参与者/背景细节、模态/传感器规格、同步与融合决策、验证策略和部署证据。与以往综述相比，本调查重点关注端到端流水线、闭环作为分析对象，以及可信部署作为社会技术协调。
3. 范围与方法
采用结构化叙事综述方法，在Scopus、Web of Science和Google Scholar中检索，覆盖2015年至2025年初的出版物。核心查询结合多模态和学习分析术语，并进行反向搜索。筛选标准要求研究聚焦教育或培训背景，采用两种或以上数据模态，报告实证发现或系统设计。排除无学习焦点的多模态感知、纯情感检测或纯技术论文。综合方法按多模态数据流水线（感知、预处理、特征提取、融合、建模、解释）、应用背景和伦理考虑组织。
4. 背景与概念基础
4.1. 学习分析中的多模态定义
多模态指系统整合异质证据通道，以建模无法通过单一数据源充分捕获的学习过程。这些通道包括数字交互痕迹、可观察物理行为、言语与副语言交流以及生理信号。多模态性不仅由多个传感器同时存在定义，还通过分析意图三角测量数据流以推断潜在构念。不同模态捕获互补方面，如注视和姿势作为注意力和身体参与的代理，而语音和话语提供认知和社会协调的洞察。多模态性的操作化存在差异，从松散耦合到紧密集成，这给比较分析带来挑战。
4.2. 从描述性分析到基于证据的干预
MMLA研究的长期目标是超越描述性诊断，实现“闭环”：将数据收集和建模与及时、可解释且教学上可操作的干预联系起来。实现形式包括人机回环系统（如反思仪表盘和汇报工具）以及利用生成式AI和LLMs自动生成反馈。用户感知（有用性、信任、认知负荷）是关键成功因素，FATE原则（公平、责任、透明、伦理）强调模型必须可解释和透明。
4.3. 设计与规范框架
多模态数据价值链（M-DVC）作为概念工具，阐明流水线各阶段，帮助识别隐藏依赖关系和噪声源。多模态学习分析设计框架（MDF）基于专家实践，提出重复出现的设计考虑，将MMLA解决方案视为社会技术系统，其成功取决于学习设计、制度背景和伦理治理。
5. 模态、传感器与数据源
5.1. 视觉与空间数据：具身交互与邻近性
视觉和空间模态广泛用于研究具身、协作和物理中介学习。视频传感和运动捕捉量化姿势、手势、运动轨迹和人际邻近性，提供非语言参与和社会协调的代理。空间分析揭示物理环境对交互的影响，如家具配置影响参与动态。近期研究采用360度摄像机缓解遮挡和视野限制，但视觉模态仍受环境光照、隐私问题和计算成本影响。
5.2. 音频与语音：话语结构与参与动态
听觉数据提供言语和副语言维度的洞察。语音特征用于映射参与平衡和话轮转换模式，结合社会网络分析（SNA）检测角色和协作质量。自动语音识别（ASR）和自然语言处理（NLP）的集成将焦点从简单参与度量转向话语的语义和认知深度，但面临说话人分离错误和领域术语解析挑战。
5.3. 生理与情感信号：揭示内部状态
生理模态用于推断认知和情感状态，如心率（HR）、皮肤电活动（EDA）、脑电图（EEG）和眼动追踪。三角测量生理信号与行为数据在检测学习者觉醒、认知负荷和注意力方面比单模态更有效。生理传感也用于自适应和自我调节干预，如基于EEG的神经反馈循环，但存在信号噪声、个体基线变异和侵入性-效用权衡。
5.4. 数字痕迹：情境锚点
数字痕迹（如日志文件、点击流和学习制品）是MMLA的骨干，为高频多模态信号提供情境基础和时锚。在编程教育中，集成开发环境（IDE）过程痕迹与行为数据融合分析脚手架影响。在游戏化学习中，数字日志与注视和面部表情同步以建模表现与情感的关系。数字痕迹确保可解释性和有效性，确认多模态数据扩展而非取代传统分析。
6. 多模态学习分析流水线
6.1. 参考架构：模块化视角
常见六阶段参考架构包括：数据采集与时间对齐、预处理、模态特定特征提取、多模态融合、建模与推理、教学解释。近期研究强调可扩展性和模块化，智能教室架构支持动态传感部署。
6.2. 特征提取：连接原始信号与学习构念
特征提取将原始传感器数据转换为理论驱动的学习构念。视觉流水线导出注视分布、姿势关键点和离散姿势类；音频流水线聚焦语音活动和话轮转换；语义和语用特征通过LLMs实现自动化编码。但流水线噪声（如说话人分离错误、重叠语音）可能传播并影响模型有效性。
6.3. 从多模态指标到学习构念：有效性与理论基础
多模态测量不是学习构念本身。原始信号转化为特征，特征被解释为指标，而学习构念（如认知负荷、参与度、协作质量）是更高层次的理论实体，需要显式操作化和验证。相同的可观察模式可能反映不同过程（上下文依赖），不同行为可能导致相似结果（等终局性），且学习者可能因传感存在而改变行为（反应性）。研究应报告构念定义、操作化、三角测量、边界条件和解释限制。
6.4. 多模态融合策略
融合是MMLA的核心但最不标准化的组件。分类包括早期融合（特征级）、后期融合（决策级）和混合/时间融合。早期融合捕获跨模态交互但易受噪声影响；后期融合提供模块化和鲁棒性但可能忽略细微依赖；时间融合最细致但计算复杂。融合选择影响构念有效性、可解释性、鲁棒性、公平性和隐私。研究应报告融合阶段、同步/对齐选择、缺失数据处理、模态贡献/消融证据以及如何将融合输出转化为可操作且不确定性的反馈。
6.5. 真实环境中的鲁棒性与可靠性
真实教室中，MMLA流水线需抵抗传感器噪声、遮挡和缺失性。基于树的集成方法在噪声环境中表现鲁棒。鲁棒性通过社会技术视角影响信任，数据不确定性透明是伦理部署的前提。
6.6. 端到端可解释性与可解释性
可解释性是端到端设计要求，涉及感知层、建模层和接口层。黑箱深度学习模型（早期融合）与后期融合的准确性-可解释性张力存在。仪表盘和反馈工具需传达结果及底层不确定性。研究转向可解释多模态分析，系统透明被视为核心教学工具。
7. 建模方法与评估实践
7.1. 监督学习：预测结果与检测状态
监督学习是主导范式，用于建模学业表现、参与度、情感状态和团队成功。算法包括经典分类器（决策树、随机森林、支持向量机）和深度学习架构。模型选择高度依赖上下文，深度融合模型在预测中表现优异，但传统机器学习在噪声鲁棒性和可解释性上更受青睐。
7.2. 无监督学习与模式发现
无监督方法发现潜在行为模式，如聚类识别学习者画像（活动、被动、过渡状态）。多模态过程数据揭示不同教学模态下的行为轨迹差异。无监督发现需与理论框架或定性证据三角测量以确保教育有效性。
7.3. 时间与网络分析用于协作
协作建模需考虑交互结构和时间演化。时间分析捕捉学习微观发生，如相位转换和社会调节。基于网络的分析（如社会网络分析SNA和认知网络分析ENA）提供可解释的协作动态表示，帮助教育者理解团队能力和协作质量。
7.4. 评估范式：超越预测准确性
评估正从仅关注技术指标（准确性、精确率、F1分数）转向多维度框架，包括感知效用、可解释性、数据透明度和利益相关者信任。学生中心评估强调FATE原则，成功MMLA系统需在统计鲁棒性、社会技术可靠性和伦理健全性方面表现良好。
7.5. 教学影响的证据强度
MMLA文献中，教学影响的证据落后于传感和建模进展。区分三个证据等级：技术概念验证（Tier 1）、课堂工具可用性/可接受性证据（Tier 2）、验证性教学干预（Tier 3）。目前Tier 1和Tier 2研究更普遍，Tier 3证据集中在特定背景（如模拟训练和结构化汇报）。
8. 按学习背景的应用
8.1. 专业模拟：高风险训练的前沿
模拟专业培训是MMLA最成熟的应用领域，在医疗、海事和航空等高风险领域，需要综合传感环境。端到端MMLA流水线整合视觉注意、语音处理和话语语义，可生成高质量交互反馈。成功取决于在保持模拟真实性的同时嵌入传感器。
8.2. STEM与编程：解码过程而非产品
STEM和编程教育是MMLA的第二大支柱，通过丰富开发日志与多模态数据，揭示编码过程的“隐藏”方面。研究利用MMLA分析结对编程动态，评估教师脚手架效果，并对比块状与文本编程模式的行为差异。
8.3. 在线学习：增强可观察性与自我调节
在线环境中，MMLA通过生理测量补充交互数据，监测注意力、疲劳和自我调节。结合心率、压力传感器和面部分析改善学习者觉醒检测。生理信号也用于自适应神经反馈机制，但在线应用倾向于轻量级传感。
8.4. K-12教育：伦理约束下的个性化
K-12中的MMLA应用多样且探索性，潜在个性化显著，但面临数据融合透明度和伦理考虑不足的挑战。当前研究强调发展合理且伦理基础的设计原则，确保不损害学生隐私或教学公平。
8.5. 部署成熟度综合
不同学习背景下MMLA的部署成熟度异质性显著。专业和模拟培训最先进，利用可控设置和标准化场景提供高保真反馈。K-12和非正式学习处于探索阶段，受教室后勤、伦理要求和算法透明度约束。
9. 闭环系统：反馈、反思与形成性评估
9.1. 仪表盘与反思性汇报工具
仪表盘综合非语言协作行为，将潜在多模态信号转化为可操作洞察。工具在启发式汇报会议中最有效，分析作为数据知情对话提示。纵向评估显示积极接受，但系统复杂性和“黑箱”性质引发信任问题。
9.2. 协作学习中的形成性评估
MMLA通过三角测量话语模式、面部表情和情感状态，识别与长期学习结果相关的行为标记。在教师培训和专业模拟中，MMLA作为自动化观察者提供过程驱动证据。但需严格审查有效性和公平性，确保自动化支持而非取代人类判断。
9.3. 生成式AI与MMLA学习辅助
生成式AI与MMLA的融合定义闭环系统的新前沿。LLMs与多模态流水线集成支持个性化自然语言指导。GenAI在MMLA生态中扮演双重角色：自适应干预和丰富数据采集。不同反馈模态（仪表盘、AI代理）在可解释性、可扩展性和伦理风险间存在权衡。
10. 伦理、隐私与可信部署
10.1. “中间”学习空间中的隐私
MMLA在公私学习边界模糊的“中间”空间运行，摄像头、麦克风和可穿戴设备引入监视动态，超越学习者预期，尤其在K-12设置中权力不对称突出。隐私不仅是数据保护，而是边界和信任的语境协商。
10.2. 学生中心FATE原则
学生中心公平、责任、透明、伦理（FATE）强调行为非欺骗性表征、角色化访问和持续可修订同意。透明超出算法解释，包括数据不确定性、信号丢失和自动化推断限制。承认系统易错性促进有效反思使用和利益相关者认可。
10.3. 可信部署的实用建议
包括显式融合报告、社会技术对齐、多维度评估（超越预测指标）和设计应对不完美（鲁棒性设计）。
10.4. 伦理积累综合
伦理风险在分析流水线中积累和转化，从传感决定可见行为，到融合和建模解释和强化行为。需“伦理即设计”方法，将透明、比例性和学习者代理集成到流水线架构中。
11. 开放挑战与研究方向
识别五个高杠杆研究方向：标准化基准与可重复数据生态系统、从相关性到因果性、将FATE操作化为系统需求、弹性可重构基础设施用于真实部署、人机回环与参与式分析。MMLA需从孤立技术进步转向集成生态系统，融合理论驱动和社会责任分析。
12. 结论
MMLA代表学习分析领域的变革性扩展，提供分析多维学习过程的技术和概念工具。当前状态展示显著方法论成熟度，但向系统教育影响过渡需克服关键障碍，包括标准化报告、模型对噪声敏感性和伦理约束。未来成熟将依赖社会技术协调，包括可扩展基础设施、参与式设计框架和评估范式优先考虑可解释性和教学效用。
