利用多模态数据提升课堂行为分析效果：一种交叉注意力融合网络方法

《Scientific Reports》：Enhancing classroom behavior analysis with multimodal data: a cross-attention fusion network approach

　　

摘要

课堂行为分析在理解学生参与度、学习效果以及高等教育教学质量方面发挥着至关重要的作用。本研究提出了一种多模态深度学习框架，通过整合视觉数据和生理数据来对学生的课堂行为进行分类，从而支持数据驱动的教学。为了解决现有方法的局限性——即复杂的课堂环境、庞大的数据量以及对单一模态的依赖——我们开发了一个多层交叉自注意力融合网络（MCSFN）。该网络包含三个分支：用于提取空间视觉特征的分支、基于Restormer技术的视频表示分支，以及通过SiLU激活的多层感知器建模的生理信号分支。这些异构特征通过多层交叉注意力机制进行融合，以实现稳健的特征表示学习。在自构建的课堂视频和可穿戴设备采集的生理数据集上进行评估后，该框架的分类准确率达到了95.88%，超过了单一模态方法的性能。除了提高行为识别的准确性外，这项工作还展示了多模态人工智能驱动分析在教学设计、实时监控以及个性化学习干预方面的潜力，为数据驱动和适应性课堂教学实践提供了实用的方法路径。