多模态教师行为分析数据集MM-TBA：推动教育质量评估与认知科学研究的新工具

本研究针对教师行为分析领域公开数据集稀缺、现有数据缺乏真实课堂复杂性的问题，开发了首个多模态线下课堂教师行为分析数据集MM-TBA。团队通过采集4,839段教学视频，筛选32,000秒高质量素材，构建包含教学动作检测、课堂评价报告和教学设计三个子集的多维度资源。该数据集采用YOLO18和VIA19,20工具实现秒级动作标注，结合Baichuan230大模型生成教学评估报告，为教育技术与人工智能交叉研究提供新范式。

　　

在传统教育评估中，教师行为分析长期依赖人工观察，存在主观性强、效率低下等问题。尽管人工智能技术为行为分析带来新机遇，但该领域面临两大瓶颈：一是公开数据集多基于网络公开课视频，缺乏真实课堂的复杂性；二是现有数据多聚焦学生行为，教师专属数据集稀缺。这种数据缺失严重阻碍了教学行为模式识别、教学质量评估等关键研究的发展。

为解决这一难题，浙江师范大学智能教育技术与应用浙江省重点实验室联合香港科技大学等机构的研究团队，在《Scientific Data》发表了题为"A Multi-Modal Dataset for Teacher Behavior Analysis in Offline Classrooms"的研究论文。该工作历时三年，采集300余名实习教师在真实微课教室的4,839段教学视频，通过严格筛选获得32,000秒高质量素材，构建了首个多模态教师行为分析数据集MM-TBA。

研究采用三项关键技术：1)基于YOLO¹⁸和DeepSort²⁵的教师动作检测框架，实现"指向""书写"等6类教学动作的秒级标注；2)融合Baichuan2³⁰大模型与学科知识图谱的评估报告生成系统，从教学阶段、师生互动等4维度自动生成评价；3)结合教学视频、讲稿和设计稿的多元分析方法，构建教学流程标注体系。所有数据均通过伦理审查(IRB ZSRT2025141)，并采用特征编码技术保障隐私。

教学动作检测子集
研究定义了6类典型教学动作："指向"(Pointing)、"节拍手势"(Beat gesture)、"描述性手势"(Descriptive gesture)、"书写"(Writing)、"互动"(Interacting)和"中性"(Neutral)。通过VideoMAE⁴⁰等模型验证，该子集在Kinetics¹¹预训练模型上达到30.51%的mAP(T)，与AVA¹⁰数据集性能相当。

课堂评价报告子集
创新性地将Baichuan2模型与数学/信息技术知识图谱结合，生成的评价报告包含教学阶段、目标内容等4个维度的等级评分(Level A-D)和具体建议。经cntext⁴⁴工具分析，报告平均可读性指标为24.94，显著优于LLaMA⁴⁶等基线模型。

教学设计子集
通过7位专家对"前期分析"(Ea)、"教学目标"(To)等维度的独立评估，74.7%的教学设计达到优良水平。该子集首次实现了教学视频、讲稿与设计稿的三维关联标注。

这项研究的意义在于：1)填补了真实课堂环境下教师行为数据集的空白；2)开发的LoRA³²微调方法使Baichuan2模型在教育领域表现提升40%；3)为"智能教辅开发""教师专业发展"等5大应用场景提供数据支撑。未来团队计划扩展至9个学科，推动教育认知科学的跨学科研究。数据集已开源在Figshare³⁹平台，包含完整代码和17.2GB多模态数据，为AI+教育研究树立了新标杆。