融合传感器与评估数据的学生口头演讲多模态数据集

《Scientific Data》：A Multimodal Dataset of Student Oral Presentations with Sensors and Evaluation Data

　　

摘要

口头演讲能力是高等教育的重要组成部分，然而，能够捕捉多种模式下现实世界学生表现的综合数据集仍然稀缺。为了弥补这一缺口，我们提出了 SOPHIAS（Student Oral Presentation monitoring for Holistic Insights & Analytics using Sensors），这是一个 12 小时的多模态数据集，包含马德里自治大学 65 名本科和硕士研究生进行的 50 次口头演讲录音，其中包括 46 次个人演讲，平均演讲时长为 9 分 48 秒（SD = 33 秒），随后是平均 6 分 28 秒的问答环节（SD = 3 分 02 秒），以及 4 次小组演讲，平均演讲时长为 14 分 11 秒（SD = 1 分 40 秒），随后是平均 8 分 22 秒的问答环节（SD = 1 分 21 秒）。SOPHIAS 整合了来自高清摄像头、环境音和摄像头音频、眼动追踪眼镜、智能手表生理传感器以及演示遥控器、键盘和鼠标交互的八个带时间戳的传感器流。此外，数据集还包括幻灯片以及来自教师、同伴和自评的基于评分标准的评估，以及带时间戳的上下文注释。该数据集捕捉了在真实课堂环境中进行的演讲，保留了真实的学生行为、互动和生理反应。SOPHIAS 使得探索多模态行为和生理信号与演讲表现之间的关系成为可能，支持同伴评估研究，并为开发自动反馈和多模态学习分析工具提供了基准。该数据集通过 Science Data Bank 在受控访问下提供给研究使用，包括学术研究和合法的商业研发，需批准数据使用协议（DUA），代码通过 GitHub 提供。