基于 MediaPipe 多特征分析的在线学习参与度视频实时监测研究

【字体: 时间:2025年05月20日 来源:Expert Systems with Applications 7.5

编辑推荐:

  为解决在线学习(E-learning)参与度检测依赖专业设备、具侵入性及检测维度有限等问题,研究人员基于行为和情绪线索,利用 MediaPipe 开发头姿、眨眼率等特征模型,构建自动识别系统。结果显示模型在 accuracy、computational efficiency 等方面表现优异,具实用价值。

  
在数字化学习浪潮中,在线教育(E-learning)虽打破时空限制,却面临教师难以实时捕捉学生学习状态的难题。传统课堂中,教师可通过眼神交流、肢体动作等直观判断学生的专注度与情绪变化,但在线场景下,时空阻隔导致学生分心、注意力不集中等问题难以察觉,且现有检测方法多依赖昂贵专业设备(如眼动仪、深度相机),不仅成本高、部署复杂,还可能干扰学习体验。此外,多数方案基于复杂深度学习模型,需高性能 GPU 支持,难以在普通终端设备上实时运行,限制了其在日常教学中的普及。如何以低成本、易部署的方式实现对学生行为与情绪的实时监测,成为提升在线教学质量的关键挑战。

为攻克上述难题,国内研究团队开展了基于计算机视觉技术的在线学习参与度检测研究。研究成果发表于《Expert Systems with Applications》,旨在构建一套高效、低成本且适用于边缘设备的自动识别系统,通过分析学生面部特征动态评估学习参与度。

研究人员采用 MediaPipe 框架开发关键技术方法,主要包括:

  1. 基于 MediaPipe 的面部特征提取技术,实时获取头姿势、眨眼频率、 gaze 方向及面部表情等数据;
  2. 头姿势评估模型,通过多维度姿态分析判断学生注意力状态;
  3. 动态眼宽比(EAR)阈值的眨眼检测模型,解决个体差异导致的检测误差;
  4. 基于 MediaPipe 虹膜模块的 gaze 跟踪模型,优化视线追踪精度;
  5. 结合 XGBoost 与面部关键点(landmarks)的微笑检测模型,提升情绪识别效率。

实验设计与关键结果


研究招募 30 名不同年龄(16-45 岁)、性别及文化背景的参与者,模拟在线学习中常见的三种分心场景(头偏移、频繁眨眼、 gaze 转移),验证各模型性能:

  • 头姿势评估模型:相比最新机器学习方法,在 accuracy、鲁棒性及计算效率上显著提升,能准确识别头部异常偏移对应的分心状态。
  • 动态 EAR 眨眼检测模型:突破传统固定阈值局限,通过自适应调整闭眼判定阈值,有效应对个体差异与环境变化,提升眨眼频率统计的准确性。
  • ** gaze 跟踪模型 **:整体性能优于基于 MediaPipe 虹膜模块的现有计算机视觉方案,可精准追踪视线方向,反映注意力集中程度。
  • 微笑检测模型:利用 XGBoost 与面部 landmarks 特征,在 accuracy、训练及推理时间上优于部分深度学习方法,能快速识别积极情绪(如微笑)与学习投入的关联性。

系统集成与评估指标


研究构建了融合多特征的轻量化参与度检测系统,引入单位时间分心率(DRUT)、微笑率(SRUT)及学习参与指数(LEI)等评估指标。通过整合不同时间单元的面部行为与情绪数据,系统可动态追踪个体及群体的参与度变化,直观呈现学习状态波动,辅助教师定位教学难点或学生困惑点。实验表明,该系统在普通笔记本电脑等边缘设备上即可流畅运行,无需高性能 GPU,兼具低成本与易部署优势。

研究结论与意义


本研究提出的基于 MediaPipe 的多特征融合框架,为在线学习参与度检测提供了创新性解决方案。通过聚焦头姿势、眨眼、 gaze 及面部表情等关键行为与情绪线索,系统实现了对学习状态的实时、非侵入式监测,突破了传统方法对专业设备的依赖,显著降低硬件门槛。各模型在准确性与计算效率上的优化,使其适用于大规模在线教学场景,尤其在保护学生隐私(数据本地处理)与成本控制方面具显著优势。未来,该技术可进一步集成至在线教育平台,助力教师实时调整教学策略,提升远程教学效果,为智慧教育的发展提供重要技术支撑。研究成果不仅拓展了计算机视觉在教育领域的应用边界,也为低成本、高效率的智能教学工具研发提供了新范式。

相关新闻
生物通微信公众号
微信
新浪微博
  • 急聘职位
  • 高薪职位

知名企业招聘

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号