基于YOLOv11姿态估计与多模型分类的在线考试实时可疑行为自动监考系统

《Computers and Education: Artificial Intelligence》:An automated online proctoring system with live suspicious activity detection using YOLOv11 pose estimation and multi-model classification

【字体: 大 中 小 】 时间:2026年10月23日 来源:Computers and Education: Artificial Intelligence 23.4

编辑推荐:

  远程与混合式教育的迅速普及,暴露了传统人工监考及基于规则的考试监控系统在维护学术诚信方面的严重局限性。为应对这些挑战,本文提出一种自动化监考系统,将机器学习分类与基于YOLOv11的姿态估计相结合,实现对可疑行为的实时检测。该系统可处理实时或录制的视频流,逐帧

  
远程与混合式教育的迅速普及,暴露了传统人工监考及基于规则的考试监控系统在维护学术诚信方面的严重局限性。为应对这些挑战,本文提出一种自动化监考系统,将机器学习分类与基于YOLOv11的姿态估计相结合,实现对可疑行为的实时检测。该系统可处理实时或录制的视频流,逐帧检测17个关键人体关键点,并评估姿态偏差、头部运动趋势及异常上半身运动。研究人员利用标注的考试场景数据集对多种分类器进行评估,基于互信息(Mutual Information)的特征选择保留了30个姿态特征,并选用标准K近邻(K-Nearest Neighbors,KNN)分类器(k=1)进行部署。该模型在独立测试集上取得了99.56%的准确率、99.20%的精确率、99.60%的召回率、99.40%的F1分数及0.9957的AUC(Area Under the Curve)值。系统配备轻量级、用户友好的Web界面,仅需单个网络摄像头即可实现实时部署,便于监控与即时行为反馈,无需专用硬件。总体而言,该方案为在线及线下考试环境中促进学术诚信提供了一种轻量、高效且可扩展的解决方案。
一、研究背景与问题
远程与混合式教育的快速发展深刻改变了学术评估的形态,尤其在疫情后时代,在线考试虽提供了灵活性与可及性,却也带来了学术诚信、学生安全及远程监考有效性等方面的重大挑战。传统人工监考与单一模式监控手段已难以应对日益隐蔽和复杂的作弊行为,如使用违禁设备、秘密交流或通过微妙行为信号规避监考人员视线。现有自动化监考方案虽取得一定进展,但普遍存在准确性有限、可扩展性不足、计算开销大或无法在复杂场景中实时模拟多模态行为等问题。此外,单一检测机制难以识别复合型作弊行为,如协调性动作模式、反复注意力转移或姿态异常。多模态深度学习系统往往依赖GPU加速、多摄像头配置或高计算资源,限制了其在真实教育场景中的部署;而轻量级规则系统又对细微行为线索不够敏感。基于上述研究空白,本文提出一种基于姿态估计的轻量、计算高效且可部署的监考框架。
二、研究内容与结论
研究人员开发了一套结合YOLOv11姿态估计与机器学习分类的自动化监考系统。系统通过记录考试场景视频,分析身体姿态、头部方向、上半身运动及空间朝向,将学生行为分类为正常或可疑。借助强大的姿态估计与实时推理能力,该框架提升了检测异常行为模式(如姿态异常变化、频繁注意力缺失或桌面不当操作)的能力。研究最终选用标准KNN分类器(k=1),在保留30个姿态特征的基础上,于独立测试集上实现了99.56%的准确率、99.20%的精确率、99.60%的召回率、99.40%的F1分数及0.9957的AUC值。系统以Flask为后端构建了轻量级Web界面,仅需单个网络摄像头即可在标准消费级硬件上实时运行,兼顾了检测性能、计算简洁性与实时响应能力。该研究发表于《Computers and Education: Artificial Intelligence》。
三、关键技术方法
研究人员采用的主要技术方法包括:基于YOLOv11-Pose的人体姿态估计,用于逐帧提取17个身体关键点;姿态关键点归一化与特征向量构建,将关键点坐标标准化至[0,1]区间并重塑为固定长度向量;基于互信息的特征选择,从姿态特征中筛选出30个最具判别力的特征;以及多种机器学习分类器的比较评估,包括KNN、随机森林(Random Forest,RF)和XGBoost,最终选定标准KNN(k=1)作为部署模型。数据集为自建数据集,包含3414个标注帧(2170个正常帧与1244个可疑帧),由8名参与者在受控教室环境中录制,使用小米Pocophone F1智能手机摄像头采集,按分层80:20比例划分为训练集(2731帧)与测试集(683帧),固定随机种子42确保可复现性。
四、研究结果
4.1 模型选择与性能评估
研究人员在训练集上通过五折分层交叉验证评估了多种分类器,最终选定标准KNN(k=1)作为部署模型。在683帧的独立测试集上,该模型取得了99.56%的准确率、99.20%的精确率、99.60%的召回率、99.40%的F1分数及0.9957的AUC值,验证了基于姿态特征的可疑行为检测的可靠性。
4.2 系统部署与实时性能
系统以Flask为后端构建了响应式Web前端,支持视频上传、姿态关键点可视化、可疑活动审查、标记帧高亮、检测结果展示及可下载报告生成。系统仅需单个网络摄像头即可在标准消费级硬件上实时运行,无需专用硬件,实现了轻量级、可扩展的部署方案。
五、讨论与结论
讨论部分指出,自动识别出的行为异常本身不应被视为作弊证据,而应作为人工审查的辅助工具。系统设计采用骨骼姿态关键点而非面部识别或连续身份追踪,减少了对身份导向面部特征的依赖,但研究仅评估了技术分类性能,未涉及学生对隐私、公平性、压力或接受度的感知,这些教育成果需在大规模机构部署前进行独立实证评估。研究结论表明,该框架通过结合YOLOv11姿态估计与KNN分类器,在标准消费级硬件上实现了高精度的实时可疑行为检测,为在线及线下考试环境中的学术诚信维护提供了一种轻量、高效且可扩展的解决方案。未来研究方向包括扩大参与者与环境的多样性、跨机构数据收集、引入时间建模、多人员交互分析及边缘AI优化等。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号