用于课堂视频中教师视觉注意力代理分析与基于规则的教学行为分割的单摄像头系统

《Applied Sciences》：A Single-Camera System for Teacher Visual Attention Proxy Analytics and Rule-Based Teaching Behavior Segmentation in Classroom Videos

　　

可扩展的课堂过程证据可以支持教师反思和专家评审，但人工观察劳动强度大，直接眼动追踪对于常规课堂使用往往过于侵入。本文提出一种单摄像头课堂视频分析系统，将普通课堂录像转换为可审查的过程证据，以支持教师反思。该系统结合三类头部检测、教师关联与跟踪、面向正面教师的六维头部姿态估计、乘性扩展卡尔曼滤波（MEKF）姿态平滑、视线锥投影、学生和区域命中测试、四类基于规则的行为分割以及证据导出。在感知实验中，三类头部检测器实现了0.96的mAP@0.50，正面教师头部姿态估计的平均角度误差为7.55°。在行为验证中，该算法实现了78.8%的样本级准确率和77.1%的加权F₁-score，与仲裁后的人工标签相对比。完整流程在报告设置下以48.20 FPS处理单个1080p视频流。由于系统从头部姿态推断视觉注意力，其输出应被解释为视觉注意力代理，而非眼动的直接度量。其行为标签描述可观察的课堂过程模式，旨在支持人工审查，而非评估教学质量或个体参与者。导出的热图、区域时间线、行为时间线、注释视频和结构化报告提供了可与源录像核对的追溯性证据。

该论文发表在《Applied Sciences》期刊上，研究背景源于课堂过程证据对教师反思和专家评审的价值，但人工观察耗时费力，直接眼动追踪对常规课堂侵入性过强。现有工作往往将课堂感知、头部或视线估计、教师注意分析等任务割裂开来，缺乏一种将感知、行为分割与可检查证据整合在统一单摄像头工作流中的方案。为此，研究人员提出一种单摄像头课堂视频分析系统，将普通课堂录像转换为可追溯的过程证据，以支持教师反思和专业对话。该系统不重建眼动，也不给出教学评分，而是输出注意力代理热图、区域时间线、行为时间线、注释视频和结构化记录，供教师和专家在人工审查中参考。

研究人员开展的研究是设计并实现一个完整处理链：首先使用基于YOLO11的一阶段网络，共享主干同时检测正面教师、非正面教师和学生三类头部，并回归正面教师的6D旋转表示；随后通过教师级联过滤和目标跟踪进行教师关联与跨帧保持；再采用乘性扩展卡尔曼滤波平滑姿态；将平滑后的姿态投影为视线锥，执行学生命中测试与左/中/右区域聚合；最后通过规则层将稳定后的教师状态和学生命中证据转换为Lecture、Board Work、Group Discussion、Other四类行为段，并导出可视化和结构化证据。数据来自上海实验学校东滩高级中学的示范课视频，训练集包含1218张图像，验证集包含213张图像，共24165个标注头部实例；行为验证使用两个不同教室的后置摄像头录像。

研究结果按论文小标题分述如下。图像级检测与头部姿态感知：三类头部检测在验证集上达到0.96的mAP@0.50和0.69的mAP@0.50:0.95；正面教师姿态估计平均角度误差为7.55°，中位数为6.20°，78.7%的匹配样本误差在10°以内，88.2%在15°以内，有效姿态输出成功率为97.8%，说明检测与姿态回归在教室场景下具有可行性，但框定位精度受遮挡和小目标影响。行为验证协议：采用同一视频、采样时间戳和分类定义，仲裁标注生成GroundTruth，独立第二标注作为人类参考，算法预测在同一采样点比较，计算准确率与F₁-score。行为验证结果：算法在5022个样本中正确分类3958个，准确率78.8%，加权F₁-score为77.1%；人类标注准确率92.2%，加权F₁-score为92.4%，表明算法更适合辅助导航而非替代人工。类别上Lecture表现最好，F₁-score为86.9%，召回率96.2%；Group Discussion精度高但召回率低，分别为98.8%和46.4%；Board Work的F₁-score为53.3%，过渡片段易被邻近类别吸收。在跨教室泛化视频中，算法准确率76.5%，加权F₁-score为76.0%，与原始视频接近，说明在后置摄像头几何相似时模型可迁移。消融分析：单独MEKF的加权F₁-score为68.4%，单独ASSOCIATION为76.2%，两者组合为77.1%，比人类标注低15.3个百分点，证明教师关联与姿态平滑均有贡献，但行为标签仍需人工复核。运行效率：在NVIDIA GeForce RTX 4060 GPU上，单路1080p视频流处理速度为48.20 FPS，平均延迟6.35 ms，95^th百分位延迟13.84 ms，模型参数量9.73 M，计算量26.15 GFLOPs，峰值GPU内存125.8 MB，满足课堂录播场景的实时性需求。

讨论部分指出，该系统的价值在于将课堂过程证据结构化并使其可审查，而不是自动评价教学优劣；头部姿态只是视觉注意力代理，行为标签描述可观察过程模式，使用时必须结合原始视频进行人机协同解释。实际部署需遵守知情同意、数据访问限制和匿名化要求。研究结论确认了单摄像头方法的可行性：基于YOLO11的一阶段网络联合检测与姿态估计，配合教师关联、注意力代理投影和规则行为分类，能够生成支持人工分析的热图、时间线、注释视频和结构化记录，并在报告条件下以48.20 FPS实时运行。同时，当前系统存在局限：头部姿态不等于眼动，可能遗漏眼动独立于头部的情况；行为定义与阈值仅在小范围教室布局上验证，后置摄像头几何是当前部署范围；Board Work和Group Discussion标签可靠性低于Lecture，需要更多多样本数据训练和验证后才能支持更独立的使用。