课堂行为识别：一种适用于不平衡数据处理的时空频域方法 刘林润佳（Linrunjia Liu） 马银飞（Yinfei Ma） 吴帅（Shuai Wu） 贾炳文（Bingwen Jia） 苗启光（Qiguang Miao）

《Electronics》：Classroom Behavior Recognition: A Spatiotemporal Frequency-Domain Approach with Imbalanced Data Handling Linrunjia Liu, Yinfei Ma, Shuai Wu, Bingwen Jia and Qiguang Miao

　　

摘要

现有的视频动作识别方法在应用于课堂监控时面临两个挑战：首先，它们难以平衡局部空间信息和全局时间信息；其次，这些方法受到类别分布不平衡的影响，常规行为被过度关注，而具有教育意义的罕见行为往往被忽略。为了解决这些问题，本文提出了两个组件。区域全局时间特征提取器（RGTF）通过频域变换以较低的计算开销提取紧凑的局部空间和全局时间特征。指数焦点损失（EFL）能够自适应地重新调整样本权重，以减轻数据不平衡的影响。在XDCR、AVA2.2、Kinetics-400、UCF101和Something-Something V2数据集上的实验表明，RGTF将基线模型的性能提高了多达1.8%，而EFL的性能比标准损失方法提高了多达0.92%。此外，还提供了一个可选的基于大语言模型（LLM）的辅助模块，作为应用示例，展示了如何利用识别结果生成定性的课堂反馈。该模块与核心识别流程是独立的。