《Machine Learning and Knowledge Extraction》：MoCvT-SAR: A Lightweight MobileNetV4-CvT Hybrid Network for Student Activity Recognition in Smart Classrooms
编辑推荐：
学生活动识别（SAR）在智慧课堂环境中日益重要，其中自动视觉分析可用于分析学生的活动。然而，当前用于识别学生活动的最先进的深度学习（DL）模型大多存在计算复杂度高、可解释性有限以及缺乏对高效部署关注等局限性。在本研究中，研究人员开发了一种可解释且高效的SAR系
学生活动识别（SAR）在智慧课堂环境中日益重要，其中自动视觉分析可用于分析学生的活动。然而，当前用于识别学生活动的最先进的深度学习（DL）模型大多存在计算复杂度高、可解释性有限以及缺乏对高效部署关注等局限性。在本研究中，研究人员开发了一种可解释且高效的SAR系统，该系统采用MobileNetV4-CvT模型。首先，在统一的实验方案下，使用五种代表性的轻量级模型进行了系统性评估，即MobileNetV4-Conv-S、RepViT-M0.9、SHViT、iFormer-S和轻量级CvT。实验基于源自EduNet数据集的六个以学生为中心的活动类别进行，共产生26,841张图像，并在视频层级划分为训练集、验证集和测试集，以防止帧级信息泄露。在基线分析和广泛消融研究的指导下，最终的混合模型结合了MobileNetV4高效的局部特征提取能力与单个CvT注意力模块的上下文特征精炼功能。所提出的模型实现了95.20%的测试准确率、97.12%的宏平均精确率（Macro Precision）、91.37%的宏平均召回率（Macro Recall）、92.62%的宏平均F1分数（Macro F1-score）和94.57%的加权平均F1分数（Weighted F1-score），同时仅包含266万个参数，存储空间需求为30.92 MB。其预测可靠性进一步由3.19%的期望校准误差（Expected Calibration Error, ECE）所支撑。此外，研究人员使用了梯度加权类激活映射（Grad-CAM）、沙普利加性解释（SHAP）、局部可解释模型无关解释（LIME）和积分梯度（Integrated Gradients, IG）来定性说明与正确和错误预测相关的视觉线索。研究结果表明，所提出的模型在准确性、效率、校准性和可解释性之间取得了良好的平衡，因此是开发智能课堂监控系统的一种有前景的方法。
研究背景与现存问题
学生活动识别（Student Activity Recognition, SAR）在智慧课堂环境中正变得愈发重要。通过对学生行为进行自动化视觉分析，可以为教育工作者提供关于学习者参与度、注意力、互动和投入度的客观且连续的信息，这对于难以人工监控的大型动态学习环境尤为关键。然而，当前最先进的学生活动识别深度学习（Deep Learning, DL）模型普遍存在三个主要局限：一是计算复杂度过高，难以在资源受限的边缘设备上实现实时部署；二是模型的可解释性有限，其决策过程如同“黑箱”，使得教育工作者难以理解预测背后的视觉依据，从而影响了其在教育场景中的可信度；三是缺乏对高效部署的关注。尽管已有一些轻量级的卷积神经网络（Convolutional Neural Network, CNN）和基于注意力机制的架构被提出，但对于它们在学生活动识别任务中的有效性，尤其是在局部特征与全局上下文关系建模上的互补优势，仍是一个有待深入探究的开放性问题。
研究内容与结论
为解决上述问题，研究人员开展了一项系统性的研究。首先，在统一的实验协议下，对五种当代轻量级深度学习架构——MobileNetV4-Conv-S、RepViT-M0.9、SHViT、iFormer-S和轻量级卷积视觉Transformer（Convolutional Vision Transformer, CvT）——进行了全面的比较评估。这些模型代表了纯卷积计算、通道式卷积架构、单头自注意力、高效自注意力方法以及卷积与多头自注意力相结合等不同的高效视觉表征学习策略。实验基于EduNet数据集中的六个学生中心化活动类别（争论、教室进食、举手、读书、坐桌、写字）进行，共处理26,841张图像，并通过视频级划分确保数据无泄漏。
基于基线模型的性能对比和广泛的消融研究，研究人员最终提出了一种名为MobileNetV4-CvT的轻量级混合架构。该模型将MobileNetV4作为轻量级卷积骨干网络用于高效的局部和层级视觉特征提取，并在深层特征阶段引入一个基于CvT的注意力模块，用于捕获更大尺度的空间关系和全局上下文信息。最终配置采用了224×224像素的输入分辨率、位于倒数第二个特征阶段的单个CvT注意力块、单头注意力机制以及3×3的卷积投影核。该模型在测试集上达到了95.20%的准确率，宏平均精确率为97.12%，宏平均召回率为91.37%，宏平均F1分数为92.62%，加权平均F1分数为94.57%。同时，模型仅包含266万个参数，存储空间需求为30.92 MB，展现出极佳的轻量化特性。此外，其预测可靠性由3.19%的期望校准误差（Expected Calibration Error, ECE）进一步证实。
这项研究的重要意义在于，它证明了通过精心设计的轻量级CNN与Transformer混合架构，可以在不牺牲预测性能的前提下，显著降低模型的计算复杂度和存储开销，从而实现高精度、高效率、良好校准性与高度可解释性的统一。这为在资源受限的智慧课堂环境中部署实时、可信赖的自动监控系统提供了切实可行的技术路径。
关键技术方法概述
研究人员主要采用了以下关键技术方法：
- 1.
轻量级骨干网络：选用MobileNetV4-Conv-S作为核心特征提取器，利用其通用倒置瓶颈（Universal Inverted Bottleneck, UIB）模块进行高效的局部空间特征提取。
- 2.
卷积自注意力模块：从CvT架构中借鉴并设计了轻量化的注意力模块，该模块使用深度可分离卷积来生成查询（Query）、键（Key）和值（Value），从而在自注意力计算中引入局部空间归纳偏置，以增强全局上下文建模能力。
- 3.
系统性消融研究：对注意力插入位置、注意力块数量、注意力头数量和输入图像分辨率等关键超参数进行了详尽的消融实验，以确定最优的混合架构配置。
- 4.
多维度可解释人工智能（XAI）框架：集成了四种互补的XAI技术——梯度加权类激活映射（Gradient-weighted Class Activation Mapping, Grad-CAM）、沙普利加性解释（SHapley Additive exPlanations, SHAP）、局部可解释模型无关解释（Local Interpretable Model-Agnostic Explanations, LIME）和积分梯度（Integrated Gradients, IG），用于定性和定量地分析模型做出正确或错误预测时所依赖的视觉证据。
研究结果
4.1 轻量级基线模型性能
在统一的实验协议下，所有基线模型均表现出近似的完美训练准确率（99.40%–100.00%）。在测试集上，MobileNetV4-Conv-S表现最佳，达到95.34%的准确率和最高的宏平均F1分数（92.93%）。轻量级CvT紧随其后，准确率为95.20%，并以最低的训练、验证和测试损失值展现了优异的泛化性能。RepViT-M0.9和iFormer-S也取得了有竞争力的结果，而SHViT则表现出较大的运行间变异性。在推理效率和模型复杂度方面，MobileNetV4-Conv-S拥有最快的推理速度（172.46 FPS），而轻量级CvT最为紧凑，仅需59.2万参数和7.26 MB存储。这两种模型的互补优势构成了后续混合设计的动机。
4.2 消融研究
- •
注意力放置位置的影响：将CvT模块放置在倒数第二个特征阶段（Penultimate）相较于放在最后阶段或同时放在两个阶段，在验证集上获得了最佳的准确率（95.05%）和最低的验证损失（0.6187）。
- •
CvT注意力块数量的影响：使用1个或2个CvT块获得了相同的最高验证准确率（95.05%）和宏平均F1分数（81.66%）。考虑到更低的架构复杂性，选择了单个CvT块。
- •
注意力头配置的影响：单头注意力配置在验证集上取得了最优异的性能，包括最高的准确率（95.05%）、最高的宏平均F1分数（81.66%）和最低的验证损失（0.6104）。增加注意力头数反而导致性能下降。
- •
输入图像分辨率的影响：224×224像素的输入分辨率在验证集上取得了压倒性的优势，准确率达到98.45%，远高于192×192和160×160分辨率的结果（均为95.05%）。
4.3 所提出的MobileNetV4-CvT模型性能
最终确定的混合模型在三次独立随机种子实验中表现稳定，平均测试准确率为95.20%±0.17%，宏平均F1分数为92.62%±0.40%。在最佳运行中，模型在测试集上达到95.20%的准确率。混淆矩阵分析显示，模型对“教室进食”、“举手”、“读书”、“坐桌”和“写字”五个类别实现了零错误分类，主要的分类错误集中在“争论”类别，其中约一半的样本被误判为“教室进食”。这表明“争论”活动在视觉上与其它互动性活动存在相似性，是未来改进的重点方向。模型的计算特性同样出色，推理延迟为5.601毫秒/图，吞吐量为177.17 FPS，峰值GPU内存占用仅为49.67 MiB。
讨论与结论
讨论部分总结：研究结果表明，所提出的MobileNetV4-CvT混合模型在准确性、效率、校准性和可解释性之间实现了良好的权衡。虽然模型在“争论”类别的识别上存在挑战，但这可能与某些争论场景与其他互动活动（如进食）在身体姿态、手部运动或多人交互模式上共享相似的视觉特征有关。总体而言，该模型的高度对角混淆矩阵结构确认了其在大多数活动类别上的强大判别能力。研究也指出了当前工作的局限性，例如未使用预训练权重、未探索更复杂的注意力变体以及“争论”类别的识别难题，并为未来的研究方向提出了建议，包括使用大规模预训练、引入时间信息、扩展数据集和部署到实际边缘设备等。
研究结论部分翻译：本研究开发了一个轻量级且可解释的SAR系统，该系统基于MobileNetV4-CvT混合架构。通过在EduNet数据集六个学生活动类别上的系统性评估，所提出的模型在保持极低参数量（2.66百万）和小存储需求（30.92 MB）的同时，取得了95.20%的测试准确率。全面的消融研究验证了关键架构选择的有效性。此外，通过集成Grad-CAM、SHAP、LIME和IG四种XAI技术，研究提供了对模型决策过程的定性洞见，揭示了其正确和错误预测背后的视觉证据。研究结果证实，所提出的MobileNetV4-CvT模型在准确性、效率、校准性和可解释性之间取得了有利的平衡，因此是开发智能课堂监控系统的一种有前景的方法。
