《Machine Learning and Knowledge Extraction》：From Explainable Forecasts to Portfolio Weights: SHAP-Based Quantile Machine Learning for Dynamic S&P 500 Sector Allocation
编辑推荐：
学生活动识别（SAR）在智能课堂环境中日益重要，其中自动视觉分析可用于分析学生的活动。然而，当前用于识别学生活动的大多数最先进的深度学习（DL）模型存在计算复杂度高、可解释性有限以及缺乏对高效部署关注等局限性。在本研究中，研究人员使用MobileNetV4-C
学生活动识别（SAR）在智能课堂环境中日益重要，其中自动视觉分析可用于分析学生的活动。然而，当前用于识别学生活动的大多数最先进的深度学习（DL）模型存在计算复杂度高、可解释性有限以及缺乏对高效部署关注等局限性。在本研究中，研究人员使用MobileNetV4-CvT模型开发了一个可解释且高效的SAR系统。首先在统一的实验协议下，对五种具有代表性的轻量级模型（即MobileNetV4-Conv-S、RepViT-M0.9、SHViT、iFormer-S和Lightweight CvT）进行了系统性评估。实验基于从EduNet数据集衍生的六个以学生为中心的活动类别进行，共生成26,841张图像，并在视频级别划分为训练集、验证集和测试集，以防止帧级信息泄漏。在基线分析和广泛消融研究的指导下，最终的混合模型将MobileNetV4的高效局部特征提取能力与单个CvT注意力块相结合，用于上下文特征细化。所提出的模型实现了95.20%的测试准确率、97.12%的宏平均精确率（Macro Precision）、91.37%的宏平均召回率（Macro Recall）、92.62%的宏平均F1分数（Macro F1-score）和94.57%的加权F1分数（Weighted F1-score），同时仅包含266万个参数，需要30.92 MB的存储空间。其预测可靠性进一步由3.19%的期望校准误差（ECE）支持。此外，研究使用了梯度加权类激活映射（Grad-CAM）、SHapley加性解释（SHAP）、局部可解释模型无关解释（LIME）和积分梯度（IG），以定性展示与正确和错误预测相关的视觉线索。研究结果表明，所提出的模型在准确率、效率、校准性和可解释性之间提供了良好的权衡，因此是开发智能课堂监控系统的一种有前景的方法。
一、研究背景与问题
学生活动识别（Student Activity Recognition, SAR）已成为智能课堂环境中的重要研究方向，通过自动视觉分析可为教育者提供关于学习者参与度、注意力、互动和投入程度的客观且连续的行为模式信息。在大型动态学习环境中，诸如举手、阅读、书写、交谈、睡觉以及与课堂物体互动等活动，是课堂参与和学习行为的有意义指标。随着智能摄像头、边缘计算设备和人工智能辅助教育技术的日益普及，对兼具高预测性能、计算效率和实际可部署性的视觉识别系统需求不断增长。
尽管深度学习（Deep Learning, DL）显著推进了视觉活动识别，但典型的深度神经网络和基于Transformer的模型可能计算开销大、内存消耗高，并在推理过程中造成延迟，这阻碍了它们在低资源平台上实现实时智能课堂的应用。此外，现有SAR模型普遍存在可解释性不足的问题——在课堂监控场景中，缺乏透明度使得难以判断模型的预测是基于行为特征还是背景数据。现有研究也很少在统一框架内同时考察识别性能、计算效率和模型可解释性。为弥补这些研究空白，本研究系统评估了多种轻量级架构，并在此基础上开发了一种兼顾效率与可解释性的混合模型。
二、研究内容与主要结论
研究人员基于EduNet数据集中的六个以学生为中心的活动类别（Arguing、Eating_in_classroom、HandRaise、Reading_Book、Sitting_on_Desk、Writting_on_Textbook），在统一实验协议下对五种代表性轻量级架构（MobileNetV4-Conv-S、RepViT-M0.9、SHViT、iFormer-S和Lightweight CvT）进行了系统比较。基于基线分析结果，研究人员开发了MobileNetV4-CvT混合架构，将MobileNetV4的高效卷积局部特征提取能力与CvT的卷积增强自注意力全局上下文建模能力相结合。该模型在测试集上达到95.20%的准确率，宏平均F1分数为92.62%，仅含265.9万个参数，存储占用30.92 MB，推理吞吐量达177.17 FPS，期望校准误差（Expected Calibration Error, ECE）为3.19%。研究还集成了Grad-CAM、SHAP、LIME和积分梯度（Integrated Gradients, IG）四种可解释人工智能（Explainable Artificial Intelligence, XAI）方法，验证了模型决策依据的语义合理性。该研究为资源受限智能课堂环境中的实时、透明化学生行为分析提供了可行的技术方案。
三、关键技术与方法
研究人员采用的主要关键技术方法包括：其一，基于EduNet数据集（包含7851个视频片段、20个活动类别）提取六个学生活动类别的26,841张图像，按视频级别划分训练集（21,574张）、验证集（2,264张）和测试集（3,003张），防止帧级信息泄漏；其二，构建MobileNetV4-CvT混合架构，以MobileNetV4-Conv-S为卷积骨干网络，在倒数第二个128通道特征阶段插入单个CvT注意力块（单头注意力、3×3卷积Q/K/V投影），实现局部特征与全局上下文的融合；其三，采用统一训练协议（AdamW优化器、峰值学习率1×10?3、余弦衰减、标签平滑0.10、40个epoch）；其四，集成四种XAI方法（Grad-CAM、SHAP、LIME、IG）进行预测解释分析。
四、研究结果
4.1 轻量级基线模型性能
在三种随机种子下，MobileNetV4-Conv-S取得最高平均测试准确率95.18±0.27%，Lightweight CvT为95.07±0.20%，RepViT-M0.9为94.98±0.18%，iFormer-S为94.75±0.49%，SHViT为93.38±1.77%。在最佳运行中，MobileNetV4-Conv-S测试准确率达95.34%，宏平均F1分数为92.93%；Lightweight CvT测试损失最低（0.5418），且模型最紧凑（59.2万参数、7.26 MB存储）。MobileNetV4-Conv-S推理延迟最低（5.142 ms/图），吞吐量达172.46 FPS。
4.2 消融研究
注意力放置位置方面，Penultimate和Both配置均达到95.05%验证准确率，但Penultimate配置验证损失更低（0.6187），故被选为最终配置。注意力块数量方面，单块与双块配置验证准确率相同（95.05%），考虑架构简洁性选择单块。注意力头数方面，单头配置性能最优（验证准确率95.05%、宏平均F1分数81.66%、验证损失0.6104），增加头数反而导致性能下降。输入分辨率方面，224×224配置验证准确率达98.45%、宏平均F1分数为96.83%，显著优于160×160和192×192配置。
4.3 最终模型性能
所提出的MobileNetV4-CvT模型在三个随机种子下平均测试准确率为95.20±0.17%，宏平均F1分数为92.62±0.40%。最佳运行中，训练准确率达99.95%，验证准确率95.05%，测试准确率95.20%，测试损失0.6088。混淆矩阵分析显示，模型对Eating_in_classroom、HandRaise、Reading_Book、Sitting_on_Desk和Writting_on_Textbook五类全部正确识别；主要误差集中在Arguing类（278个样本中134个正确，140个误分类为Eating_in_classroom）。模型宏平均精确率为97.12%，宏平均召回率为91.37%，加权F1分数为94.57%。
4.4 计算效率与可解释性
最终模型含2,659,430个参数，存储占用30.92 MB，峰值GPU内存49.67 MiB，中位推理延迟5.601 ms/图，吞吐量177.17 FPS。Grad-CAM、SHAP、LIME和IG四种XAI方法的定性分析表明，模型在正确预测时关注身体姿态、手势、面部朝向和课堂物体等语义相关区域，而在错误预测时则关注了非典型区域。
五、讨论与结论
研究讨论指出，MobileNetV4-Conv-S与Lightweight CvT在分类性能和计算效率方面表现出互补优势，这为混合架构的构建提供了动机。消融实验表明，在深层低分辨率阶段插入单个单头CvT注意力块是最优配置，增加注意力头数或块数反而损害性能。Arguing类识别困难的原因可能在于其与Eating_in_classroom在身体朝向、手部动作和多人互动配置上的视觉相似性。研究局限性包括：EduNet数据集不公开、视频级划分但非主体级独立、未使用预训练权重、仅评估了六个学生活动类别。
研究结论部分指出，本研究开发了一种轻量级且可解释的MobileNetV4-CvT混合架构，在统一的实验协议下系统评估了五种现代轻量级架构，并通过广泛的消融研究确定了最优配置。所提出的模型在分类性能、计算效率和可解释性之间实现了良好的平衡，测试准确率达95.20%，模型仅含265.9万参数和30.92 MB存储，同时通过四种XAI方法验证了预测依据的语义合理性。该研究表明，混合CNN-Transformer架构结合XAI分析是开发智能课堂监控系统的有前景的技术路径，为资源受限环境中的实时、透明的学生行为分析提供了实践参考。
