《Systems and Soft Computing》：Teaching quality evaluation system based on deep learning and multimodal data
编辑推荐：
教学质量评估在改善学习成果和机构效能方面起着关键作用；然而，传统评估方法主要依赖单模态信息，限制了对复杂课堂互动的准确捕捉。本研究提出一种基于深度学习的教学质量评估系统，采用公开的多模态教学效能数据集（Multimodal Teaching Effective
教学质量评估在改善学习成果和机构效能方面起着关键作用；然而，传统评估方法主要依赖单模态信息，限制了对复杂课堂互动的准确捕捉。本研究提出一种基于深度学习的教学质量评估系统，采用公开的多模态教学效能数据集（Multimodal Teaching Effectiveness Dataset），包含6854帧课堂图像与两个CSV文件中的5000条多模态音频及行为记录。实现过程首先采用离散小波变换（DWT）对图像与音频信号去噪，文本反馈通过词形还原（lemmatization）预处理；随后使用卷积神经网络（CNN）提取视觉特征、对数梅尔谱图（LMS）提取音频特征、Word2Vec嵌入提取文本特征。异质特征在特征级融合后，由所提出的动态果蝇突变注意力精炼循环神经网络（DFF-Att-RNN）分类。该框架的新颖性在于集成动态果蝇优化（DFF）进行自适应超参数与模态权重优化，以及注意力精炼循环神经网络（Att-RNN）建模多模态课堂数据的时间与上下文依赖。不同于采用静态优化与固定融合策略的现有方法，所提模型提供自适应学习、改进收敛稳定性、增强可解释性与鲁棒多模态表示。实验基于Python、TensorFlow与Keras实现，取得97.48%准确率、95%精确率、96.5%召回率与94.2% F1分数，优于常规模型。该模型为全面教学质量评估提供智能、可解释且可扩展的方案，支撑循证教育决策与个性化教学改进。
研究背景与动机
教学质量评估（Teaching Quality Evaluation, TQE）是提升学习成效与机构运行效能的核心环节。传统评估范式以单模态信息（如学生问卷、单一录像观察）为主，难以刻画课堂中教师姿态、语音交互、学生注意力与文本反馈并存的复杂动态。已有机器学习与深度学习方法虽引入多模态融合，但多采用静态融合策略与固定超参数，面临计算开销大、可解释性弱、对噪声与类别不平衡敏感等问题；高斯过程、模糊逻辑、AHP等方法则受限于主观加权与规模适应性。为兼顾时空依赖建模、跨模态互补与自适应优化，研究人员在《Systems and Soft Computing》报道了一项基于深度学习的教育数据挖掘研究，构建了端到端的多模态教学质量评估框架。
关键技术方法概要
研究人员使用Kaggle公开的多模态教学效能数据集，含6854帧课堂图像与5000条音频-行为CSV记录（覆盖低/中/高/优四级效能标签）。预处理阶段对图像与音频施以离散小波变换（DWT）去噪，文本经词形还原；特征提取分别采用卷积神经网络（CNN, 32-256滤波器）、对数梅尔谱图（LMS）与Word2Vec跳字模型；特征级拼接后送入动态果蝇突变注意力精炼循环神经网络（DFF-Att-RNN）——其中Att-RNN为双层LSTM编解码加点积注意力，DFF以步长控制参数λ与演化控制参数EC动态调整学习率与模态融合权。训练按80%/10%/10%划分，Adam优化器，100轮，批次32，丢弃率0.30。
研究结果
3 Result（结果）
经训练，DFF-Att-RNN在测试集获97.48%准确率、95.0%精确率、96.5%召回率、94.2% F1分数。训练-验证损失与准确率曲线显示早期收敛且过拟合可控。
3.1 Evaluation metrics used for the evaluation of the proposed model（所用评估指标）
明确Accuracy衡量总体判别力，Precision抑制假正例，Recall覆盖真实教学信号，F1-score提供精确率与召回率平衡。
3.2 Analysis of the proposed DFF-Att-RNN model performance（DFF-Att-RNN性能分析）
信息熵梯度图表明低熵区对应97.48%准确率；认知断裂几何与情绪参与势景观显示模型能区分连贯授课与认知过载片段；3D参数体素图、气泡图与行为堆叠图印证音频（平均音高、清晰度、停顿比）与行为（注意、参与、动机）特征被有效解耦与关联；特征相关性热图由Att-RNN突出关键跨模态相关。
3.3 5-fold cross-validation（五折交叉验证）
五折均值97.05±0.23%准确率，95% CI 96.76–97.34%，证明泛化稳定。
3.4 Statistical analysis using paired t-test（配对t检验）
DFF-Att-RNN均值97.48%对比Att-RNN 96.02%，p=0.003，t=4.27，差异显著。
3.5 Computational complexity analysis（计算复杂度分析）
特征提取与融合呈线性复杂度；Att-RNN为主开销，注意力为线性附加；DFF仅训练期迭代调参，推理不含优化层。
3.6 Comparative analysis（对比分析）
对比多源数据CNN（92%准）、CNN-LSTM（85%准）、SVM（83.7%准），所提模型全面占优；单模态实验中图像94.2%、音频91.5%、文本89.7%，多模态融合达97.48%。消融从M1基线89.12%逐级增至M5的97.48%，证实特征融合、RNN、注意力、DFF各自贡献。
讨论与结论翻译
讨论部分指出，CNN缺失时序、CNN-LSTM静态优化不稳、SVM难捕非线性多模态依赖；DFF-Att-RNN通过动态优化与注意力上下文弥补上述缺陷。多模态互补性假设被消融与融合实验支持。实际部署可接智能教室摄像/麦克风与学习管理系统，但需关注算力、隐私与环境变异。局限在于单数据集离线验证、未含眼动/生理模态、大规模实时部署成本较高。
结论部分翻译：本研究面向基于深度学习的多模态框架改进教学质量评估，利用多模态教学效能数据集记录教学与行为线索；经DWT与词形还原预处理，CNN/LMS/Word2Vec提取异质特征并在特征级融合，由DFF-Att-RNN充分建模上下文与时序依赖。实验取得97.48%准确率、95%精确率、96.5%召回率。尽管结果积极，框架仅在单一公开集评估，未实时验证，且未纳入眼动等指示，注意力与DFF也带来额外计算需求。未来工作应拓展数据集、融入生理信号、转向边缘实时推理。该研究为循证教育决策与个性化教学改进提供了可解释、可扩展的智能评估路径。
