《Applied Sciences》：Rock Mechanics Development Driven by Multiscale Coupling and Engineering Practice: New Ideas and New Horizons
编辑推荐：
专业术语翻译（论文摘要）
课堂互动行为的准确识别有助于刻画教学过程、分析师生互动状态，并为教学质量评价提供依据。现有方法大多依赖课堂转录文本进行行为分类，这些方法能够捕捉话语内容中的语义信息，但难以充分利用语音中的声学线索，如语调、停顿和情感强度。与此同时，课
专业术语翻译（论文摘要）
课堂互动行为的准确识别有助于刻画教学过程、分析师生互动状态，并为教学质量评价提供依据。现有方法大多依赖课堂转录文本进行行为分类，这些方法能够捕捉话语内容中的语义信息，但难以充分利用语音中的声学线索，如语调、停顿和情感强度。与此同时，课堂互动行为表现出明显的上下文依赖性，当前行为往往与前述行为相关联。仅对当前话语进行建模容易忽略历史行为中所包含的时间信息。为解决上述问题，本文提出课堂多模态交互与时间建模（Classroom Multimodal Interaction and Temporal Modeling, CMITM），一种用于课堂互动行为识别的多模态交互与局部时间建模方法。CMITM从两个视角对课堂互动行为进行建模：一是当前话语中文本与音频信息的跨模态特征交互，二是局部历史行为中所包含的类别转换关系与状态演化过程。本文设计了跨模态特征交互、局部历史行为转换建模以及自适应上下文校正机制，以增强文本与音频之间的信息互补性，并利用与当前行为相关的历史上下文信息。实验在自建的课堂互动行为多模态数据集上进行。结果表明，CMITM优于各种单模态模型和多模态融合基线模型，并在课堂互动行为识别任务上取得了更优的性能。
论文解读文章
一、研究背景与问题提出
课堂互动行为是教学活动的重要组成部分，能够反映教师的教学组织方式、师生沟通状态以及学生课堂参与程度。教师讲授、提问、指令等行为，以及学生应答、主动发言等行为，共同构成了课堂教学过程中的互动模式。准确识别课堂互动行为有助于分析课堂教学过程、评价师生互动质量，并为教学反馈和教学管理提供依据。随着智慧教育的持续发展，人工智能、大数据和多模态分析技术逐步应用于课堂教学场景，为课堂互动行为的自动识别提供了新的技术条件。
然而，现有课堂互动行为识别研究仍面临两方面主要挑战。第一，多模态信息融合不充分。已有研究主要聚焦于文本信息，通常从课堂转录文本中提取语义特征并根据话语内容判定互动行为类别。文本信息虽能较为直接地反映课堂话语的语义意图，但仅依赖文本信息容易忽视语音表达中的声学线索，如语调、停顿、语速和情感强度等，难以完整刻画实际课堂互动过程。相比之下，利用音频信息进行课堂互动行为识别的研究仍相对有限，文本与音频之间的互补关系尚未被充分挖掘。第二，历史行为上下文利用不足。课堂互动行为并非孤立发生，当前行为往往与前述行为存在类别关联和状态延续关系。例如，学生应答可能出现在教师提问之后，提问或指令行为可能出现在教师讲授之后。若仅基于当前话语的文本和音频信息进行分类，模型难以准确判断行为发生的上下文状态。现有方法对局部历史行为信息的利用较为有限，通常通过拼接或平均方式引入上下文信息，难以区分不同历史片段的重要性，也难以刻画历史行为类别间的转换关系及状态演化过程。
上述局限的主要原因在于课堂互动行为具有较强的上下文依赖性和多模态特征。同一话语在不同教学阶段和前后行为语境下可能具有不同的互动功能，仅考虑当前话语难以捕捉行为的连续演化；同时，课堂话语既包含文本语义信息，也包含语调、停顿、语速等声学线索，单一模态不足以完整表征教师提问、讲授、反馈及学生应答等行为。因此，有必要发展一种联合利用文本、音频及局部历史上下文信息的课堂互动行为识别方法。
二、研究内容与主要结论
针对上述问题，研究人员提出了CMITM（课堂多模态交互与时间建模网络，Classroom Multimodal Interaction and Temporal Modeling），从两个互补视角对课堂互动行为进行建模：当前行为的文本—音频跨模态特征，以及当前话语之前局部历史行为序列中所包含的类别转换关系和状态演化信息。在当前行为建模阶段，CMITM通过共享空间中的跨模态交互机制刻画文本语义信息与音频声学信息之间的关联，并通过双向门控残差方案实现两种模态间的信息互补，从而生成更具判别力的当前行为表征。在局部历史行为转换建模阶段，模型对局部历史行为序列进行转换建模，通过类别转换先验和隐状态循环刻画历史行为之间的类别关联与状态演化。在上下文融合阶段，模型根据当前行为表征与历史状态之间的相关性，自适应选择与当前行为最相关的历史信息，并通过门控残差方案对当前行为表征进行上下文校正，生成用于最终行为分类的增强表征。
研究人员构建了一个研究专用的课堂互动行为多模态数据集。视频数据来自公开在线课程视频，共收集30节课，涵盖不同教师、学科和学段（小学、初中、高中），每节课约40分钟。数据构建过程中，使用FFmpeg提取音频并统一重采样至16kHz，采用FunASR框架进行语音端点检测、语音转录和说话人区分，其中FSMN-VAD用于将连续课堂音频切分为句级话语单元并记录时间戳，CAM++对语音活跃区间进行声纹特征建模，Paraformer用于自动语音识别。由于课堂环境复杂，自动语音识别和说话人区分结果可能存在误差，研究人员对识别结果进行了人工校对，确认句级切分、转录文本和说话人身份标注的准确性，并根据校正后的时间戳进行音频切分。在类别标注阶段，研究参照弗兰德斯互动分析系统（Flanders Interaction Analysis System, FIAS）对课堂互动行为进行编码。最终数据集包含8个行为类别、共18246个样本。实验采用按视频数量划分训练集、验证集和测试集的方式，分别包含20、5和5个视频，同一视频的所有行为片段归属同一子集以避免信息泄漏。
实验结果表明，CMITM在准确率（Accuracy）、宏平均精确率（Macro-Precision）、宏平均召回率（Macro-Recall）和宏平均F1值（Macro-F1）上分别达到0.910、0.894、0.896和0.894，均优于单模态基线模型和多模态融合基线模型。
三、关键技术方法概述
研究人员主要采用了以下关键技术方法。其一，基于预训练模型的多模态特征提取：采用中文RoBERTa-wwm-ext（Chinese-RoBERTa-wwm-ext）提取文本语义特征，采用中文HuBERT-base（Chinese-HuBERT-base）提取音频声学特征。其二，跨模态特征交互机制：将文本和音频全局表征映射至统一共享空间，通过联合关系建模和双向门控机制实现模态间信息互补。其三，局部历史行为转换建模：引入可学习的类别转换矩阵刻画历史行为类别间的转移关系，并通过门控循环更新机制对历史行为隐状态进行时序演化建模。其四，自适应上下文校正机制：以当前行为表征为查询向量，通过注意力权重对历史状态进行软选择和加权聚合，并通过门控残差方案控制历史上下文对当前表征的校正强度。其五，联合损失函数优化：采用加权交叉熵作为整体训练损失以缓解类别不平衡问题，并引入局部历史行为辅助分类损失以增强历史状态表征的类别判别力。
四、研究结果分析
对比实验。 研究人员将CMITM与多种基线模型进行对比。在单模态基线中，中文RoBERTa-wwm-ext表现相对较强，准确率和宏平均F1值分别达到0.862和0.826，表明文本语义信息在课堂互动行为识别中发挥重要作用；基于音频的中文HuBERT-base各项指标均低于文本单模态模型，说明仅凭音频信息难以充分表征课堂互动行为的语义内涵和教学功能。在多模态基线中，基于拼接、逐元素相加、逐元素相乘和门控融合的方法均优于单模态中文RoBERTa-wwm-ext模型，其中门控融合方法综合表现相对较好，准确率和宏平均F1值分别达到0.873和0.839，验证了音频声学信息对文本语义信息的有效补充作用。基于GRU的局部历史上下文多模态基线取得准确率0.898、宏平均F1值0.880，CMITM较该基线在四项指标上分别提升0.012、0.012、0.013和0.014。
类别级识别结果分析。 通过测试集上的行归一化混淆矩阵分析，模型在“表扬或接纳学生情感”“提问”和“沉默或混乱”类别上识别效果较好，正确识别率分别达到97.44%、97.37%和100.00%。“采纳学生观点”类别的识别表现相对较弱，正确识别率为64.62%，其中29.23%的样本被误判为“讲授”，且4.38%的“讲授”样本被误判为“采纳学生观点”，表明这两个类别存在较明显的混淆。“指令或批评”类别的正确识别率达到86.37%，其中12.97%的样本被误判为“讲授”。在学生行为类别中，“学生应答”和“学生主动发言”之间存在一定混淆，12.63%的“学生应答”样本被预测为“学生主动发言”，7.52%的“学生主动发言”样本被预测为“学生应答”，表明区分这两个类别在课堂互动功能上的差异可能需要更细粒度的上下文信息。
消融实验。 研究人员通过移除或替换单个模块验证各核心组件的有效性。移除跨模态交互机制后，模型宏平均F1值从0.894降至0.877，准确率从0.910降至0.889，表明仅靠全局文本和音频表征的拼接与投影难以充分建模两种模态间的互补关系。移除显式类别转换先验后，准确率和宏平均F1值分别降至0.907和0.889；移除历史状态循环后，准确率和宏平均F1值进一步降至0.888和0.875，表明连续历史状态建模比类别转换先验发挥更重要的作用。移除自适应上下文选择和门控校正后，宏平均F1值降至0.887，说明直接拼接融合当前行为与历史状态仍存在局限。移除历史行为辅助监督后，宏平均F1值降至0.875，表明历史行为类别辅助损失能为历史状态学习提供额外监督信号，使历史分支学习到更具类别判别力的表征。
参数分析实验。 在历史上下文窗口长度方面，当窗口长度从1增加至4时，模型整体性能逐步提升，窗口长度为4时表现最佳，准确率、宏平均精确率、宏平均召回率和宏平均F1值分别达到0.910、0.894、0.896和0.894；当窗口长度增至5时，各项指标均出现不同程度下降，宏平均F1值降至0.887，表明过长的历史上下文可能引入与当前行为弱相关的信息，增加冗余干扰。在局部历史行为辅助损失权重方面，当权重为0.05时宏平均F1值为0.883；权重增至0.10时模型取得最佳综合性能；权重继续增大时性能保持相对较高水平但出现一定波动，表明过大权重可能使模型过度关注历史行为预测，影响当前行为分类目标的优化。
五、讨论与结论
研究结论指出，课堂互动行为是反映教学组织、师生沟通和学生参与状态的重要依据，准确识别这些行为有助于课堂教学评价、教学过程分析及智慧教育系统的发展。研究人员构建了融合文本和音频信息的多模态课堂互动行为数据集，并提出了CMITM网络用于课堂互动行为识别。该模型通过跨模态特征交互增强当前行为的跨模态表征，通过局部历史行为状态转换建模刻画前述行为的类别关系和状态演化，并通过自适应上下文校正机制选择和融入相关历史信息。实验结果表明，CMITM相比单模态模型和文本—音频融合模型取得了更优的综合性能。
未来研究将进一步扩大数据集规模，覆盖更多学科、年级、教师和教学场景以提升数据多样性和代表性，并在不同课堂环境中进一步验证模型的稳定性和泛化能力。同时，研究人员将探索跨场景迁移、细粒度行为分析和弱监督学习方法，以进一步提升模型的泛化能力和实际应用价值。
