《Artificial Intelligence Science and Engineering》：Dual-Pool MocoRank: A Controllable Accuracy–Class-Balance Frontier for Student Engagement Detection
编辑推荐：
从短网络摄像头片段自动检测学生投入度涉及整体准确率（Acc）与稀有脱离投入状态识别之间的权衡。在综合多模态在线学生投入度数据集（CMOSE）中，投入片段约占数据的69%，因此即使少数类召回率较低，Acc仍可能较高。本研究考察了对该权衡的两种控制：序数对比训练期
从短网络摄像头片段自动检测学生投入度涉及整体准确率（Acc）与稀有脱离投入状态识别之间的权衡。在综合多模态在线学生投入度数据集（CMOSE）中，投入片段约占数据的69%，因此即使少数类召回率较低，Acc仍可能较高。本研究考察了对该权衡的两种控制：序数对比训练期间比较池的类别构成，以及将冻结表示映射为类别标签的事后规则。双池Moco-Rank（DPMR）通过α混合均衡池与自然先验分层池，以控制训练时的比较分布。训练后，研究人员使用标量分数或标量分数加256维分数前嵌入（pre-score embedding），拟合经验证集选择的阈值与多项逻辑回归决策规则。这些控制共同在CMOSE上产生可选择的精度–类别均衡前沿。在最接近的单模型固定阈值比较中，DPMR获得76.00%的Acc与57.62%的AvgAcc。其平均每类准确率（AvgAcc）比已发表的MocoRank with Center Loss结果高1.88个百分点，比已发表的MocoRank-only结果60.94%低3.32个百分点。这些结果支持对工作点的控制，但并未确立新的单点记录。代码与配置文件可向通讯作者合理索取。
**研究背景与问题** 在线与混合学习环境削弱了教师对细微行为线索的监控能力，使自动投入度识别成为一项有用但困难的情感计算任务。该任务的标准表述为序数形式：给定短网络摄像头片段，预测高度脱离（HD）、脱离（DE）、投入（EG）或高度投入（HE）四类标签之一，类别间存在顺序关系。自然采集的投入度数据高度不均衡，CMOSE基准的类别分布约为HD=2.8%、DE=18.1%、EG=69.4%、HE=9.7%，因此最大化整体准确率（Acc）的系统可能主要识别EG而显得性能较强；对教育部署而言，平均每类准确率（AvgAcc）往往更有意义。MocoRank通过预测标量投入度分数并与动量维护的参考分数池比较来处理序数结构，但其分数池具有隐含的类别分布：若遵循数据先验则EG主导比较，若均衡则少数类边界获得更强梯度但牺牲EG召回。本研究将这一设计选择显式化并可控制。
**研究内容与结论** 研究人员提出双池MocoRank（DPMR），维护自然先验池与均衡池两个分层池，由混合系数α∈[0,1]组合其损失，从而直接控制训练目标的类别加权；并提出嵌入感知的事后决策规则拟合，在冻结表示上拟合阈值网格搜索（T-GRID）、标量分数多项逻辑回归（SCORE-LR）以及分数加嵌入的多项逻辑回归（EMBED-LR），三者仅在验证集拟合并原样应用于测试集。研究表明，该训练与决策规则流水线在CMOSE上产生精度–类别均衡前沿，工作点可按应用选择；证据支持工作点的可控性，但不支持新的单点记录主张。在DAiSEE上的目标域微调实验显示同样的定性权衡但类别分离更弱；双池机制不增加可训练参数或单检查点推理开销，训练时约使池状态与比较损失工作量加倍。
**关键技术方法** 研究重建了已发表的CMOSE架构：OpenFace 2.0提取49维帧级特征并聚合为147×10张量，经逐时间步MLP与4级时间卷积网络（TCN）处理，并与1024维I3D嵌入经跨模态注意力融合为256维视觉表示，含语音片段（约26%）再拼接768维BERT转录嵌入与6个声学特征形成390维全表示。训练采用MocoRank多边际排序损失与?2归一化Center Loss（λ=0.2），使用分层分数池（容量2048）、双池α混合、均衡采样器，以及难负样本加权、特征空间mixup与特征组丢弃等增强，Phase 2联合微调；事后在验证集拟合T-GRID、SCORE-LR与EMBED-LR（类别加权与正则强度C扫描），并进行三检查点分数与嵌入融合。数据为官方CMOSE划分（8783/2193/1221片段）的已发布预提取特征，DAiSEE用于迁移评估。
**研究结果** （1）CMOSE主要工作点：单模型固定阈值比较中，DPMR-A05获得76.00% Acc与57.62% AvgAcc，均衡池-only的DPMR-A0为75.35%/55.98%，二者差异度量了重实现内池构成的效果；与已发表MocoRank + Center Loss（78.14%/55.74%）相比Acc低2.14个百分点、AvgAcc高1.88个百分点，已发表MocoRank-only的60.94% AvgAcc仍高3.32个百分点。融合加均匀加权EMBED-LR达到77.64% Acc；均衡EMBED-LR在C=0.05时获65.93% Acc与62.69% AvgAcc，但其95% bootstrap区间[57.8,68.1]包含60.94%，缩减数据读出拟合得60.5% AvgAcc；C=1.0点达64.29%/64.37%但验证–测试差距9.1个百分点，仅作为观测上界；T-GRID在验证Acc≥72%时获71.17% Acc与61.07% AvgAcc。（2）训练时α扫描：短时程按验证AvgAcc选择时α=0.3观测AvgAcc最高，α=0.7训练崩溃；长时程1200轮最佳准确率协议下α=0.5观测Acc与AvgAcc最高，表明偏好α依赖训练时程与检查点选择准则，且各设置为单次运行点估计。（3）DPMR-FULL组件消融：移除均衡采样器或Center Loss均导致训练崩溃；移除难负样本加权与特征空间mixup分别使AvgAcc降低5.93与4.79个百分点；四个序数分数目标中点始终保持初始值。（4）Center Loss权重λ扫描：λ=0.20在评估范围内观测最佳，响应非单调。（5）完整事后Pareto扫描：仅改变决策规则即可在固定分数与嵌入上移动工作点，均匀加权提高Acc、均衡加权提高AvgAcc。（6）Bootstrap置信区间：测试集仅1221片段且HD仅35片段，AvgAcc区间较宽，不支持明确的优越性主张，但工作点间移动大于边际抽样不确定性。（7）分数分布与事后增益来源：类别分数均值向内压缩（HD观测?0.414对目标?0.75，HE观测+0.451对目标+0.75），默认阈值(?0.5,0,+0.5)系统性错分边界样本；DE与EG分数分布在[?0.06,+0.16]显著重叠，标量阈值无法分离；t-SNE显示部分分数相近的DE与EG样本在嵌入空间占据不同区域，EMBED-LR利用嵌入方向分离部分样本；跨DPMR-A0/A03/A05/FULL识别出191个测试样本（15.6%）在各自默认规则下均被误分类，主要非对角线质量集中于DE–EG边界。（8）补充实验：长时程α扫描显示α=0.3与0.5分别在1185与1025轮崩溃于有用检查点之后，α=0.7与1.0在数十轮内崩溃。（9）组件分析：在受控α消融中，相对于仅均衡池，加入自然先验贡献使固定阈值Acc提高0.65个百分点、AvgAcc提高1.64个百分点；自然池-only压力测试（MR-REPL）在约55轮内崩溃，最佳AvgAcc检查点约27% Acc与37% AvgAcc，为下界压力测试而非收敛的MocoRank基线；匹配决策规则归因显示，均衡EMBED-LR（C=0.05）将MR-REPL的AvgAcc从37.2%恢复至57.2%，单检查点DPMR-FULL为60.1%，三检查点融合为62.7%，验证–测试差距由11.0降至5.7再降至3.6个百分点；缩减数据敏感性分析中C=0.05点获66.3% Acc与60.5% AvgAcc，前沿仍可见。（10）DAiSEE跨数据集迁移：默认阈值获47.14% Acc与25.95% AvgAcc；按验证Acc选阈值获51.18%/26.05%，但仅比始终预测EG的基线（49.44% Acc/25.00% AvgAcc）高1.74个百分点，各类召回为0%/0%/95%/9%；按验证AvgAcc选阈值则移至42.38%/33.01%，召回为25%/21%/59%/27%，但测试集仅4个HD片段，该25%召回对应一个正确分类片段；验证集类别均值位于[0.3623,0.3823]窄区间，测试集EG与HE均值0.4425与0.4636，类内标准差约0.25，标量分数分离有限。（11）计算成本：完整多模态头含1103878个可训练参数（约4.42 MB FP32），Phase-1视觉头1005056个参数，每10秒片段约480万乘加运算（9.6 MFLOPs）；单RTX A6000上35批一个epoch约74.7秒，DPMR-FULL约380个epoch约7.9 GPU小时；与匹配单池实现相比，双池具有相同渐近复杂度O(BMd)时间与O(Md)池空间，训练时约使比较损失工作与池状态加倍，第二个池增加约2.02 MiB（256维）至3.07 MiB（390维）原始张量负载，推理无池相关开销，EMBED-LR至多1032个参数。
**讨论与结论** 讨论部分指出：最佳单模型固定阈值准确率（76.00%）与融合默认准确率（74.53%）低于已发表78.14%–78.55%结果，差距集中于EG召回，而均匀加权EMBED-LR可将同一融合移至77.64%准确率、均衡EMBED-LR达64.37% AvgAcc，因此默认阈值准确率差距与类别均衡训练目标及所选决策规则均相关。单一Acc或AvgAcc仅报告权衡曲线上的一个点，课堂层面趋势估计可偏向准确率导向点，风险预警可偏向更高少数类召回，同一冻结表示可通过不同决策规则支持两种选择，因此应将生效的决策规则连同准确率导向与类别均衡导向结果一并作为模型规格报告。实践超参数选择中，α作用于训练时比较的类别构成、λ控制表示训练中的Center Loss、C控制冻结表示EMBED-LR的逆?2正则强度，选择α或λ需重训练而C可在表示冻结后选择；α在短时程按AvgAcc选择时0.3最佳、长时程最佳准确率协议下0.5最佳，0.7及以上在分层池实现中不稳定；λ响应非单调，λ=0.20为观测最佳但属实现特定默认，λ=0消融崩溃并不表明MocoRank普遍需要Center Loss；C=0.05推荐用于少数类导向工作点，C=1.0作为观测最大AvgAcc点而非部署建议；建议先选检查点准则、再调α、固定α后调λ，冻结表示后选决策规则、类别加权与C，所有选择均用验证数据。事后规则相对训练网络很小（EMBED-LR至多1032参数，T-GRID三个阈值），只能利用冻结分数与嵌入中的信息，因此在同一冻结表示上比较决策规则可分离读出变化与表示训练变化。双池机制原则上可推广至其他使用记忆队列或比较池的对比方法，但本研究未测试。可复现性方面报告了四项CMOSE特定实现细节：动量编码器连续性（Phase-1/2边界重新初始化损失约3个百分点AvgAcc）、双重检查点选择（最佳准确率与最佳AvgAcc检查点通常位于不同epoch，仅保存其一会在另一轴上低估最多6个百分点）、均衡采样（移除后在所有评估配置中数十轮内崩溃， Observation 3表明采样器与池构成联合加权有序锚/参考类对但不预测崩溃）、池分层与池容量同样重要（单一FIFO池不重现同类总容量的逐类分层池行为）。191个持续误分类样本（15.6%）可能反映标签模糊与冻结特征局限。局限性包括：单一主基准、预提取特征无法微调上游模型、主要配置与消融为单次运行未估计训练种子方差、原始MocoRank代码与权重不可得、融合三元组按验证指标检视选择、验证集复用于检查点选择与事后规则拟合、报告点多重性未校正、C=1.0点存在事后过拟合风险（9.1个百分点差距）、人口统计稳健性未验证。伦理部分强调仅使用公开预提取特征、从未访问原始视频，预期用途为聚合课堂趋势估计与人工在环标记，推荐风险点的HD精确率约21%（104个HD预测中22个正确），预测仅应作为人工审查提示而不得决定成绩、纪律或强制干预，类别均衡指投入类别而非人口统计群体，部署需单独的人口统计稳健性审计，投入分数应作为敏感个人数据最小化存储与短期保留。结论部分译文如下：DPMR通过混合均衡池与自然先验池控制训练时比较的类别构成，事后决策规则再将冻结分数与嵌入映射到工作点，二者共同在CMOSE上产生精度–类别均衡前沿。在最接近的固定阈值单模型比较中，DPMR-A05获得76.00% Acc与57.62% AvgAcc，其AvgAcc比已发表MocoRank + Center Loss结果高1.88个百分点、比已发表MocoRank-only结果低3.32个百分点。拟合读出产生更高的AvgAcc点估计，但其bootstrap区间包含已发表的60.94%结果，缩减数据敏感性结果亦低于该值，因此证据支持工作点的可控性而非确立新的单点记录。受控α扫描度量了分层池实现内池构成的效果；MR-REPL是崩溃的自然池压力测试而非收敛的单FIFO基线，因此无法针对已发表实现隔离双池贡献；训练比较为单次运行点估计，未估计训练种子方差。在DAiSEE上，按验证Acc选阈值获51.18% Acc与26.05% AvgAcc，按验证AvgAcc选阈值获42.38% Acc与33.01% AvgAcc，目标域微调后权衡仍可见但类别分离弱于CMOSE。双池机制不增加可训练参数或单检查点推理开销，训练时约使池状态与比较损失工作量加倍，可选三检查点融合使可训练头推理计算约增至三倍。实现、配置与决策规则拟合脚本可向通讯作者合理索取。未来投入度检测研究应同时报告决策规则以及准确率导向与类别均衡导向的工作点。
