《Frontiers in Artificial Intelligence》：From disengagement to re-engagement: behavioral evidence for AI-driven adaptive tutoring interventions in intelligent tutoring systems
编辑推荐：
在智能导学系统(Intelligent Tutoring System, ITS)交互过程中，认知脱离(cognitive disengagement)已在状态检测与流行度层面得到广泛刻画，但支配负性片段(negative episode)恢复的行为动态仍
在智能导学系统(Intelligent Tutoring System, ITS)交互过程中，认知脱离(cognitive disengagement)已在状态检测与流行度层面得到广泛刻画，但支配负性片段(negative episode)恢复的行为动态仍认识不足。本研究分析ASSISTments——一个广泛使用的数学智能导学系统——中的认知-情感状态动态，使用799名中等教育阶段学生在三个学年内采集的597,242条交互记录。一条包含九个阶段的分析流水线刻画了状态分布，通过结合Kruskal–Wallis预筛选、随机森林(Random Forest)重要性排序与交叉验证递归特征消除(Recursive Feature Elimination with Cross-Validation, RFECV)的三阶段特征选择程序识别出状态的行为预测因子，并对状态转移及从脱离片段向专注(concentrating)状态的恢复时间进行建模。结果表明，响应时间(response time)与提示寻求行为(hint-seeking behavior)共同贡献了随机森林特征重要性的81.0%，并在区分各状态方面呈现大效应量(large effect size)。流行度与严重度出现分离(dissociation)：无聊(boredom)作为最不频繁的负性状态，其正确响应率最低；而游戏系统(gaming)作为最频繁的负性状态，在题目层面(item level)对自发恢复(spontaneous recovery)最为抵抗，尽管鉴于单个游戏题目的短促性，一旦退出则解决迅速。恢复时间在负性状态之间差异显著，中位数从游戏系统的18.0 s到无聊的108.0 s，相差约六倍。负性片段期间的平均提示使用(average hint use)在总体上成为快速恢复的最强行为预测因子，快速恢复片段的平均提示使用比慢速恢复片段高59%，然而按状态分层(state-stratified)分析显示：在挫折(frustration)中呈正相关，在困惑(confusion)中呈反向相关，在游戏系统中关联可忽略，在无聊中呈初始正相关但在过滤低置信度(low-confidence)赋值后发生反转。上述发现为AI驱动的自适应干预提供了行为证据，此类干预能够促进学习者重新投入(re-engagement)并在智能导学系统中提供个性化支持，从而将研究重心从认知状态检测转向维持投入的干预策略。
## 论文主体解读
**研究背景与问题** 持续的认知投入是学习有效性的关键决定因素，但学习并非以单一状态均匀展开，学生会于质量、持续性与绩效影响各异的状态间振荡。无聊、挫折、困惑与游戏系统等负性状态在学习过程中规律性出现，并与更低的正确响应率、降低的学习增益及不利的长期学业轨迹相关。智能导学系统(ITS)生成连续、带时间戳的交互日志，可系统捕捉响应时间、提示请求与错误序列等行为信号，因而是生态化尺度上研究学习现象的理想场所。从交互日志检测认知-情感状态的技术业已成熟，从基于响应模式的早期模型演进至整合面部、语音、生理与交互信号的多模态系统，据报告在受控评估中相比静态ITS可实现最高约15个百分点的学习增益；且已确认情感状态呈现差异化的时间持续性模式，其对绩效的影响在短期与长期均可量化且显著。然而，这一演进仍聚焦于检测准确性，而非理解负性片段期间与之后发生了什么。学生在非生产性状态中停留的时间、决定其向主动认知投入恢复速度的因素，以及片段期间学生自身行为的作用，在既有文献中尚未被系统探讨。这一空白兼具理论与实践意涵：理论上，恢复动态是区别于状态检测的独立现象，需要能够刻画负性片段完整轨迹而非仅进行时点分类的分析框架；实践上，在ITS中设计有效的自适应干预，需理解片段期间哪些行为促进或延迟向生产性状态的回归，而现有检测模型并不提供此类信息。此类行为证据对于开发能够依据学习者演变的投入程度提供个性化支持的AI驱动导学系统至关重要。本研究即基于ASSISTments——一个在教育研究中被广泛使用的中学数学ITS——的597,242条交互记录与799名学生数据，分析认知-情感动态。核心发现表明，负性片段期间的主动提示寻求(active hint-seeking)在总体上与回归认知投入关联最强，但该关联并不跨起始状态一致，这对设计促进学习者重新投入与个性化学习支持的AI驱动自适应辅导干预具有直接意涵。研究人员指出该数据集早于当前涌现的多模态与生成式ITS，并论证其所考察的响应时间、提示寻求与错误模式等行为信号并非特定界面世代的产物：先前研究表明情感持续性的结构不受交互式教学智能体(pedagogical agents)是否在场的影响，提示这些信号指示的是底层自我调节与求助过程，而非特定界面设计的属性；同时，基于同类交互日志的情感检测器持续被应用于较新的ASSISTments队列与知识追踪等下游任务。研究所优先考虑的行为变量根植于自我调节学习文献中的求助(help-seeking)理论，该框架将请求帮助视为学习者在自我监控信号显示独立进展受阻时所采取的适应性策略；但同一表层行为亦可能反映适应不良的求助形式，因过度或不加区分的求助请求也是回避导向与依赖导向求助画像的标志。既有检测研究已绘制认知-情感状态的流行度与持续性，时间计量研究已量化学生停留于给定状态的时长，但均未考察脱离负性片段的轨迹或识别哪些行为加速该退出；针对提示寻求的干预研究则操纵脚手架(scaffolding)获取以测量其对后续学习的影响，而未将提示使用作为从进行中的脱离片段恢复的自然发生行为信号加以考察。本研究之不同在于，将恢复时间本身作为感兴趣的结局，并从未经操纵的交互日志中识别负性片段期间表现出的哪些行为——而非片段的频率、时长或实验施加的脚手架条件——预测学生多快回归生产性投入。四项研究问题予以指导：其一考察认知-情感状态在交互间的分布及其时间自我持续性(self-persistence)程度；其二考察哪些行为变量显著区分各状态，以及超越统计显著性的效应量；其三考察从负性片段向专注状态恢复所需时长，以及该时长是否因起始状态而异；其四识别片段期间哪些行为因素预测更快的恢复，及其对ITS自适应干预策略设计的意涵。作者列出的主要贡献包括：大规模刻画ITS中的认知状态恢复；研究焦点从状态检测转向评估负性片段期间的行为；提出结合统计预筛选、随机森林重要性与RFECV的三阶段特征选择程序，并与马尔可夫(Markov)转移建模及恢复时间分析整合于单一可复现流水线；提供设计相关证据，即脱离期间的提示寻求在挫折中与更快恢复相关，但在无聊、困惑或游戏系统中并不一致。相关工作梳理了认知-情感状态的分布与持续性、基于交互日志的自动检测（含游戏系统的潜在响应模型与无传感器检测）、多模态检测系统、提示寻求作为脚手架机制的行为研究，以及专门在ASSISTments中开展的游戏、脚手架与情感投入研究；作者据此指出，尚无研究对持续负性片段的认知恢复进行操作化，或识别片段期间哪些行为预测更快回归专注状态，此即本研究的贡献所在。表1从状态检测、转移建模、恢复分析与恢复的行为预测因子四方面，将本研究与最相关的先前工作加以定位。
**技术方法** 数据来自ASSISTments于2004年9月至2007年5月三个连续学年采集的597,242条交互记录，涵盖799名中等教育阶段学生，每条记录对应一名学生解答的一道题目，包含Unix时间戳、绩效变量、任务行为变量、累积错误历史与系统内嵌情感检测器估计的六个概率分数；该检测器在先前工作中使用BROMP协议下的现场观察训练而成，本研究未另行开展BROMP现场观察，仅依赖既有的、已标注的交互数据集。研究选取15个变量分为身份与时间、绩效、任务行为、错误历史及认知-情感状态五类。九阶段流水线的关键方法包括：以argmax规则对六状态概率向量赋予主认知状态标签，并计算检测器置信度与赋值边际(assignment margin)两项赋值质量指标；三阶段特征选择（Kruskal–Wallis预筛选要求p<0.05且η2>0.01，随机森林采用120棵树、最大深度12、每叶最小10样本并以学生分层5折交叉验证评估，再以RF重要性阈值I≥0.02与RFECV取交集确定最终子集）；针对timeTaken与hintCount的循环性(circularity)敏感性分析；以Kruskal–Wallis检验结合Bonferroni校正与Dunn事后检验进行统计验证，并以η2量化效应量；以含学生随机截距的混合效应线性模型与组内相关系数(ICC)进行多层稳健性检验；以一阶马尔可夫链估计转移概率，并以贝叶斯信息准则(BIC)比较一阶与二阶模型，辅以总变差距离；按学生平均正确率三分位分层比较转移异质性；以相邻交互时间差定义状态时长，对空值或负值采用timeTaken回退并以7,200 s阈值过滤跨会话停顿；将同一学生连续交互按30 min间隔切分为学习会话，定义负性片段为非生产性状态{FRUSTRATED, GAMING, CONFUSED, BORED}的连续序列（排除OFFTASK），恢复为首次转至CONCENTRATING，恢复时间上限1,800 s；提取片段长度、平均提示使用、平均连续错误率与平均检测器置信度四个行为预测因子，并据全局中位数将片段划分为快速与慢速恢复。分析以Python实现，随机种子固定为42。
**研究结果** **状态分布与流行度**：CONCENTRATING最为频繁，计345,526次交互（57.85%），其余依次为GAMING（102,181；17.11%）、FRUSTRATED（68,292；11.43%）、OFFTASK（36,252；6.07%）、CONFUSED（36,068；6.04%）与BORED（8,923；1.49%）；GAMING与FRUSTRATED合计占28.54%，构成该情境中最频繁的脱离形式，非生产性状态累计251,716次交互。以赋值边际≥0.10筛选的稳健性检验显示，BORED丧失70.7%的交互，提示其不成比例地由低置信度、模糊赋值构成。**变量选择与特征重要性**：六个候选变量中五个同时满足显著性与效应量标准，Past five wrong answers因η2=0.0099略低于阈值而被排除；Time taken效应量最大（η2=0.236），其次为Hint count（0.166）、Consecutive errors（0.058）、Past eight wrong answers（0.013）与Total time on skill（0.011）。随机森林在学生分层5折交叉验证下平均准确率为0.667±0.002，显著高于多数类基线0.579±0.007，绝对提升0.089、相对提升15.4%；Time taken重要性为0.584，近乎Hint count（0.226）的三倍，二者合计占81.0%。两准则交集确定的最终子集为Time taken、Hint count、Consecutive errors与Past eight wrong answers，Total time on skill虽单独超阈值但被RFECV判为多变量模型中的冗余。循环性检验显示，移除timeTaken与hintCount后准确率降至0.583±0.006，仅高于基线0.004，表明这两个变量承载了模型绝大部分区分力。**统计验证**：Bonferroni校正后（α*=0.0125）四个变量均p<0.001；Time taken的H=141,194.60且η2=0.236为大效应，Hint count的H=99,270.55、η2=0.166亦为大效应，Consecutive errors（0.058）接近中等效应边界，Past eight wrong answers（0.013）为小效应；Dunn事后检验显示Time taken在全部15个状态对间均显著（校正后p<0.001）。排除低边际赋值后效应量总体稳定，仅Consecutive errors由0.058升至0.089而跨入中等效应区间。混合效应模型显示各状态层系数在p<0.001下仍显著且状态排序不变，GAMING相对BORED在Time taken上偏差最大（?44.966 s）、OFFTASK正向偏差最大（+61.866 s）；Hint count中GAMING是唯一相对BORED增加的负性状态（+0.685）；ICC分别为0.052与0.056，表明学生间差异仅约占总方差5%。**时间动态与学习影响**：一阶马尔可夫转移矩阵显示，自转移概率由BORED的0.245至GAMING的0.816不等；GAMING最高，CONCENTRATING次之（0.784），其后为CONFUSED（0.481）、FRUSTRATED（0.444）与OFFTASK（0.352）；BORED是唯一“原地停留”并非最可能转移的状态，其最可能去向为CONCENTRATING（0.397）。CONCENTRATING为所有负性状态的首选去向，自OFFTASK（0.443）、FRUSTRATED（0.405）与CONFUSED（0.348）的转移概率均较高，且CONFUSED转向FRUSTRATED的概率很低（0.064）。会话三个三分段自转移概率最大差异为0.045，提示时间变异有限。正确响应率由CONCENTRATING的46.0%依次降至FRUSTRATED（35.0%）、OFFTASK（22.3%）、GAMING（14.8%）、CONFUSED（13.3%）与BORED（5.7%）。二阶模型尽管自由参数增加六倍，BIC仍低19,880点，提示转移概率并非完全由前一状态决定；一阶与二阶条件分布的总变差距离在涉及BORED与CONFUSED的转移及CONCENTRATING→GAMING（TVD=0.177，n=12,972）处最高。按表现三分位比较，GAMING自转移由0.827降至0.787、BORED由0.271降至0.217，而向CONCENTRATING的恢复概率相应上升（0.140→0.177与0.368→0.434），CONCENTRATING自转移基本恒定（极差0.010），低分位与高分位矩阵平均总变差距离为0.104；GAMING在各分位均为最持续状态（0.787–0.827）。**状态时长与转移时距**：时长分析基于585,607条有效记录，OFFTASK平均时长最长（110.26 s；中位67.0；SD=141.79），其次为BORED（64.69 s；中位37.0；SD=144.15），FRUSTRATED与CONFUSED相近（29.52与24.29 s；中位14.0与10.0 s），CONCENTRATING为23.72 s（中位12.0），GAMING最短（4.78 s；中位3.0；SD=23.96）。平均转移时距矩阵中，OFFTASK所在行数值最高（71.0–163.9 s，其中至BORED为163.9 s、至CONCENTRATING为129.7 s），GAMING所在行最低（4.3–15.2 s，自转移4.3 s为全矩阵最小值），CONCENTRATING、CONFUSED与FRUSTRATED各行数值居中且相对均匀。**认知状态恢复分析**：共识别63,646个脱离片段，分布于797名学生，597,242次交互切分为7,957个连续学习会话（人均10个，最大36个）；其中纯片段52,151个（81.9%），混合片段11,495个（18.1%），最常见混合组合为CONFUSED与FRUSTRATED（3,793个）。恢复时间由GAMING最快（均37 s；中位18 s），CONFUSED（均70.5 s；中位38.0）与FRUSTRATED（均78 s；中位42.0）居中，BORED最长（均131.8 s；中位108.0）；恢复时间与片段长度在1–15次交互区间呈明显递减关系，GAMING点云始终位于纵轴低位，BORED在20次交互以上稀疏出现。全局中位恢复时间为36 s，31,695个片段属快速恢复、31,951个属慢速恢复；慢速恢复片段长度更大（均3.77对2.74次交互）、平均提示使用更少（0.947对1.508）、平均连续错误更高（0.211对0.096）、平均检测器置信度更低（0.760对0.824），四项预测因子经Bonferroni校正后均p<0.001，η2依次为平均检测器置信度0.040、平均提示使用0.037、平均连续错误0.025与片段长度0.002。多元逻辑回归控制后，avg_hints仍为快速恢复的显著正向预测因子（coef=0.124，p<0.001，优势比≈1.13），起始状态贡献显著（伪R2=0.205），GAMING系数最大（coef=3.60）；按学生聚类稳健标准误重拟合后标准误中度增大（avg_hints为1.68倍），全部系数仍p<0.001。以片段长度中位数划分的“快速恢复”与以时钟时间划分者一致率仅48.9%，接近随机水平。按起始状态分层，提示使用与快速恢复的关联方向并不一致：BORED（快速2.018对慢速1.332，η2=0.0162）与FRUSTRATED（0.796对0.513，η2=0.0139）为促进关系，CONFUSED为反向（0.775对1.006，η2=0.0147），GAMING不显著（p=0.335）。在边际≥0.10的限制样本中（保留42,298个片段），FRUSTRATED的促进关联与CONFUSED的反向关联均得以复现（均p<0.001），但BORED关联方向反转（快速1.864对慢速2.255，η2=0.0082），GAMING关联虽变得显著（p<0.001）但效应量可忽略（η2=0.0011）。
**讨论与结论** 讨论部分指出，状态流行度结构复现了Baker et al. (2010)记载的层级，GAMING作为最频繁脱离形式与Walonoski and Heffernan (2006)在同一环境的报道一致；自转移概率按Karumbaiah et al. (2019)建议的自转移保留方式计算，以避免对机会基线的偏倚。BORED的低持续性与Andres et al. (2019)将其视为知识水平指标而非持续情感状态的刻画相一致。GAMING“高持续性与快恢复”并存的表观矛盾得到解释：自转移反映跨连续题目停留的概率而非片段总时长，维持该状态的急促作答在状态一旦改变时也促成快速退出。BORED的低持续性与长恢复时间并存，表明不稳定性并不必然转化为速度。随机森林重要性与Kruskal–Wallis效应量的一致性支持响应时间与提示使用作为稳健区分因子，与Baker et al. (2012)及Rahman et al. (2024)相符；两准则的不完全一致（RFECV排除Total time on skill）本身具有信息价值，说明单一选择标准可能保留冗余变量。多层模型中GAMING与提示计数的正向关联（相对BORED为+0.685）与提示滥用(hint abuse)作为核心游戏行为的既有刻画一致，提示提示频率本身在缺乏响应延迟或正确性信息时是模糊信号。作者进一步依循适应性与适应不良求助的区分讨论，认为提示请求在BORED与FRUSTRATED中可能作为适应性求助、在CONFUSED中可能指示回避或依赖导向画像、在GAMING中可能反映对脚手架机制的利用；横断面设计无法将这些状态特定解释与稳定的个体求助倾向相区分，且恢复速度不应被假定延伸至学习结果。稳健性检验表明，仅FRUSTRATED与CONFUSED的模式对检测器赋值不确定性稳健，BORED相关结论应视为暂定。作者建议ITS对状态检测作更差异化的使用：系统可权衡状态的预期恢复可能性，将检测与恢复轨迹模型配对，而非以独立触发器对待每种负性状态；并可将其嵌入基于大语言模型(large language model, LLM)的提示生成系统（如PAPPL），在BORED与FRUSTRATED中优先呈现提示、在GAMING中默认不呈现、对CONFUSED尤为谨慎。按表现分位的转移异质性提示，结构性持续所隐含的干预优先次序在表现谱系上大致适用，但对低表现学生可更主动干预。局限性包括：argmax操作化简化了低赋值边际的交互，检测器不确定性未在分布与动态分析中建模；无传感器检测器相对独立BROMP观察的外部效度未在本研究中重新评估，原检测器的系统偏倚会传导至全部下游结果，且该不确定性在各状态间分布不均，BORED最为敏感；马尔可夫框架仅建模可观测转移而无法表征潜在认知或情感过程，隐马尔可夫模型(Hidden Markov Model)是自然延伸；转移在两交互间隔内的确切时刻不可观测；恢复预测因子为相关性而非因果；30 min会话边界与1,800 s恢复窗口属阈值选择；分析限于单一平台与2004–2007年数据集，具体数值估计未在当代ITS平台验证，且Paquette and Baker (2017)发现ASSISTments中的脱离模式部分依赖环境，泛化需直接检验而非假定。结论部分指出：状态分布呈稳定层级结构，CONCENTRATING明显占主导，非生产性状态流行度相差逾一个数量级，但流行度异质性并不对应等效的绩效影响异质性——BORED作为最不频繁状态却呈最低正确响应率，确立了频率与严重度的分离，使仅基于流行度的干预模型系统性低估其影响；GAMING则以体量成为最具后果的负性状态。转移建模确认稳定性在各状态间是分级而非二分属性：GAMING与CONCENTRATING最为稳定，BORED是唯一原地停留非最可能转移的结构性例外；GAMING对自发恢复的结构性抵抗与高流行度并存，使其成为自适应干预短期设计中最具实践相关性的状态，而BORED的不稳定性提示持续至需主动干预的无聊片段是该状态中尤为严重的少数；持续性本身不足以代理某状态需干预的紧迫程度。混合片段中共现模式显示CONFUSED与FRUSTRATED为最常见组合，其次为FRUSTRATED与GAMING及CONFUSED与GAMING，但共现频率不能确立转移方向或系统升级，需进一步分析有序转移以识别潜在早期干预机会。变量选择识别出四个具可证明区分力的行为预测因子，响应时间与提示使用占随机森林总重要性81%且为统计验证中唯一具大效应的变量；题目时长从独立角度确认该层级，GAMING时长远最短而OFFTASK与BORED最长；Total time on skill虽具个体重要性仍被排除，强调变量在与其他变量联合评估后边际贡献可能冗余。恢复时间跨状态差异约六倍，且不能仅由持续性解释：GAMING最持续却恢复最快，BORED最不持续却恢复最慢，FRUSTRATED与CONFUSED居中且中位数相近，指向两者的部分共享解决模式；快速与慢速恢复围绕全局中位数近乎对称的划分表明该阈值捕捉了数据中的真实区分。脱离期间的提示使用在总体分析中为快速恢复的最强行为预测因子，并在多元模型中控制起始状态与片段特征后仍成立；但状态分层显示该促进作用并不一致——在无聊与挫折中成立、在困惑中反向、在游戏系统中缺失，而片段长度虽统计显著但效应量微不足道，排除脱离深度作为恢复时间的有效独立指标。综上，提示频率是状态依赖的信号而非通用的恢复杠杆，片段的行为质量比其规模更重要。未来工作最直接的路线是将该分析流水线部署于真实课堂情境中、跨整学期纵向追踪并同步记录物理课堂情境变量的专门构建的ITS中，整合当代环境可得的浏览行为、写作模式或基于摄像头的注意力指标等多模态信号，并考察恢复模式在学生个体内是否随时间稳定及是否预测超出即时交互的学业表现轨迹，从而将此处的认知恢复动态与Pardos et al. (2014)及Ocumpaugh et al. (2016)记载的长期学习轨迹相连接。认知脱离片段的恢复构成在分析上区别于状态检测的现象，其自身的行为预测因子不会从现有分类模型中涌现；主动提示寻求为自适应ITS提供了具体的设计原则，前提是选择性部署而非作为跨所有脱离形式的统一触发器——后者并不受本研究结果支持；困惑与游戏系统片段中分别发现的反向与零关联表明，状态特定校准并非可选，而是任何建立在该行为信号之上的干预的前提条件；在真实课堂情境中具备纵向追踪的系统中操作化这些状态特定原则，是将上述发现转化为可测量学习提升的最直接路径。
