《Frontiers in Artificial Intelligence》:Privacy-aware learning analytics for exploratory behavior through federated and explainable AI
编辑推荐:
学习分析平台越来越多地利用行为痕迹来建模虚拟学习环境(Virtual Learning Environments, VLEs)中的参与度、导航和自主学习动态。然而,当前大多数方法优先考虑预测准确性,集中存储敏感的学生记录,并很少分析分布式配置下探索性表征的稳
学习分析平台越来越多地利用行为痕迹来建模虚拟学习环境(Virtual Learning Environments, VLEs)中的参与度、导航和自主学习动态。然而,当前大多数方法优先考虑预测准确性,集中存储敏感的学生记录,并很少分析分布式配置下探索性表征的稳定性。本研究提出了一种隐私感知框架,整合了行为学习分析(behavioral learning analytics)、联邦学习(Federated Learning, FL)中的FedAvg算法以及可解释人工智能(Explainable AI, XAI),以从VLE痕迹中重建非正式和探索性模式,同时减少对原始数据的直接暴露。研究人员使用OULAD(Open University Learning Analytics Dataset)作为主要数据集,从10,900,970条交互记录中重建了29,228个学生–模块–课程分析单元,并生成了基于资源多样性、回访、时间分散和非评估活动的行为代理。在可操作的代理可恢复性配置中,逻辑回归(Logistic Regression, LR)实现了F1 = 0.977和AUC-ROC = 1.000;这一近乎完美的值被解释为对透明行为代理的上限恢复,而非对外部独立观察到的构念的预测。重要的是,在排除直接代理组件后,缩减场景仍保持了F1 = 0.905和AUC-ROC = 0.991。在分布式训练下,FedAvg保持了与集中式多层感知机(Multilayer Perceptron, MLP)相当的效用(F1 = 0.671;AUC-ROC = 0.886),并在集中式和联邦式解释性排名之间保持了Overlap@10 = 1.000和Spearman相关系数ρ = 0.985。结果表明,探索性表征可以在轻量级联邦教育场景中保持分析效用和解释稳定性。
**论文解读**
**一、研究背景与问题提出**
随着虚拟学习环境(Virtual Learning Environments, VLEs)的广泛部署,学习分析领域日益依赖行为痕迹来理解学生的参与动态、导航模式和自主学习过程。学生在平台上的重复资源访问、论坛参与、子页面间导航、非顺序查询以及时间分散的活动,共同构成了描述其如何“探索”教育环境的丰富信号。然而,现有研究存在三方面显著不足:第一,学习分析主要围绕成绩预测、辍学预警或最终表现展开,探索性维度往往被绩效导向变量所吸收,逐渐丧失其作为独立分析对象的价值;第二,大多数方法将敏感的学生行为记录集中存储用于模型训练,增加了数据暴露风险;第三,分布式配置下探索性行为表征的稳定性以及可解释性的保持,几乎未被现有研究共同评估。
本研究正是从这一张力中提出问题。分析非正式或探索性模式需要观察细微的行为痕迹,但这些痕迹同时也加剧了集中化训练时的学生数据暴露。因此,核心问题并非教育日志能否“证明”非正式学习的存在,而是能否从可观察的VLE信号中重建出与自主探索相兼容的行为模式,以及这种表征在去中心化训练条件下能否同时保持分析效用和可解释性。
**二、研究内容与重要意义**
研究人员提出并验证了一个整合行为学习分析、联邦学习(Federated Learning, FL)和可解释人工智能(Explainable AI, XAI)的统一分析框架。该框架以OULAD为主要语料库,从10,900,970条交互记录中重建了29,228个学生–模块–课程分析单元,并生成了基于资源多样性、回访率、时间分散度、导航不规则性和非评估活动比例的行为层。在此基础上,研究人员构建了一个不依赖最终成绩或学术绩效的非正式/探索性行为代理(behavioral proxy),并在集中式和基于FedAvg的联邦式两种配置下,系统评估了该代理的可恢复性、分析效用、原始数据暴露降低程度以及解释一致性。研究的方法论贡献在于首次将行为代理的结构稳定性、分布式训练下的分析效用以及跨配置的解释一致性这三个通常被独立分析的维度进行了联合评估。
**三、关键技术与方法概要**
研究首先对OULAD和EdNet两个大型教育数据集进行了结构性审计,最终选定OULAD作为主要语料库,因其在统一表格模式中保留了学生、模块、课程、VLE资源、活动类型及相对时间顺序之间的显式关系。行为特征层整合了资源多样性(以归一化熵建模)、回访率、时间分散度、导航不规则性(跨VLE活动类别的非固定路径移动)和非评估活动比例等维度。非正式/探索性代理通过Min–Max归一化和等权加权组合生成复合探索得分,并以第75百分位为阈值定义二分类标签。集中式场景采用逻辑回归(LR)和随机森林(RF)作为基线模型;联邦场景使用紧凑的双隐层MLP(1,729个可训练参数),并基于学术模块分区和平衡随机分区两种策略进行FedAvg模拟,同时引入了轻量高斯噪声扰动变体。可解释性通过排列重要性(permutation importance)、Overlap@10和Spearman等级相关进行量化比较。
**四、主要研究结果**
*4.1 数据集的适用性与行为分析层*
结构性审计揭示了OULAD与EdNet之间的显著差异。尽管EdNet-KT1在记录规模上更为庞大(约7.03×10
7行),但其交互主要集中在答题序列上;而OULAD将10,900,970条交互整合为七个关联表格,同时保留了与导航(subpage, homepage)、协作交互(forumng)、内容交互(oucontent)和资源访问(resource, url)相关的活动,使非评估性导航和分布式资源使用的恢复成为可能。行为层分析显示,forumng类别约占交互量的22.6%,而oucontent在内容导向活动中表现出最高的相对点击量,表明相当比例的学生活动分布在评估完成之外的资源咨询和导航中。
*4.2 代理构建与方法的敏感性分析*
代理在百分位阈值的适度变化下表现出良好的结构稳定性。基于第70、75和80百分位的配置与基线p75配置之间保持了约0.95的一致性(Agreement)和0.80至0.83之间的Jaccard相似度,表明高探索强度轨迹的组成不会因阈值微调而发生突变。然而,当通过纳入论坛活动比例、非预期时间窗口活动或扩展到七个组件来结构性扩展代理时,Jaccard相似度分别降至0.659、0.509和0.479,说明代理的内部组成对概念结构的修改高度敏感,尤其非顺序时间动态所捕获的行为维度与基线代理所反映的自主导航模式存在部分差异。
*4.3 集中式分析效用*
在完整操作配置下,LR实现了近乎完美的代理恢复能力(F1 = 0.977,AUC-ROC = 1.000),该结果应被解释为对透明行为代理可恢复性的上限验证。RF同样保持了强劲性能(F1 = 0.920,AUC-ROC = 0.993)。在排除直接代理组件的缩减控制配置中,LR仍保持F1 = 0.905和AUC-ROC = 0.991,RF保持F1 = 0.873和AUC-ROC = 0.983,表明探索性信号并非机械地依赖于代理公式本身,而是部分分布于时间连续性、资源转换和导航模式等间接行为变量之中。
*4.4 联邦学习效用与数据暴露降低*
FedAvg模块分区配置实现了F1 = 0.671和AUC-ROC = 0.886,与集中式MLP在数值取整后完全等效;随机FedAvg和模块加噪声变体均保持了基本相同的行为。所有联邦场景在训练过程中未共享任何原始交互记录,仅交换参数更新,实现了原始数据暴露的最小化。然而,在学术模块分区下,客户端间F1的离散度显著高于随机分区,部分客户端低于0.50而部分超过0.75,揭示出全局效用指标可能掩盖了教育模块间行为异质性带来的局部可恢复性差异。
*4.5 集中式与联邦式模型之间的解释一致性*
集中式MLP与FedAvg各变体在特征重要性排名上保持了极高的一致性:Overlap@10均为1.000,Spearman相关系数分别达到0.985和0.979。时间分散度(temporal dispersion)始终是最重要的解释变量,资源转换(resource transitions)、内容–资源交互(content_resource_interactions)和协作交互(collaborative interactions)紧随其后。该结果说明去中心化训练并未实质性地改变探索性行为的主导解释结构。与LR的对比进一步表明,排名差异主要源于模型家族本身,而非联邦训练过程的引入。
**五、讨论与结论**
研究结果表明,非正式和探索性行为模式可以基于VLE痕迹以可重复的方式操作化,且这种表征不依赖于任意脆弱的决策边界。集中式场景下,缩减控制配置所保持的高恢复力证明探索性信号深嵌于VLE交互的广泛结构中。更具意义的是,FedAvg在本地隔离教育痕迹和非独立同分布(non-IID)异质性条件下,仍能保持与集中式MLP几乎相同的分析效用和解释稳定性,这为隐私感知学习分析中“效用–暴露–可解释性”三者的平衡提供了重要的实证证据。研究的局限性包括:代理本质上是行为痕迹的操作性表征而非对非正式学习的直接教学观察;联邦训练仅降低了直接数据暴露而未提供正式的差分隐私保障;异质性在单一教育环境内模拟而非跨机构部署。未来工作应扩展到真实多机构场景,并纳入正式隐私保护机制和动态行为表征。
研究结论指出,该工作提出了一个整合行为学习分析、联邦学习和基于行为信号的可解释性的统一框架,能够从VLE资源的分布式交互中重建可解释的学习轨迹,同时在去中心化配置下保持分析效用和解释稳定性。探索性行为可通过导航多样性、时间分布、回访和非评估活动构建可复现的代理;分析效用可在不集中原始学生痕迹的联邦配置下得到保持;主导行为信号在分布式聚合后仍保持相对一致。研究还表明,相对紧凑的模型和轻量联邦配置足以捕获关键行为规律,该框架主要定位于面向可解释行为表征的分析体系,而非单纯的算法优化系统。