基于注意力机制的多拓扑图卷积网络(GCN)的学习预测
范迪,
谭一帆,
范雷华,
赵福艳,
吕长志
《Electronics》:Learning Prediction of Multi-Topological GCN Based on Attention Mechanism
Di Fan,
Yifan Tan,
Leihua Fan,
Fuyan Zhao and
Changzhi Lv
【字体:
大
中
小
】
时间:2026年05月02日
来源:Electronics 2.6
编辑推荐:
摘要:由于忽视学习者之间的关联而导致的图形信息缺失,常常会影响基于图形的学习的准确性。本文提出了一种称为基于注意力的多拓扑图卷积(A-MTGCN)的方法来解决这一问题。该方法使用图神经网络来预测学术任务。该方法包含一个注意力机制,为不同的学术特征分配权重,以反映它们对预测的影响。
摘要:由于忽视学习者之间的关联而导致的图形信息缺失,常常会影响基于图形的学习的准确性。本文提出了一种称为基于注意力的多拓扑图卷积(A-MTGCN)的方法来解决这一问题。该方法使用图神经网络来预测学术任务。该方法包含一个注意力机制,为不同的学术特征分配权重,以反映它们对预测的影响。此外,从多个角度构建学习者之间的拓扑结构,以捕捉潜在的互动和协作,形成一个加权学习者关联图。这减少了图中的冗余和信息分散,同时保留了相关特征。该方法将学习者分为四种类型。实验表明,改进后的GCN在学习者节点分类方面表现优异,准确率为92.53%,精确率为89.15%,召回率为92.27%,F1分数为87.83%。通过构建学习者状态转移矩阵,可以反映学习者学习状态的演变过程。
1. 引言
预测学习者表现是教育数据挖掘领域长期存在的研究问题,目前也是该领域可解释性的主要应用场景之一[1]。为了制定个性化的干预策略,学校和教育机构必须深入了解学习者的学术表现和行为特征。然而,由于个体需求和兴趣的差异,学习者的参与方式和学习路径高度多样化。虽然这些多样化的学习行为为在线教育提供了丰富的数据,但在分析学习过程和预测学生表现方面也带来了重大挑战[2,3,4]。准确分析学生表现可以帮助教师识别出有失败或辍学风险的学生,提供及时的反馈和干预,并制定个性化的学习路径和资源。这也使学习者能够监控自己的进度,调整学习策略,并提高他们的动机和自我调节能力。
国内外研究人员已经对学习成果的预测分析进行了广泛而深入的研究,旨在通过教育数据挖掘技术揭示学习者学术表现中的潜在模式。例如,在传统机器学习领域,Riestra等人[5]开发了一个基于五种算法的学习成果预测模型:逻辑回归、支持向量机、朴素贝叶斯、决策树和多层感知器。通过分析大量的LMS日志数据,他们实现了对学习者学术表现的早期和准确预测。在Alshabandar等人[6]设计的两个模型中,随机森林在常规学术表现方面表现最佳,而梯度提升机在最终学术成就方面表现最佳。Lu等人[7]提出了一个基于动态时间规整的模型,并开发了动态时间规整与黑寡妇优化(DTBW)和动态时间规整与狐狸优化(DTFO)模型,在公共数据集上分别实现了93.7%和93.5%的准确率。深度学习技术的引入进一步推动了这一领域的发展。Wang等人[8]提出了一个结合长短期记忆(LSTM)和DistilBERT的混合模型,实现了98.7%的准确率,同时优化了计算效率。与此同时,Junejo等人[9]设计了一个针对疫情期间学习场景的学术表现预测深度学习模型。该模型在多个指标上均优于现有方法,展示了出色的预测性能。Li Mengying等人[10]通过使用双路径注意力机制识别关键特征,提高了个性化预测的准确性。
尽管使用上述方法取得了显著进展,但仍存在一些局限性。首先,许多模型未能充分利用特征提取过程中学习者互动所固有的结构信息和属性特征空间。这意味着它们忽略了学习行为的时间动态和长期依赖性[11]。其次,现有研究通常将学习者视为独立实体,未能充分探索它们之间的复杂关系。
在现实世界的在线学习环境中,教育数据主要来源于学习管理系统(LMS)日志。然而,随着智能教育和“智慧城市”概念的发展,教育环境逐渐采用基于物联网(IoT)的多源数据收集方法。例如,智能教室设备和学习行为传感器可以更全面地跟踪学习者的行为模式和互动方式,从而为学习状态建模提供更丰富的数据集。然而,引入多源、异构数据增加了数据结构和建模的复杂性。图神经网络(GNNs)是建模结构化数据的强大工具,为学习表现预测提供了新的解决方案。GNNs可以通过递归聚合来自邻近节点的信息来充分利用节点特征和图结构,执行高级节点分类任务[12]。这使它们能够捕捉学习者与内容之间的复杂关系。近年来,GNNs在教育领域的应用持续增长。例如,Wang等人[13]构建了一个整合了文本内容和知识点关联的异构图。他们通过异构图神经网络(HGNN)实现了更全面的问题表示,证明了多维结构整合在教育数据建模中的有效性。Fang等人[14]基于多源数据(如学生学术表现和课程选择历史)构建了一个多层次知识图。他们使用GCN挖掘潜在关联,为个性化推荐奠定了结构基础。Fan等人[15]采用改进的GCN学习异构图嵌入,并将其与多任务学习相结合,提高了MOOC推荐的准确性。这进一步验证了多拓扑/异构图结构在教育场景中的价值。然而,当前的GNN模型存在显著局限性。传统的GCN依赖于单一拓扑结构,难以全面捕捉多维学习互动。多模态图注意力网络用于推荐(MGAT)虽然包含了注意力机制,但没有充分考虑不同拓扑结构的互补性,也忽略了学习行为的时间动态[16]。Cui等人[17]提出的双图集成学习方法用于知识追踪(DGEKT)采用了双图结构;然而,其核心侧重于知识关联的建模,难以适应集成多视角行为关系以预测学习进展的需求。同样,尽管异构GNN模型(如Zhang等人[18]提出的基于图的绩效推荐知识追踪(GKTPR)考虑了多实体关联,但它们主要关注知识追踪和路径推荐的联合任务。这些模型都没有针对特征权重分配和学习进展预测中的多图融合进行优化。此外,Achari等人[19]提出的GCN-SynDCL方法通过合成少数节点来增强图结构,以解决节点分类中的类别不平衡问题,但并未解决多拓扑融合的核心要求。近年来,学者们开始关注时间维度的建模。Xia等人[20]提出了一个时空GNN模型,有效捕捉了ASSISTments数据集上学习轨迹的时间依赖性。以往的研究主要集中在建模静态或阶段特征上,经常忽略学习行为的时间动态及其长期依赖性。研究表明,引入时间感知机制可以提高序列数据的建模能力,更准确地描绘学习状态的演变。因此,未来的研究预计将通过进一步将时间信息整合到学习者状态转移建模中,提高模型的动态预测能力。
总之,现有方法面临三个主要挑战。首先,单一拓扑结构难以全面描述学习者之间的多维互动。其次,特征和拓扑信息的加权方案不够精细,导致冗余信息干扰预测结果。第三,结构信息和动态时间信息尚未有效结合。为了解决这个问题,本文提出了一种基于注意力机制的多拓扑图卷积网络(A-MTGCN)。与仅关注单一拓扑内节点级注意力的图注意力网络(GATs)和依赖预定义关系类型的异构图神经网络不同,A-MTGCN通过自适应注意力机制动态整合来自不同图结构的多维学习者关系。这种设计使模型比采用固定融合策略的静态、多视图图神经网络框架更有效地捕捉上下文依赖的互动。在本文中,我们使用注意力机制区分特征权重,并通过多拓扑融合实现互补的结构信息。这减少了冗余并提高了泛化能力。该方法的核心创新包括:(1)使用注意力机制自适应分配特征权重,增强关键信息的贡献;(2)构建多维拓扑图以全面捕捉互动模式;(3)整合来自多个关系图的特征,减少结构冗余,保留多层次信息,并提高预测准确性和模型泛化能力。
2. A-MTGCN模型:学习情况预测框架和学习者图构建
2.1. A-MTGCN模型框架
本文构建的A-MTGCN模型框架如图1所示,主要包括三个部分:学习者图构建、图卷积特征融合和学习情况预测。在学习者图构建中,使用注意力机制为在线学习数据中的不同属性特征分配自适应权重,以增强关键特征对学习情况预测的影响。分别基于欧几里得距离、余弦相似度和曼哈顿距离构建了三种拓扑结构,从不同角度描述学习者之间的边连接关系,以捕捉学习者之间的多级关联信息。在特征融合中,使用注意力机制动态调整三种拓扑结构的权重系数,生成融合的全局拓扑图表示。在此基础上,使用图卷积神经网络在节点之间传播信息,迭代更新节点表示,并整合来自邻近节点的信息,以学习更具区分性的节点嵌入。在预测中,基于学习到的节点嵌入表示,使用多层感知器(MLP)分类模型预测学习者的未来学习情况。
2.2. 学习者图构建
创建学习者图的主要目的是可视化和组织学习者之间的连接,然后可以在GCNs中使用这些连接来预测学生表现。在构建图之前,需要对原始学习者数据进行特征工程和预处理。本文主要使用来自学习管理系统(LMS)日志数据的特征,包括学习参与度、互动和学术成果等统计特征。这些特征是通过聚合原始行为数据获得的。然后应用归一化来消除单位尺度的影响,并使用注意力机制进行特征增强。这形成了模型的最终节点特征表示。在在线学习数据集中,每个学习者由一个节点表示,学习者之间的关系由边表示。这样就创建了一个学习者关系的图结构,如图2所示。
图2. 学习者节点关系图。每个节点或学习者包含不同的属性,对应于一组特征,其中N表示节点数量,M表示特征数量。在线学习者的节点关系图定义为,其中C表示学习者的节点集;E表示两个学习者节点之间的边连接关系,其中和之间的边权重表示它们之间的相似性。对于本文的预测任务,学习者之间的关系是相互的,可以视为无向图,表示节点的标签。描述节点之间特征关系的邻接矩阵设置为,其中元素表示节点和之间存在边。如果存在边,则其值为1;否则,其值为0。表示添加自环后的邻接矩阵,而表示的单位矩阵。度矩阵表示为,其中,添加自环后的度矩阵表示为。2.2.1. 特征增强在在线学习数据集中,每个学习者节点包含多个属性特征。然而,不同特征对学习情况预测的贡献存在显著差异。其中,学习参与度、学习互动和日常表现等特征可能对学习情况预测有很强的影响,而基本信息等特征的影响相对较弱。常规的图构建方法在处理特征时通常采用一刀切的策略,无法有效区分不同特征的重要性。这种方法可能导致关键因素未能得到充分探索和利用,从而在一定程度上限制了模型的预测性能及其捕捉复杂关系的能力。为了解决这个问题,A-MTGCN在数据输入阶段引入了注意力机制,该机制可以自动学习不同特征对学习预测的贡献,并为重要特征分配更高的注意力权重。特征增强方法如图3所示。图3. 特征增强图。定义学习者的原始特征集,对于每个节点特征,首先将其输入到注意力层以获得相应的注意力分数:(1)其中,表示第i个学习者在第j个特征维度上的值,表示注意力层权重参数,表示偏置向量。使用进行归一化以获得注意力权重,然后对每个特征进行加权以构建新的加权特征。加权过程如下:(2)其中,表示第i个学习者在第j个特征上的注意力权重。上述操作可以根据特征的重要性分配不同的注意力权重,从而增强对关键特征的关注,并提高当前任务的区分能力。2.2.2. 多拓扑图结构设计为了解决单一点视角捕捉多层次关系的局限性,在计算学习者节点之间的相似性时,本文提出了一种结合多种相似性度量的学习者节点关系建立方法。综合使用欧几里得距离、余弦相似性和曼哈顿距离从不同角度衡量节点之间的相似程度。同时,引入了注意力机制来动态调整每个相似性度量的权重,使模型能够根据数据特征自动优化每个度量的贡献比例。该方法可以从不同角度全面衡量学习者节点之间的相似性,显著提高了关系图构建的准确性。每个特征描述了学习者在特定维度上的表现,不同学习者的特征向量可用于节点相似性计算,从而构建学习者之间的关系图。使用了三种相似性测量方法,即欧几里得距离、余弦相似性和曼哈顿距离来构建图结构。多拓扑图如图4所示。图4. 多拓扑构建图。该图展示了基于相似性度量从单一特征集构建的三种不同拓扑子图的过程。中间的白色圆圈集表示原始的学习者节点和特征集,这是所有拓扑的共同起点。橙色子图是基于欧几里得距离构建的拓扑;绿色子图是基于余弦相似性构建的拓扑;粉色子图是基于曼哈顿距离构建的拓扑。对于学习者节点和,其对应的特征分别为和,欧几里得相似性()、余弦相似性()和曼哈顿距离相似性()定义如下:(3)(4)(5)这里,表示欧几里得距离,反映了整体行为差异;表示余弦相似性,反映了行为模式的一致性;表示曼哈顿距离,强调了每个维度上的差异。和分别表示所有欧几里得和曼哈顿距离的平均值。基于欧几里得距离的节点相似性主要衡量两个节点之间的几何距离,适用于衡量学习者整体学习行为的偏差程度,用于分析学习者之间的全局差异;基于余弦相似性的节点相似性主要关注向量之间的方向相似性,适用于衡量学习者学习风格的相似性;基于曼哈顿距离的节点相似性更关注特征维度上的差异,可以更细致地捕捉学习者之间的特征变化。2.2.3. 基于多尺度节点相似性的注意力加权为了优化节点对之间的关系,引入了注意力机制来生成每对节点之间的边权重系数,反映相似性测量在构建节点间拓扑结构中的贡献。生成的动态权重将应用于每个相似性测量,以获得加权相似性表示,为后续的信息传输和预测阶段生成整体拓扑表示。在本文中,学习者节点和的特征向量被连接起来得到一个新的输入向量。将其输入到多层感知器(MLP)中,并通过非线性映射学习其表示,以获得相应节点的注意力系数,图5展示了映射过程[21]。图5. MLP映射过程。这种映射过程可以有效捕捉相似性特征中的深层非线性关系,从而提高注意力权重分配的准确性和表达能力。映射公式为(6),其中是激活函数;是权重向量;是基于欧几里得距离、余弦相似性和曼哈顿距离的三个节点相似性的权重系数。输入到层后,转换为相似性的动态注意力权重,转换公式为(7),其中和满足条件。注意力权重可以根据输入的学习者节点对的特征自适应调整每个相似性度量的重要性。将其应用于三个相似性向量后,将获得动态边权重。节点对之间的边权重为(8)。边构建相似性阈值设置为。当时,两个节点之间存在边;当时,两个节点之间没有边。这样,不同的学习者节点根据它们自己的特征差异进行不同的学习。这使模型能够自适应地确定每个相似性度量对不同节点对的贡献,从而构建一个更灵活地整合来自欧几里得距离、余弦相似性和曼哈顿距离信息的图。3. 图卷积特征融合和学习预测3.1. 图卷积特征融合图卷积特征融合的核心目标是通过GCN在构建的学习者节点图上传播和整合信息,使每个学习者节点能够结合其邻近节点携带的特征信息并不断更新其表示,从而使节点在嵌入空间中获得更丰富的表示,增强学习者节点的上下文信息意识,最终提高模型的预测能力。在信息传播过程中,学习者节点通过基于其当前嵌入表示和连接到它的邻近节点的嵌入表示来融合和更新信息。如图6所示,直接从其一级邻近节点聚合特征以完成第一层信息交换。同时,一级邻近节点本身也会从二级邻近节点获取特征,然后这些更新后的特征将进一步传输到目标节点。图6. 学习者节点特征聚合图。通过这种逐层信息聚合,GCN使目标节点不仅能够利用直接连接的节点的信息,还能捕捉到它们更远邻居的结构特征。目标节点的特征聚合过程如下:(9)其中,是经过一层图卷积后的目标节点特征表示;表示节点的邻近节点索引集;表示添加自环后的邻接矩阵元素;是添加自环后的节点度;表示初始状态下的权重矩阵。经过层传播后,目标节点能够整合来自更远距离的邻居信息,使其表示在捕获整个图的结构信息方面更加全面,最终达到相对稳定和完全整合的状态。传播图如图7所示。经过层图卷积后的节点嵌入表示为(10)。其中,表示图卷积的最大层数。图7. 卷积信息传播的l层示意图。如果将单个节点的嵌入表示视为全局节点嵌入矩阵的特定行向量,则全局节点嵌入矩阵的形成可以表示为(11)。为了避免深度网络训练中的梯度消失和过度平滑问题,在模型中引入了残差连接,如图8所示,以实现层与层之间的高效信息传输并保持特征的可区分性。图8. 残差连接示意图。添加残差项后的完整图特征融合表达式为(12),其中是层输入特征矩阵作为残差项。表示层的残差连接的线性映射矩阵,其在训练期间的梯度更新表示为(13),其中是学习率,是模型损失函数,表示损失函数在权重矩阵上的梯度。3.2. 学业表现预测在图卷积特征聚合之后,我们得到了最终的全图嵌入表示,其中包含了它自己的特征、交互和其他潜在信息。设其列为学习者节点的嵌入表示。由于这种文献预测本质上是一个半监督分类任务,因此将嵌入表示输入到MLP分类器中进行分类,以获得(14),其中表示节点在四个类别中的预测概率,是可训练参数矩阵。同时,使用交叉熵损失优化训练过程,考虑模型的复杂性,并避免模型在训练过程中的过拟合;引入正则项以防止过拟合;模型的最终损失函数为(15),其中是训练集节点索引集;是当节点属于类别f时的二进制元素,否则为0;是正则化因子;是2参数。4. 实验结果与分析4.1. 数据集构建本研究分析了2023-2024学年期间来自全国300多所大学的4400名学生的学習数据,这些学生参加了大规模开放在线课程(MOOCs)。数据涵盖了数字信号处理、数字图像处理、电路、模拟电子学、微控制器原理和接口技术等课程,并整合了跨越多个学期的学習行为记录。山东省的一所合作大学统一收集、匿名化和标准化了所有数据;样本不仅限于该机构的学生。数据包括五个主要类别:学习者人口统计信息、学习参与度、学习互动、日常表现和学业表现。这些类别包含了14个具体属性,包括性别、学生ID、学习时长、学习会话次数、提交的作业数量和视频复述比率。具体细节见表1。该数据集来自合作大学的教学平台,被归类为非公开的教育研究数据集。在整个研究过程中,严格遵循了隐私保护指南,敏感信息(如学生ID号和性别)被匿名化和加密。因此,原始数据目前不会公开。表1. 在线学习数据特征的属性信息。其中,基本信息包括两个属性:性别和学生ID,这些是描述学习者基本信息的特征类别。学习参与度包括四个属性:学习时长、学习频率、提交的作业数量和视频复述比率。这是一个特征类别,用于衡量学习者在线学习中的参与程度。学习互动包括三个属性:点赞、评论以及对评论的回复,这些都是衡量在线学习者互动的特征类别。每日表现包括四个属性:音频得分、章节测试得分、学术得分和作业得分,这些都是评估学习者每日学习情况的特征类别。最终成绩是综合这四项每日表现得出的加权成绩。本文对原始数据进行了预处理,包括清洗、转换和降维。主要目的是处理异常值和缺失值等问题,使数据更适合建模,从而提高模型的准确性和可靠性。鉴于在数据处理过程中原始特征中可能存在噪声和冗余信息,本文采用了数据清洗和标准化方法来减轻异常值对模型的影响。从高维数据建模的角度来看,未来的研究可以结合深度特征学习方法(如堆叠自编码器SAE)来对学习者特征进行非线性降维和表示优化,进一步提高模型对复杂高维数据的适应能力。在线学习数据经过预处理后,可以得到一个标准化的数据集,用于后续的建模和预测。此外,为了保护学习者的隐私,数据被匿名化了。本研究严格遵循数据最小化原则,仅保留了进行学习情况预测所需的特征。未来的工作可以进一步整合联邦学习与同态加密机制,以实现跨平台的协作数据建模,同时防止敏感信息的泄露。在本研究中,学习情况状态是分类任务的目标变量。根据课程成绩和学习行为的综合评估,学习者被分为四个组:优秀、良好、中等和被动。这些标签是根据成绩范围以及通过学习行为特征进行的合理调整得出的,以确保标签的有效性和区分度。
4.2 实验环境和评估指标
本文建立的A-MTGCN模型基于PyTorch深度学习框架实现。PyG是一个专门用于处理图结构数据的算法库,可以高效灵活地实现各种图神经网络模型。本节实验的具体硬件和软件信息如表2所示。
表2. 实验环境
为了验证所提出的A-MTGCN模型的性能,本文将其与支持向量机(SVM)、随机森林(RF)、MLP、GCN、关系图卷积网络(RGCN)和MGAT模型进行了比较分析,涵盖了两种传统的机器学习算法和四种深度学习算法。所有机器学习基线模型的参数都是通过交叉验证进行优化的,而深度学习模型的参数设置与A-MTGCN模型保持一致。A-MTGCN算法中有几个可调参数,其中网络层的数量在某个范围内选择;随机丢弃率设置为0.5;边构建的相似性阈值在某个范围内选择;嵌入维度在某个范围内选择;实验中采用了Adam优化器,学习率设置为0.001,-正则化因子设置为5 × 10^-3,激活函数使用ReLU。
本文将学习者学习情况预测定义为节点分类问题,并使用四个指标来评估模型性能:准确率、精确度、召回率和F1分数。准确率反映了模型预测与真实标签之间的一致程度,表示正确分类样本在所有样本中的比例,是衡量模型整体性能的指标。精确度衡量模型预测为属于某一类别的样本实际上属于该类别的比例,反映了预测的准确性。召回率则关注模型识别出实际上属于某一类别的所有样本的能力,表示正确分类的正面样本在所有正面样本中的比例。F1分数是精确率和召回率的调和平均值,结合了两者的性能。通过结合使用这些评估指标,可以从不同维度全面衡量算法的分类能力,从而更准确地反映其在实际应用场景中的整体性能。
4.3 实验和结果分析
4.3.1 对比实验
为了验证A-MTGCN模型的性能,我们使用上述内部数据集进行了对比实验,将其与基线模型(如SVM、RF、MLP、GCN、GAT、R-GCN和MGAT)进行了比较。为了确保预测结果的科学严谨性和有效性,并减少随机误差对实验结果的影响,本文除了原有的五次重复实验外,还进行了5折交叉验证。这些结果的平均值作为最终结果。为了验证性能提升的统计显著性,我们使用了配对t检验来分析实验结果。实验结果如表3所示,其中最佳结果以粗体显示。
表3. 不同算法在自建数据集上的节点分类实验结果比较
如表3所示,A-MTGCN模型在所有指标上均取得了最佳结果,分别为92.53%、89.15%、92.27%和87.83%。与第二好的模型(MGAT)相比,A-MTGCN模型分别提高了1.12%、0.51%、1.81%和0.41%。这表明A-MTGCN模型在多个维度上都具有显著优势。为了进一步验证所提方法的有效性,基于5折交叉验证的结果进行了配对学生t检验。统计分析显示,A-MTGCN在准确率和F1分数上均取得了高度显著的提升(p < 0.01),t值分别为4.86和5.42。与MGAT相比,A-MTGCN在准确率上也表现出统计上的显著提升(p < 0.05),t值分别为3.12和2.87。与Multiview模型相比,所提方法也显示出显著提升,t值分别为3.68(准确率)和3.21(F1分数),对应的p值均低于0.05。这些结果证实了A-MTGCN的性能提升具有统计学意义,并非由于随机变化所致。
总体而言,SVM和RF的表现最差。这两种传统的机器学习方法完全依赖于手动特征工程,难以有效捕捉在线学习者之间的潜在关系,这限制了它们表示高维数据的能力,从而影响了分类性能。在其余的深度学习算法中,MLP的表现优于SVM和RF,但仍落后于GCN、RGCN和MGAT。这是因为MLP是一种逐点学习模型,无法利用学习者之间的邻接关系来传播信息。这限制了模型预测学习者表现的能力。GCN和GAT使用了邻居特征聚合机制,使节点嵌入能够结合周围学习者的信息,从而显著提高了预测准确性。此外,RGCN和MGAT进一步优化了GCN的信息传播机制。RGCN通过关系建模增强了学习异构关系的能力。MGAT通过注意力机制自适应调整不同邻居节点的权重,以提高分类性能。然而,这些方法主要基于单一或有限的拓扑结构来聚合信息。Multiview模型通过整合多视图信息在多个相似性指标上优于图卷积神经网络(GCN),但仍略逊于多图注意力变换器(MGAT),后者加入了注意力机制。这些结果表明,融合多视图信息对节点分类任务有积极影响,尽管融合方法仍有改进空间。相比之下,A-MTGCN在所有评估指标上都取得了最佳结果,表明结合多拓扑建模和注意力机制能够有效整合来自各种相似性指标的结构信息,显著增强了模型的表达能力。
4.3.2 参数敏感性实验
本文通过一系列系统的实验和分析,研究了A-MTGCN模型对其参数的敏感性。本研究重点关注三个关键参数:图卷积层的数量、节点嵌入维度和边构建过程中的相似性阈值。Pillai等人的研究[22]指出,超参数优化是减轻深度学习模型过拟合和增强其泛化能力的关键方法,也为本文的参数敏感性分析提供了核心理论基础。
(1) 图卷积网络的层数
在A-MTGCN模型中,图卷积层的数量直接影响模型提取图结构信息的能力,增加图卷积层的数量意味着可以聚合的相邻节点信息的顺序也会增加。当GCN层的数量从1增加到4时的实验结果如图9所示。从结果可以看出,GCN层的数量对模型性能有显著影响。当层数为2时,模型表现最佳,表明此时模型能够在信息聚合的深度和特征区分能力之间取得更好的平衡,能够有效捕捉图结构中的高阶关系,同时避免因特征过度平滑而造成的信息丢失,从而更好地捕捉图结构的信息并实现最佳分类效果。然而,当层数继续增加时,模型的性能在各种指标上显著下降,主要是由于堆叠过多卷积层后网络加深导致的过度平滑现象,其表示逐渐变得相似,从而削弱了节点特征之间的差异,进而降低了模型的分类能力。
(2) 节点嵌入维度
图卷积神经网络的嵌入维度决定了它们能够适应的映射关系的复杂性。较低的嵌入维度可能无法完全表达节点的特征信息,导致模型性能受限。然而,较高的嵌入维度可能会引入冗余信息,增加计算成本并导致模型过拟合。本文实验了四种嵌入维度:32、64、128和256,结果如图10所示。可以看出,嵌入维度对模型性能有显著影响。当维度从32增加到128时,模型性能逐渐提升。当维度为128时,模型达到最佳性能,表明较高的维度可以增强特征表达能力并提高分类性能。然而,当维度进一步增加到256时,由于高维度引入了冗余信息,各种指标都出现了下降,增加了模型的复杂性并导致过拟合。
(3) 相似性阈值
在图构建中,相似性阈值参数决定了节点之间的边连接,合理的阈值对于图的连通性和模型的最终性能至关重要。过低的阈值可能导致过多的无意义边,增加计算复杂性;而过高的阈值可能导致图过于稀疏,削弱信息传播效果。本文对0.5、0.6、0.7、0.8和0.9这四个阈值进行了实验,结果如图11所示。可以看出,当阈值为0.6时,模型的表现最佳,表明在此阈值设置下,模型构建的图结构能够更好地保留节点之间的有效相关信息。随着阈值的增加,准确率、精确度和召回率均呈现下降趋势,当阈值为0.9时,模型的效果最差。这是因为过高的阈值会导致在学习者节点之间构建的图结构变得非常稀疏,图结构变得非常简单,表明它缺少了大量的节点信息和边信息。缺失的边信息以及节点之间的交互限制了图卷积神经网络信息传播的深度和广度,导致模型无法学习到有效的特征。在现实世界的大规模应用场景中,为了提高模型部署的效率和灵活性,使用了元启发式优化方法(如Moth-Flame Optimization和Walrus Optimization)来自动优化相似性阈值参数A和其他关键模型参数。这种方法能够快速识别全局最优的参数组合,确保模型预测性能的稳定性和可靠性。此外,通过优化参数配置,还可以间接减少冗余的计算开销,显著提高模型在大规模场景中的部署效率、适应性和实际价值。图11. 相似性阈值对模型的影响。
4.3.3 模型复杂性实验
本文还评估了模型的计算成本,从时间消耗和内存使用方面衡量模型的复杂性。图12显示了本文中的A-MTGCN模型以及MLP、GCN、RGCN、GAT、MGAT和Multiview模型在在线学习数据集上进行单轮训练所消耗的时间和内存。图12表明,这些模型在训练时间和内存消耗方面存在显著差异。MLP在这两方面都具有最低的值。这是因为MLP不涉及图结构,只进行全连接计算,因此训练时间最短,内存使用量最少。相比之下,由于GCN需要聚合邻接信息,其计算复杂性增加,导致训练时间较长,内存使用量也较高。在此基础上,GAT引入了节点级别的注意力机制,能够自适应地权衡相邻节点的重要性,使模型具有更强的表达能力。然而,这也引入了额外的计算开销,导致资源消耗高于GCN。Multiview模型通过整合来自多个视角的图结构信息来增强表示能力,但这显著增加了计算复杂性,其时间和内存消耗明显高于单拓扑模型。这表明,虽然多视图建模可以提高性能,但也带来了额外的资源负担。MGAT通过动态加权学习者相邻节点的重要性来增加计算开销,同时提高了模型的表达能力。RGCN的表现最差,因为它在图神经网络中添加了不同类型的关系。它为每种关系的相邻节点学习独立的权重并相应地传播信息。在在线学习数据集中,学习者之间的交互可能涉及多种关系类型,这要求RGCN建模多个权重矩阵,从而增加了计算和内存需求。本文提出的A-MTGCN模型通过多拓扑结构和注意力机制融合了跨拓扑信息。尽管这种方法比GCN的简单图结构需要更多的计算能力,但它使用的时间和内存显著少于MGAT和RGCN。此外,它在保持合理的内存消耗和训练时间的同时,还优于多视图模型,实现了最佳的分类性能,从而在计算效率和性能之间取得了平衡。
总之,本文提出的A-MTGCN方法在计算复杂性方面明显优于MGAT和RGCN,尽管其计算复杂性略高于MLP和GCN等传统方法。而且,A-MTGCN在训练轮次中的时间消耗控制在1秒以内,内存占用低于1GB,使其更具实用性。
4.3.4 消融实验
为了深入分析A-MTGCN模型中每个组件模块的有效性,我们使用了控制变量方法并设计了多个模型变体进行比较测试。通过逐步移除或替换模型的不同组件来观察模型性能的变化,以量化每个模块对预测学习者表现的贡献。这里,A-MTGCN表示本文提出的原始预测模型。该模型包括多拓扑构建、跨拓扑信息注意力融合机制和数据增强模块。A-MTGCNEuc、A-MTGCNcos和A-MTGCNMan分别基于欧几里得距离、余弦相似性和曼哈顿距离采用了单一拓扑结构。这些模型保留了注意力融合和数据增强模块。A-MTGCNEuc+cos、A-MTGCNcos+Man和A-MTGCNMan+Euc则结合了两种拓扑结构。A-MTGCNno-Att是在学习者图构建阶段移除了基于注意力机制(Att)的数据增强组件的模型。该模型使用相等权重动态调整跨拓扑信息融合。A-MTGCNno-fusion则完全移除了跨拓扑信息融合模块。
如表4所示,各种组成模块对模型性能的影响程度不同。这表明A-MTGCN模型的每个关键模块对于提高预测准确性和模型鲁棒性都是必不可少的。在单一拓扑条件下,基于余弦相似性的模型实现了最高的准确率88.69%,表明语义相似性在建模学习状态方面具有明显优势。欧几里得距离的表现相对稳定。然而,由于其对稀疏特征的敏感性,曼哈顿距离的表现略低。单一拓扑难以捕捉学习者之间的复杂关系,只能捕获局部相似性信息。两种拓扑的结合优于单一拓扑模型。欧几里得距离和余弦相似性的组合取得了最佳结果,准确率为90.57%,证明了两者之间的强互补性。多拓扑结构从三个不同角度捕获了潜在的关联信息:欧几里得距离、余弦相似性和曼哈顿距离,使得模型能够更全面地建模学习者之间的多层次关系,从而提高了整体性能。比较A-MTGCN和A-MTGCNno-Att可以看出,用相等权重替换注意力机制在跨拓扑信息融合中显著降低了模型性能。这表明注意力机制能够动态调整不同拓扑的重要性,以实现更优的信息融合。消除跨拓扑信息融合进一步降低了模型性能,证实了多视角信息融合的有效性。多拓扑设计有效地整合了多维行为特征,如作业完成情况、课堂参与度和关键概念的掌握程度,从而实现了更准确的学术表现预测。不同拓扑捕获了在预测任务中互补的行为特征。余弦相似性在捕捉学习行为的一致性方面表现出色,例如一致的作业提交模式。欧几里得距离反映了整体行为趋势,如稳定的学习进度。曼哈顿距离对局部变化敏感,如考试成绩的波动。这三个指标共同提供了学习者之间复杂关系的全面描绘。
表4. 消融实验结果。总之,A-MTGCN模型通过其多拓扑结构、注意力融合机制和数据增强模块的协同作用,有效地捕获了学习者之间的多层次关联信息。这使得模型在预测精度方面具有高精度,同时在可解释性方面也显示出高透明度和实际价值。
5. 在线学习者的预测应用
5.1 过程性能的预测
基于之前对模型在静态节点分类方面有效性的实验验证,我们再次应用A-MTGCN来研究动态学习过程。这使我们能够验证其随时间变化的时间预测能力和实际价值。早期预测学术表现对于提高学习效率和优化教育资源分配至关重要。如果教育者能够准确预测学习者在课程早期的未来表现,他们可以及时介入,提供个性化的支持和指导,从而实现早期发现和干预[23]。本文将提出的A-MTGCN模型应用于基于动态更新的在线学习数据的流程级学习进度预测。通过将课程分为多个阶段,并使用每个阶段的数据来预测学习者的进度,为教师和学习者提供了宝贵的见解。
本文将学习者分为四类:优秀、良好、普通和被动。2022-2024学年期间多周的学习者的在线数据根据时间维度分为五个阶段,即阶段1、2、3、4和5。提取截至当前阶段的累积学习特征作为模型的输入,以预测学习者未来的表现类别。表5显示了初始阶段各学习者组的人数及百分比分布。本文使用准确率和F1分数两个指标来评估预测结果。实验结果如表6和图13所示,表中用粗体标出了最佳结果。从表6和图13可以看出,随着课程进展,A-MTGCN模型对不同学习者组的预测准确率和F1分数呈上升趋势,从第3阶段到第5阶段有显著提高。这表明,随着课程的进行,模型能够利用更丰富的学习者特征数据来提高预测精度。同时,积累的特征数据有助于构建包含更多关系信息的学习者图结构,进一步增强了模型模拟学习者之间复杂交互的能力,提高了整体预测性能。该模型对“优秀”学习者的预测效果最强,在第5阶段的准确率为92.53%,F1分数为87.83%,表明识别准确性更好。相比之下,对“被动”学习者的预测效果较差,准确率为92.53%,F1分数为87.83%。尽管随着周数的增加预测效果有所提高,但仍落后于其他组,表明该模型在识别高度投入的学习者方面表现更好。
5.2 个体学习者档案的动态跟踪
学习者在课程中会动态变化,模型逐阶段预测的能力为学习者提供了跟踪其档案演变的过程。本文选取了四种类型的档案组(“优秀”、“良好”、“普通”和“被动”),并随机选择了一名代表学习者作为个体案例,分别命名为S1、S2、S3和S4作为跟踪对象。我们使用A-MTGCN模型跟踪并记录了这四名学习者在五个阶段的预测档案类别。然后构建了他们档案变化的序列,以展示其学习状态的转变。结果如方案1所示,不同颜色代表不同的组类型。方案1显示了个体学习者档案的动态跟踪结果。如图1所示,四种不同初始类型的学习者在课程的五个阶段中显示出各自的动态档案演变路径。具体来说,学习者S1始终保持高水平的学习状态,在第3阶段短暂降至“良好”,然后又回到“优秀”,显示出高度稳定的学习参与度和认知控制能力,以及良好的自我调节和学习韧性。学习者S2则表现出逐渐下降的趋势,尤其是在课程后期,他们的档案类别连续两次下降,最终甚至转变为“被动”负面类型。这可能是由于学习疲劳、缺乏外部动机或学习困难累积等因素的影响,使得他们在课程的中后期容易落后。因此,加强过程监控和动态干预迫在眉睫。学习者S3的进步路径显示出积极的增长趋势:在初期处于相对稳定的状态,随后逐渐提升至“良好”水平,并保持稳定。这表明学习者在中期和后期激发了更强的学习动力,如果得到适当的教学支持和指导,有望进一步发展成为“优秀”学习者。尽管学习者S4在第二阶段和第四阶段两次降至“中等”水平,显示出一定程度的进步,但最终未能维持这一积极状态,又回到了“被动”状态。这可能表明该学习者面临诸如学习惰性、资源获取有限或缺乏及时有效反馈等问题,因此需要在项目早期提供有针对性的支持和激励。
5.3. 组群学习者画像的跨越式分析
为了深入分析不同组别学习者学习状态的动态变化,本文对不同阶段的学习者画像类别进行了转换分析。构建了一个画像转换矩阵,以统计分析各类学习者在不同阶段之间的转变情况,并揭示其群体演变趋势。纵轴代表当前周期的学习者画像组,横轴代表下一个周期的学习者画像组。每个单元格中的数值表示从一个画像类型转变为另一个类型的比例。颜色越深,转换比例越高。结果如图14所示。从图14可以看出,不同组别的学习者在学习过程中表现出明显的动态变化。“优秀”和“被动”组的学习者稳定性较高,在四个时间阶段中的保留率均超过70%,表明“优秀”学习者在学习过程中始终保持高度参与;而“被动”学习者则表现出较强的惰性,学习状态相对较低。相比之下,“良好”和“中等”组的学习者画像转换更为活跃,既有向上的积极趋势,也有向下的消极趋势。部分“良好”和“中等”学习者在中期和后期成功提升了至“优秀”水平。例如,从第三阶段到第四阶段,“良好”学习者提升至“优秀”的比例为11%,而从“中等”提升至“良好”或“优秀”的总比例超过23%。这表明在适当的教学支持下,这两个组别具有显著的成长潜力。同样,“良好”提升至“优秀”的比例为11%,而从“中等”提升至“良好”或“优秀”的比例也超过23%。这表明这两个组别在适当的教学支持下也有很大的成长潜力。相反,少数“良好”和“中等”学习者的状态恶化为“被动”,可能表明他们在项目后期出现了动机下降或学习潜力减弱的问题,这可能是由于课程结束时学习压力增加等原因导致的。
总之,不同类型学习者学习画像的变化存在显著差异。个体与群体画像之间的转变揭示了他们的学习行为和认知特征的演变趋势,为教育工作者准确识别学习者并实施针对性干预提供了依据。
6. 总结
传统的机器学习方法难以捕捉在线学习数据中的深层关系,本文解决了这一问题。通过利用图卷积网络(GCN)强大的表示学习能力,我们提出了A-MTGCN:一种基于多拓扑结构的GCN学习进度预测模型,该模型结合了注意力机制。该方法通过整合基于欧几里得距离、余弦相似度和曼哈顿距离的相似性指标,从多个角度构建了多样化的学习者关系拓扑结构。模型进一步引入了注意力机制,动态地对这些不同的拓扑结构进行加权,实现了高效的跨图信息融合,增强了模型捕捉复杂学习行为模式的能力。本文通过系统的实验评估验证了A-MTGCN在在线学习数据集上的有效性,评估内容包括与各种基线模型的比较实验、消融研究以及参数敏感性分析。实验结果表明,所提出的算法具有良好的泛化能力和有效性。此外,我们使用改进后的模型对在线学习数据进行了过程预测实验,为不同类型的学习者群体在不同阶段建立了个人画像,并构建了多阶段学习者状态转换矩阵,揭示了学习过程中不同类型学习者的转变模式。尽管基于多拓扑结构和注意力机制的GCN在预测学生学业表现方面表现出色,但在大规模教育环境中的实时性能和计算成本方面仍有改进空间。未来的研究可以结合轻量级网络设计与群体智能优化算法(如Moth-Flame和Walrus方法)来降低模型的计算成本。这种方法可以利用时序感知框架迭代改进学习者的状态转换逻辑。结合全面的物联网数据收集和联邦隐私保护加密架构,这种方法将显著提升模型在复杂教育环境中的部署灵活性、可扩展性和数据安全性。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号