HSEKT-GS：一种基于超图结构的知识追踪方法，通过Gumbel-Softmax采样算法进行优化

《Knowledge-Based Systems》：HSEKT-GS: Hypergraph Structure-Enhanced for Knowledge Tracing with Gumbel-Softmax Sampling

针对在线教育中知识追踪模型对数据稀疏性的敏感性问题，本文提出基于超图结构和Gumbel-Softmax采样的HSEKT-GS框架。通过构建问题-概念双超图捕捉高阶关联，引入结构嵌入机制学习局部拓扑关系，结合Gumbel-Softmax对节点嵌入进行扰动采样以探索全局结构不确定性，并利用Transformer建模全局语义依赖。实验表明该方法在四个数据集上显著优于基线模型。

　　知识追踪是智能教育领域中的核心任务，其目标是通过学生的学习行为来建模其知识状态，并动态预测其对特定概念的掌握程度。随着在线教育平台的快速发展，越来越多的学习者可以通过这些平台获取知识，而平台本身也提供了大量的题目。然而，每个学生实际参与的题目数量却非常有限，这种有限的互动导致了某些题目数据的极端稀疏性，从而限制了模型在这些题目上建立有效表示和进行准确预测的能力。

当前，针对知识追踪的研究主要集中在如何更好地捕捉学生在学习过程中的行为模式，并据此预测其知识掌握情况。传统的方法通常基于贝叶斯知识追踪（BKT）和因子分析等模型，这些方法虽然在一定程度上能够反映学生对知识的掌握情况，但在处理稀疏数据和复杂知识结构方面存在一定的局限。近年来，随着深度学习技术的发展，一些基于循环神经网络（RNN）和注意力机制的模型被引入到知识追踪任务中，这些模型能够通过捕捉学生回答序列中的时间依赖性和题目之间的隐含语义关系，从而提升模型的表现。

然而，这些方法仍然主要依赖于序列交互信息，难以直接建模题目与概念之间的结构关系，使得模型在处理复杂知识结构时面临挑战。此外，由于数据的稀疏性，传统的图神经网络（GNN）模型虽然能够通过消息传递机制捕捉节点之间的局部依赖关系，但在建模高阶的多实体关联方面仍显不足。为了解决这一问题，一些研究引入了超图神经网络（HGNN）框架，通过超边连接多个相关节点，从而表征题目与概念之间的高阶关系。然而，现有的超图方法通常依赖于预定义的静态结构，这使得它们在适应性学习和从数据中挖掘潜在的全局依赖关系方面存在一定的局限。

为了克服这些挑战，本文提出了一种基于Gumbel-Softmax采样的超图结构增强知识追踪模型（HSEKT-GS）。该模型结合了超图在高阶关系建模中的优势、Transformer在全局依赖建模中的能力，以及Gumbel-Softmax在可微结构探索中的作用，从而能够同时捕捉题目与概念之间的局部高阶关系和潜在的全局结构关系。与传统的图或超图方法不同，HSEKT-GS能够从数据中自适应地学习题目与概念之间的潜在结构依赖关系，而不是依赖于固定的结构定义。这一特性使得模型在处理稀疏数据和复杂知识结构时更具优势。

HSEKT-GS的结构主要包括三个部分：基于题目-概念超图的局部结构嵌入模块（SE模块）、基于Gumbel-Softmax的全局结构学习与超图结构正则化模块（GS模块），以及预测模块。SE模块通过构建题目与概念之间的超图及其对应的对偶图，利用结构嵌入机制捕捉题目与概念之间的局部高阶关系。在这一过程中，模型首先对题目和概念之间的关系进行建模，然后通过结构嵌入机制提取出这些关系中的关键信息，从而增强题目和概念的表示能力。

为了进一步提升题目表示的准确性，HSEKT-GS引入了超图星扩展（hypergraph star expansion）机制，并利用Gumbel-Softmax采样策略为每个节点生成多个扰动嵌入，从而探索结构上的不确定性。通过这一过程，模型能够更全面地理解题目与概念之间的潜在联系，并在构建全局结构时避免过度平滑的问题。此外，模型还引入了一个超图结构正则化项，作为结构学习的监督信号，以提高框架的鲁棒性和可解释性。这一正则化项能够引导模型在学习稀疏子图时保持结构的一致性，确保新学到的结构能够反映题目与概念之间可能的多层级关系。

在模型的实现过程中，HSEKT-GS首先构建题目与概念之间的超图，并将其转化为对应的星扩展图和对偶图。这些图结构能够帮助模型更好地捕捉题目与概念之间的复杂关系。随后，模型通过Gumbel-Softmax采样策略对节点嵌入进行可微采样，从而在保持结构信息的同时，避免节点特征在完全连接图中出现的过度平滑问题。在这一过程中，模型能够探索题目与概念之间的潜在结构关系，并从中提取出有用的信息。

为了进一步构建全局结构，HSEKT-GS引入了Transformer模块，利用其自注意力机制捕捉题目与概念之间的全局依赖关系。这一机制使得模型能够在不依赖学生回答顺序的情况下，仍然保持良好的预测性能。Transformer模块能够帮助模型更好地理解题目之间的全局关系，并为预测模块提供更丰富的信息支持。

在预测模块中，HSEKT-GS采用门控循环单元（GRU）来建模学生知识状态的动态演化。GRU能够捕捉学生在学习过程中知识状态的变化趋势，从而提升模型对学习者行为的预测能力。通过结合局部结构嵌入、全局结构学习和预测模块，HSEKT-GS能够在不依赖于序列信息的情况下，对题目和概念之间的关系进行建模，并对学习者的行为进行准确预测。

为了验证HSEKT-GS的有效性，本文在四个公开的知识追踪数据集上进行了广泛的实验。实验结果表明，HSEKT-GS在预测性能上优于现有的基准方法。这表明，HSEKT-GS能够有效解决知识追踪中的稀疏数据问题，并在复杂知识结构中保持良好的表现。此外，实验结果还表明，HSEKT-GS能够自适应地学习题目与概念之间的潜在结构关系，从而提升模型的鲁棒性和可解释性。

本文的主要贡献包括以下几个方面：首先，提出了一种基于Gumbel-Softmax采样的超图结构增强知识追踪框架，该框架结合了超图在高阶关系建模中的优势，以及Transformer在全局依赖建模中的能力，使得模型能够同时捕捉题目与概念之间的局部高阶关系和潜在的全局结构关系。其次，构建了题目-概念超图及其对应的对偶图，并引入了结构嵌入机制，以捕捉题目与概念之间的局部高阶关系。此外，还引入了超图结构正则化项，作为结构学习的监督信号，以提高模型的鲁棒性和可解释性。最后，通过广泛的实验验证了HSEKT-GS在四个公开数据集上的有效性，证明了该模型在处理稀疏数据和复杂知识结构方面的优越性。

HSEKT-GS的提出不仅解决了知识追踪中的数据稀疏性问题，还提升了模型在复杂知识结构中的表现。传统的知识追踪模型通常依赖于序列信息，而HSEKT-GS则能够从数据中自适应地学习题目与概念之间的潜在结构关系，从而避免对序列信息的过度依赖。这一特性使得模型在非序列学习场景下仍然能够保持良好的预测性能，进一步增强了其在复杂知识结构中的适用性。

在实验部分，本文详细描述了实验的设置和流程。实验采用PyTorch框架进行代码开发，并在配备Intel Core i9-13900 K处理器、3.0 GHz主频、NVIDIA GeForce RTX 4090 GPU和24GiB显存的硬件环境中进行运行。实验结果表明，HSEKT-GS在预测性能上优于现有的基准方法，证明了该模型的有效性。此外，实验还分析了HSEKT-GS在不同数据环境下的泛化能力，表明该模型能够适应多样化的数据情况。

总的来说，HSEKT-GS通过结合超图结构建模、Transformer全局依赖建模和Gumbel-Softmax采样策略，构建了一个能够同时捕捉题目与概念之间局部高阶关系和潜在全局结构关系的知识追踪框架。这一框架不仅解决了传统知识追踪模型在稀疏数据场景下的局限性，还提升了模型在复杂知识结构中的表现。通过广泛的实验验证，HSEKT-GS证明了其在知识追踪任务中的优越性，为未来的智能教育研究提供了新的思路和方法。