基于大语言模型（LLMs）和生成对抗网络（GANs）的多源异构数据轻量级知识追踪方法

《Alexandria Engineering Journal》：A lightweight knowledge tracing method for multi-source heterogeneous data based on LLMs and GANs

　　

知识追踪（KT）对于个性化教育至关重要，但它在建模复杂的、多源异构数据（multi-source heterogeneous data）的需求与实时计算效率的要求之间面临着尚未解决的矛盾。本论文提出了 LG-MKT，一种结合了大语言模型（LLMs）和生成对抗网络（GANs）的轻量级知识追踪（KT）方法。LG-MKT 在离线状态下利用大语言模型（LLMs）来构建语义锚点（semantic anchors），在不产生推理开销的情况下确保跨源一致性。同时，一个基于生成对抗网络（GANs）的正则化器（regularizer）用于协调潜在分布，以缓解数据稀疏性问题。在 ASSIST09、EdNet 和 MOOCCube 数据集上的实验表明，LG-MKT 的性能优于基线模型，其推理延迟仅为 0.31ms。具体而言，该模型在 MOOCCube 数据集上达到了 0.845 的受试者工作特征曲线下面积（AUC），并将平均绝对误差（MAE）等误差指标降低了高达 8.76%，展示了在预测准确性与实际可部署性之间的卓越平衡。

### 1. 研究背景与意义

知识追踪（KT，指利用学生历史学习互动数据建模并预测其知识掌握状态的技术）是现代智能教学系统、个性化推荐和自适应评估的核心技术。随着教育数字化进程的推进，学生产生的数据已不仅是简单的作答序列，还包含丰富的多源异构数据（包括文本问题描述、学习行为轨迹、跨平台交互日志等）。虽然深度学习的发展提高了 KT 模型的准确性，但其庞大的参数空间和在线对齐异构特征时产生的巨大计算成本，严重阻碍了其在低延迟和资源受限环境下的部署。

为了在不带来过高计算开销的前提下，有效利用异构学习数据，研究人员（包括Shengzhu Wang、Guohui Wei、Tao Shen和Kai Qin，来自广西电网有限责任公司）开展了这项研究，设计并开发了一种名为 LG-MKT 的新型轻量级框架，该论文发表在《Alexandria Engineering Journal》上。这项研究的重要意义在于，它通过战略性解耦设计，将大语言模型（LLMs）的语义抽象移至离线阶段，避免了在线推理的高昂开销，同时利用生成对抗网络（GANs）约束潜在表示分布，解决了异构数据源面临的分布失配和稀疏行为导致的“认知虚空”问题，在模型预测能力和部署效能之间建立起卓越的平衡。


### 2. 主要技术方法简析

研究人员提出 LG-MKT 框架包含三项技术：（1）大语言模型（LLMs）离线语义锚点构建：用冰冻的 Qwen-2.5 (7B) 离线处理文本，生成 1024 维语义锚点 a_k 作为跨源参考。（2）基于生成对抗网络（GANs）的潜在对抗一致性协调：通过生成器 G 和判别器 D 博弈协调潜在分布，利用梯度惩罚（Gradient Penalty）和 1-Lipschitz 约束填补稀疏认知虚空。（3）轻量级时间追踪骨干网络：通过级联融合多源信号 z?_t 并输入循环函数，低开销追踪知识状态 h_t。数据源包含 ASSIST09、EdNet 和 MOOCCube 数据集。


### 3. 研究结果

* **在冷启动和非平稳约束下的性能（Performance under cold-start and non-stationary constraints）**
研究人员将 LG-MKT 与五种具有代表性的基线方法进行对比。在冷启动（学习序列长度 T<5）以及非平稳（即学生掌握水平和数据分布动态变化）场景下，LG-MKT 在 MOOCCube、EdNet 和 ASSIST09 数据集上均取得了最高的受试者工作特征曲线下面积（AUC）和准确率（ACC）。相比先进的内容感知对抗模型 AdvKT，该模型在 MOOCCube 数据集上的 AUC 提升了 4.06%，并将平均绝对误差（MAE）降低了 8.76%。双尾配对 t 检验表明其优势在统计学上极其显著（p<0.01），证明了 LLM 语义先验与对抗正则化相结合能有效缓解数据冷启动和非平稳数据分布偏移的问题。

* **潜在认知稳定性分析（Analysis of latent cognitive stability）**
随序列长度 T 增加的稳定性分析表明，LG-MKT 能够有效抑制长序列预测中的推断偏置累积，性能优势随着时间推移更加持久。此外，通过对潜在认知流形（Manifold，高维数据所在的低维拓扑空间）的可视化，结果显示 GAN 模块成功填补了由稀疏交互导致的“认知虚空”，使表征空间更加平滑、连续且高度结构化，为精准追踪知识状态奠定了空间稳定性基础。

* **模型复杂度与推理逻辑评估（Evaluation of model complexity and inferential logic）**
在效率方面，LG-MKT 虽然集成了大模型先验，但仅用 1.68M 的在线参数量，就实现了 0.31 ± 0.02 ms 的极低推理延迟，相较于 AdvKT 响应速度提高了 42.6%，极适合实时应用场景。在可解释性评估中，研究人员引入了概念对齐分数（CAS，衡量状态更新与习题语义锚点余弦相似度的量化指标），LG-MKT 在多个数据集上（如 MOOCCube 为 0.865）均显著超越所有基线模型，证明了其知识状态变化轨迹与教学概念逻辑具有极高的语义相符度。

* **消融研究（Ablation study）**
研究人员对模型组件进行拆解实验。结果表明，移除 LLM 语义先验（变体 M₂）会导致 MOOCCube 数据集上的 AUC 大幅下降 9.3%，表明语义锚点是跨源对齐的核心基石；移除 GAN 增强（变体 M₃）则明显降低了在 EdNet 和 ASSIST09 上的预测表现，证明对抗正则化对于维持非平稳环境下的稳定性不可或缺；不进行多源融合（变体 M₄）也会降低评估精度。这验证了完整框架的各个组件具有不可替代的协同效应。

* **超参数敏感性分析（Hyperparameter sensitivity analysis）**
敏感性分析结果指出，当锚点权重 α=0.1、梯度惩罚 β=10 以及对抗损失权重 λ 处在 [0.01, 0.1] 区间时，模型性能最佳。过高的权重或惩罚系数会导致潜在表示被过度约束，甚至引发“概念漂移”（Concept Drift，模型对概念本质含义的理解产生偏离）。


### 4. 讨论与结论

本研究在讨论中指出，LG-MKT 克服了传统多源知识追踪模型中复杂的特征级对齐和繁重的网络深度所带来的计算负担。其核心在于“离线解耦”的思想：通过离线构建语义参考，将 LLMs 强大的语义抽象能力无缝注入轻量级框架中，同时在训练中借助 GAN 这种非参数化对齐方式对潜在流形进行正则化。该方法具有极好的模型无关（Model-Agnostic）特性，无需重新训练整个时间追踪骨干，即可即插即用，极具实际可推广性。

研究人员翻译的研究结论如下：
LG-MKT 框架通过其模块化和解耦设计，有效解决了现代知识追踪系统中表征复杂性与部署效率之间的持续冲突。通过将高层语义锚定与时间骨干网络分离，该模型利用了大语言模型（LLMs）的深厚概念洞察力，而不会产生通常与大规模语言整合相关的过高计算成本。对抗一致性模块的集成进一步确保了潜在表征空间的稳定和连续，即使面对异质学习行为中固有的稀疏和非参数分布也是如此。由于该框架被设计为与模型无关，它可以在最少化架构调整或重新训练要求的条件下，灵活地部署在不同的教学平台中。实验结果证实，LG-MKT 在保持 1.68M 参数量和 0.31 ms 延迟这一显著轻量化特征的同时，持续优于 AdvKT 等先进基线模型。未来，研究人员计划深入探究这些语义锚点在跨域迁移中的应用，以减少对特定源元数据的依赖，并计划将听觉和视觉参与等多模态信号融合到现有的对抗协调框架中，以实现对学习者掌握状态更全面的理解。