基于三方知识结构的自适应知识评估

《International Journal of Approximate Reasoning》：Adaptive knowledge assessment based on three-way knowledge structure

　　

• •
  通过整合 TWD 和 KST 提出了一种三向知识结构。
• •
  将基础局部独立模型扩展为三向局部独立模型。
• •
  开发了一种用于三向知识评估的连续适应性程序。
• •
  在认知不确定性下，TwLIM 的准确率高于 BLIM。
• •
  在确定性条件下，TwLIM 的表现与 BLIM 相当。

引言

知识空间理论 (KST) [1] 提供了评估学习者知识并提供学习指导的数学框架。作为一种非数值的知识表示框架，KST 通过特定的一组题目准确刻画学习者的认知结构。目前，KST 已成功应用于知识评估和适应性测试 [2], [3], [4], [5]。在二元 KST 中，学习者对每个题目的回答被严格评估为正确或错误 [6]。随着对更精细教育评估需求的增长 [7], [8]，研究人员越来越认识到这种方法并不是绝对的。当 KST 应用于心理评估和意见分析等特定领域 [9] 时，仅考虑二元知识结构是不够的。Schrepp [10] 将 KST 扩展到了每个题目有两个以上回答选项的场景。Bartl 等人 [11] 利用完全剩余格研究了具有分级知识状态的知识空间。在此基础上，Stefanutti 和 Heller 等人 [12], [13] 将 KST 扩展到了多值设置，允许个人对给定题目的回答被分配多个可能的回答值。随后，Sun 等人 [14] 研究了良分级多值知识结构并提出了可识别的多值知识结构。Wang 等人 [15], [16] 研究了 CD-多值知识空间和结构的强可识别性。最近，Ge [17] 分析了多值结构和多值函数周围的区分度，进一步丰富了多值 KST 的理论。

在知识评估中，评估学习者的表现水平可以进一步指导他们的学习过程。然而，学习者在解决问题时可能会出现幸运猜测和粗心错误，这意味着他们的观察表现并不一定反映他们的真实知识状态。因此，学者们提出了各种评估学习者知识的方法。具体而言，Falmagne 等人 [18] 提出了一种具有更新规则的马尔可夫链程序，用于评估学习者的知识状态。Dowling 等人 [19] 在确定性有限自动机上实现了此类更新规则，并开发了一个等价的确定性有限自动机。Heller 和 Anselmi 等人 [3], [20] 开发了随机评估程序，这些程序结合了先验信息和基于概率模型的迭代评估过程。Stefanutti 等人 [21] 将 BLIM 从二元形式扩展到了多值版本，允许 KST 处理现实教育评估中更复杂的回答模式。Zhou 等人 [22] 基于 SOLO 分类提出了一个用于自适应评估学习者多值知识状态的自动机。

三向决策 (3WD) [23] 源于粗糙集理论 [24]，包含了正域、负域和边界域。3WD 提供了一个基于三分区的框架来处理不确定信息，为处理不确定性提供了一种有效方法 [25], [26], [27]。目前，3WD 在理论研究和实际应用中都取得了长足发展。它已成功应用于各个领域，包括分类 [28]、聚类 [29]、推荐系统 [30]、粒计算 [31]、冲突分析 [32] 和多属性决策 [33], [34]。迄今为止，3WD 的概念尚未被纳入 KST。

现有的知识空间理论和知识评估技术仅在二元 [3], [5], [18], [35], [36], [37] 或多值场景 [12], [13], [22] 下进行了研究。学习者的知识状态通常被假定为确定的。值得注意的是，在实际学习环境中，学生可能在知识水平上表现出不确定性，某些题目可能掌握也可能未掌握。因此，现有的理论和技术不足以对学生掌握题目的不确定性进行建模。针对这一问题，本文构建了三向知识结构的理论框架，并泛化了知识评估的概率模型。本文的主要贡献如下：

• 1.
  与现有的知识空间理论相比，本文系统地构建了三向知识结构的理论框架，包括核心定义、数学性质以及基和原子的结构表征。这实现了 KST 和 3WD 的首次结合，并提供了一个新颖的研究视角。
• 2.
  通过扩展基础局部独立模型 (BLIM) 的回答机制，开发了三向局部独立模型 (TwLIM)。对于处于不确定区域的题目，TwLIM 引入了一个不确定性参数 γ_q 来表征掌握的概率，同时保留了 BLIM 的粗心错误和幸运猜测参数。基于此概率框架，设计了一种连续适应性知识评估程序，以动态推断学习者的三向知识状态。
• 3.
  进行了模拟实验以研究 TwLIM 核心参数对模型性能的影响。此外，我们比较了 TwLIM 和 BLIM 在不同场景下的性能。结果表明，TwLIM 可以有效地对认知不确定性进行建模，并在模拟评估设置中提高评估准确率。

本文的组织结构如下。第 2 节介绍了 KST 和 BLIM 的一些基本概念。第 3 节提出了三向知识结构的核心概念并考察了它们的数学性质。第 4 节将 BLIM 扩展为 TwLIM，并详细介绍了连续适应性知识评估程序。第 5 节分析了 TwLIM 核心参数的影响并估计了全局不确定性参数 γ。第 6 节比较了 TwLIM 和 BLIM 在不同场景下的性能，验证了 TwLIM 在处理认知不确定性方面的优势。第 7 节总结了本文并讨论了未来的研究方向。

章节摘要

预备知识

本节简要介绍了与 KST [6], [38], [39], [40] 和 BLIM [18], [41], [42], [43] 相关的概念。

三向知识结构

本节将经典 KST 的基本框架扩展到了三向设置。在经典 KST 中，知识状态被表示为 Q 的一个子集，而在提出的框架中，三向知识状态被表示为三元组 $K=(X,Y,Z)$。基于这种表示，三向知识结构、三向知识空间和基的概念直接从经典 KST 中的对应概念扩展而来。相比之下，原子、偏序关系、并操作，

三向局部独立模型

知识结构提供了一个确定性框架，描述了特定领域内知识的组织。然而，这种确定性表示不足以准确预测学生对某些题目的回答模式。为了克服这一局限性，Falmagne 等人 [18], [41] 引入了一个概率框架。早期的概率模型，如 BLIM，将题目分类为掌握 (X) 和未掌握 (Y)。然而，这种二元方法可能

模拟实验

在本节中，我们进行模拟实验以评估 TwLIM 在不同参数配置下的性能。实验平台配置如下：(1) 操作系统：Windows 10；(2) 处理器：AMD Ryzen 5 4500U with Radeon Graphics @2.38 GHz；(3) 运行内存：16 GB；(4) 编程语言：Python 3.10。

BLIM 和 TwLIM 的性能比较

本节评估 TwLIM 是否能在保持评估性能的同时明确表征认知不确定性。选择 BLIM 作为主要基准，因为它是 KST 中的基础局部独立模型，使用相同的二元回答格式，并且在掌握和未掌握区域与 TwLIM 共享相同的粗心错误和幸运猜测回答机制。我们考虑清晰掌握场景和不确定掌握场景。不确定掌握场景进一步

结论

本文建立了三向知识结构的相关理论，并提出了 TwLIM 以解决知识评估中的认知不确定性。首先，引入 Z 区域来建模不确定性，并定义了诸如三向知识状态和三向知识结构等概念。然后，提出了一种新的回答规则，并将 BLIM 泛化到三向知识结构，得出 TwLIM。基于此概率框架，一种连续

CRediT 作者贡献声明

Hai-Long Yang: 写作 – 审阅与编辑，写作 – 初稿，方法论，资金获取，概念化。Ya-Jie Sun: 写作 – 审阅与编辑，写作 – 初稿，方法论，调查，数据管理。Yin-Feng Zhou: 写作 – 审阅与编辑，写作 – 初稿，监督，方法论，概念化。

竞争利益声明

作者声明他们没有任何已知的竞争性经济利益或个人关系，这些利益或关系可能会影响本论文中报告的工作。

Hai-Long Yang|Ya-Jie Sun|Yin-Feng Zhou