《Psychometrika》：Uncovering Latent Structures:A Bayesian Approach to Estimating Q-Matrix and Attribute Hierarchies in Cognitive Diagnostic Models
编辑推荐：
本研究旨在解决认知诊断模型中Q矩阵与属性层次结构未知或需验证的关键问题。研究人员采用贝叶斯方法，开发了一种能够同时估计潜在Q矩阵和揭示属性层次结构的新框架。结果显示，该方法能有效恢复真实结构，为教育和心理测量领域提供了更精确的诊断工具，具有重要的方法论意义和应用价值。
在教育和心理测量领域，精确评估个体的知识掌握状况或认知技能是一项核心任务。传统的测验总分虽然能给出一个总体排名，但却像一张模糊的照片，无法清晰揭示学习者内部具体的“知识结构图”——即哪些具体的知识点或技能（在认知诊断模型中称为“属性”）掌握了，哪些还存在缺陷。认知诊断模型（Cognitive Diagnostic Models, CDMs）正是为了绘制这张精细的认知地图而生的工具。它的核心组件之一是Q矩阵，一个定义了每个测验项目所考察的属性的关键蓝图。然而，在实践中，这张蓝图往往并不完美：它可能基于专家的主观判断构建，存在误差；或者，我们面对的是一个全新的测验领域，根本无从知晓其背后隐藏的属性结构。更复杂的是，属性之间可能并非彼此独立，而是存在着先决或依赖关系，即“属性层次结构”。如果忽略这些内在的层次，诊断结果的准确性就会大打折扣。如何从观测到的项目反应数据中，自动、准确地还原出这份隐藏的“设计图纸”（Q矩阵）并理清属性间的“家族谱系”（层次结构），成为了一个极具挑战性的方法论瓶颈。
为了攻克这一难题，一篇发表在计量心理学顶级期刊《Psychometrika》上的研究提出了一种创新的贝叶斯解决方案。研究者们认识到，Q矩阵和属性层次结构本质上是数据的“潜在结构”，而贝叶斯统计框架非常善于处理这种包含未知参数和潜在变量的复杂推断问题。他们的核心思路是，将未知的Q矩阵和可能的属性层次结构都视为需要从数据中学习的参数，并为之构建一个统一的概率模型。在这个模型中，学生的潜在属性掌握模式（称为属性轮廓，attribute profile）通过Q矩阵与他们对项目的具体反应概率联系起来。同时，模型允许属性之间以某种图结构（graph structure）的形式存在依赖关系，这种图结构就代表了属性的层次。通过设计巧妙的先验分布和高效的马尔可夫链蒙特卡洛（Markov Chain Monte Carlo, MCMC）抽样算法，研究者使得模型能够从杂乱无章的项目反应数据中，同时“挖掘”出最可能的Q矩阵配置和属性层次图。
本研究主要采用了贝叶斯统计建模与计算的核心技术方法。首先，构建了一个集成潜在Q矩阵与属性层次结构的统一贝叶斯概率图模型。其次，为模型中的未知参数（包括Q矩阵元素、项目参数、属性层次图的边）设定了合适的先验分布。最后，为实现后验推断，研究开发并应用了基于吉布斯抽样（Gibbs sampling）和Metropolis-Hastings算法的定制化MCMC算法，以从复杂的联合后验分布中有效抽取样本，进而估计所有感兴趣的参数。
研究结果通过系统的模拟研究和实证数据分析得到了验证。
模拟研究（Simulation Studies）
研究者设计了多种模拟情境，以检验所提出方法在不同条件下的表现。结果表明：
- 1.
Q矩阵恢复：在属性数量适中、样本量充足的情况下，该方法能够以很高的准确率恢复出真实的Q矩阵。即使存在部分误判，恢复的Q矩阵也与真实结构高度相似。
- 2.
层次结构识别：对于模拟中预设的属性层次结构（如线性、收敛、发散等常见类型），模型能够有效地识别出属性间存在依赖关系的边，从而正确推断出层次结构的大致形态。
- 3.
影响因素：研究详细探讨了样本量、测验长度（项目数）、属性数量以及属性层次结构的复杂性对恢复精度的影响。总体而言，更大的样本量、更长的测验以及更简单的层次结构有助于提高估计的准确性。
实证分析（Empirical Analysis）
为了展示方法的实用价值，研究者将其应用于一个真实的分数减法认知诊断数据集。
- 1.
数据与预设Q矩阵：该数据集包含15个分数减法题目，一个广泛使用的专家定义的Q矩阵指定了8个潜在属性。
- 2.
方法应用：将提出的贝叶斯方法应用于该数据，不预先固定Q矩阵和属性结构，让其从数据中自由估计。
- 3.
估计结果：
- •
Q矩阵估计：方法估计出的Q矩阵与专家定义的Q矩阵在大部分项目上高度一致，但也对少数几个项目的属性归属提出了不同的、基于数据证据的见解。
- •
属性层次结构发现：更重要的是，模型估计出了一个清晰的属性层次图。该图揭示了属性间的依赖关系，例如，某些基本运算技能是掌握更复杂技能的先决条件。这为理解学生在分数减法领域的技能发展路径提供了数据驱动的洞见。
- •
模型拟合比较：通过比较基于估计的Q矩阵/层次结构的模型与基于原始专家Q矩阵且假设属性独立的模型的拟合指标（如偏差信息准则，DIC），发现前者提供了更好的数据拟合，证明了同时学习潜在结构的优势。
研究的结论与讨论部分强调了这项工作的重要贡献。首先，在方法论上，它提供了一个强大且灵活的贝叶斯框架，首次实现了从项目反应数据中对认知诊断模型的Q矩阵和属性层次结构进行联合估计。这解决了长期以来依赖先验主观指定或分别验证这两个关键结构的局限性，使诊断模型更贴近数据本身揭示的真相。其次，所提出的方法具有很高的实用性。它不仅能验证或修正专家定义的Q矩阵，更能从无到有地探索未知测验领域的潜在认知结构，这对于开发新的诊断性评估工具具有重大价值。最后，发现的属性层次结构为认知理论提供了反馈。数据驱动的层次关系可能印证或挑战现有的认知技能发展理论，从而促进教育心理学领域更深入的机制研究。总之，这项研究通过先进的统计建模，为提升认知诊断的精度和理论深度开辟了新途径，使得我们能够更可靠地解读测验数据背后隐藏的认知蓝图，进而为实现个性化的学习指导和干预提供了更坚实的科学基础。
