《Applied Measurement in Education》：Hiding in Plain Sight: A Procedure for Making Implicit Skills Explicit
编辑推荐：
摘要：21世纪技能（21CSs）——如批判性思维、创造性思维和协作能力——被广泛认为是教育和职业成功的关键。尽管这些技能至关重要，但在教育和劳动力评估中，它们通常仅以内隐方式被测评。因此，考生、教育者和雇主缺乏关于个体在这些技能方面优势与劣势的可操作信息，限制
摘要：21世纪技能（21CSs）——如批判性思维、创造性思维和协作能力——被广泛认为是教育和职业成功的关键。尽管这些技能至关重要，但在教育和劳动力评估中，它们通常仅以内隐方式被测评。因此，考生、教育者和雇主缺乏关于个体在这些技能方面优势与劣势的可操作信息，限制了针对性发展和知情决策的机会。在本研究中，研究人员提出并阐明了一种程序，通过将认知诊断建模（CDM）应用于现有评估，使内嵌的21CSs得以显性化。利用一项操作性劳动力评估，研究人员展示了如何将一个理论驱动的21CS属性框架通过Q矩阵与评估项目相连接，并使用CDMs进行分析，以估计个体的掌握剖面。该方法无需开发新的评估工具即可提供关于21CSs的细粒度诊断信息。最后，研究人员讨论了方法论挑战、解释性考量以及未来研究的机会。
论文解读：从内隐到外显——利用认知诊断模型挖掘现有评估中的21世纪技能
1. 研究背景与问题
21世纪技能（21CSs），包括批判性思维、创造性思维与创新、协作问题解决（CPS）以及信息与通信技术（ICT）技能，已被公认为当代教育与职场成功的关键要素。尽管这些技能在教学和工作任务中普遍存在，但其评估方式却长期停留于内隐层面，即现有测试虽要求考生运用这些技能作答，却未将其作为独立的报告维度进行测量。这种评估方式的缺失导致考生、教育者及雇主无法获得关于个体在特定技能上优缺点的可操作信息，从而制约了有针对性的技能发展计划和教育成果与劳动力需求之间的有效对接。
当前面临的主要问题包括：21CSs的定义高度抽象，难以直接测量；专门设计用于评估这些技能的独立工具会增加考试成本、时间与评分负担；而大多数领域特异性评估虽然内含21CSs要求，却并未对其加以建模和报告。因此，如何在不增加额外测试负担的前提下，从现有评估数据中提取关于21CSs的精细诊断信息，成为亟待解决的方法论问题。
2. 研究内容与结论
本研究提出并验证了一套系统的四步程序，旨在通过认知诊断建模（CDM）将现有评估中内隐的21CSs转化为可报告的显性技能掌握信息。研究人员以ACT WorkKeys图形素养评估（Graphic Literacy Assessment, GLA）为实证案例，聚焦于批判性思维这一单一21CS及其四个子属性：探究（Inquire）、分析与评价（Analyze & Evaluate）、综合（Synthesize）和扩展（Expand）。通过对1503名来自美国37个州的考生数据进行CDM分析，研究人员成功获得了每位考生的属性掌握剖面（attribute profiles）。
研究得出的主要结论包括：第一，所提出的程序能够在不对原评估进行修改的情况下，提取出具有良好心理测量学质量的技能诊断信息；第二，模型拟合指标（RMSEA2 = 0.0145，SRMSR = 0.03）表明G-DINA模型与数据拟合良好；第三，属性层面的分类准确性介于0.79至0.91之间，表明模型能够可靠地判定个体对各属性的掌握状态；第四，群体层面的结果显示，超过一半的考生掌握了探究和分析与评价属性，而综合与扩展属性的掌握率略低（分别为0.49和0.46）；第五，最常见的两种掌握剖面为全掌握（1111）和仅掌握综合（0010），各占19%。这些发现证明了该方法在实际评估场景中的可行性与实用价值。
3. 关键技术方法
研究人员采用的核心技术方法包括以下三个环节：
第一，理论框架选择：选取ACT整体框架中的跨领域能力（Cross-cutting Capabilities, CCCs）作为理论基础，将批判性思维分解为探究、分析与评价、综合、扩展四个可操作的属性，每个属性均具备清晰的任务关联描述。
第二，Q矩阵构建与识别性检验：由两名编码员（一名领域专家和一名经培训的非专家）独立对所有38道评估题目进行属性映射，形成初始Q矩阵。编码一致性平均达90%，最低为综合属性（78%）。经识别性检验（使用R包cdmTools的is.Qid()函数），该Q矩阵在DINA和DINO模型下不可识别，但在广义DINA（G-DINA）模型下满足严格可识别条件，故最终选用G-DINA模型。
第三，认知诊断模型的选择、估计与拟合评估：鉴于缺乏关于属性间补偿或非补偿关系的强理论假设，且样本量充足（n=1503），研究人员选用G-DINA模型进行参数估计（使用GDINA R包），并施加单调性约束。通过全局拟合指标（RMSEA2、SRMSR）和分类准确性（模式级0.65，属性级0.79-0.91）评估模型质量。
4. 研究结果
Step 1. 理论框架选择：研究人员选定ACT整体框架的CCCs作为理论基础，因其属性定义去情境化、适用于多领域，且明确支持测量与教学解释。批判性思维被分解为探究、分析与评价、综合、扩展四个属性。
Step 2. Q矩阵构建与验证：基于GLA的38道二分计分选择题，两名编码员独立完成属性映射后协商达成共识。最终移除6道不涉及任何批判性思维属性的题目，保留32题与4个属性。Q矩阵识别性检验显示其在G-DINA模型下可识别，而在DINA/DINO模型下不可识别。
Step 3. 认知诊断模型选择、估计与拟合评估：G-DINA模型被选为最终模型。全局拟合指标良好：RMSEA2 = 0.0145，SRMSR = 0.03。分类可靠性方面，模式级准确性为0.65，属性级准确性范围为0.79（扩展）至0.91（分析与评价），表明模型提供了可信的属性掌握推断。
Step 4. 结果解释：
- •
群体层面——属性掌握概率：样本中探究、分析与评价、综合、扩展的掌握概率分别为0.57、0.53、0.49和0.46。
- •
群体层面——常见属性剖面：最普遍的两种剖面是全掌握（1111）和仅掌握综合（0010），各占19%。模式级准确性对于这两种剖面分别高达0.90和0.82。
- •
个体层面——属性掌握概率：通过六名示例考生的数据展示了不同掌握模式。例如，若某岗位重视探究技能，则考生1因对该属性的掌握概率较低而不太理想；若课程要求掌握分析与评价属性，则考生3、5和6可能需要大量支持。
5. 讨论与结论
讨论部分：研究人员指出，本研究所提出的程序是将内隐21CSs从现有评估中提取证据的一种方法，其他建模框架也值得进一步探索。该方法的主要优势在于：（1）利用已有操作性评估，避免增加测试负担；（2）在真实任务情境中对21CSs进行生态化测量；（3）产出可用于指导教学、补救和选拔决策的诊断信息。然而，该程序也存在若干局限性：首先，21CSs在不同框架中的定义粒度不同，影响属性出现频率和掌握估计的可解释性；其次，领域一般性与领域特殊性21CSs的区分仍是开放性问题；再次，所报告的分类准确性为模型估计值，未与外部标准（如专家判断）进行比较；最后，未来的研究应将该程序应用于更广泛的评估、领域、年龄组和21CS框架，以检验其普适性和实用性。此外，人工智能在文本和项目分析方面的进展可能有助于部分自动化Q矩阵的开发，但人类判断对于确保构念效度仍不可或缺。
结论部分：本研究展示了一种实用的程序，用于显性报告现有评估中内隐包含的21世纪技能。通过结合理论驱动的技能框架、系统的项目级编码（Q矩阵）以及对内隐而非外显评估技能的认知诊断建模，该方法无需设计或实施新评估即可产生关于技能掌握的细粒度信息。除了对属性的解释外，研究还强调了如何使用该程序提取的属性信息进行应用。
