超越改造：通过认知诊断方法验证专门构建的阅读诊断性评估

《Frontiers in Psychology》：Beyond retrofitting: validating a purpose-built reading diagnostic assessment through a cognitive diagnostic approach

　　

引言：诊断性评估旨在识别学习者认知能力的强弱项以进行针对性补救，近年来其发展势头日益强劲。本研究应用认知诊断方法验证了UDig阅读测试，该测试旨在诊断中国高等教育级别的英语作为外语（English as a foreign language, EFL）学习者的阅读技能。方法：采用混合方法设计，整合考生的有声思维协议、专家判断和认知诊断建模，以检验预先定义的题目与子技能关联的准确性。对来自642名考生的表现数据进行了大规模分析，以估计其阅读子技能的掌握模式。结果：结果表明，预先定义的题目与子技能关联总体上得到了实证证据的支持。特别是，尽管在初始测试规范中未提及，寻读被实证确认为快速阅读部分的一项目标子技能。子技能普及度分析将理解文章结构与连贯性的子技能确定为最具挑战性的一项，为针对性教学支持提供了证据。讨论：本研究回应了长期以来的呼吁，即研究真正的诊断性评估而不是改造现有测试，并展示了认知诊断方法在提高阅读评估诊断精确度方面的价值。它还概述了从一开始就开发认知诊断评估的研究议程，以充分实现其诊断潜力。

诊断性评估旨在识别学习者认知能力的优势与劣势，并提供有针对性的补救学习反馈，近年来在教育与心理测量领域受到广泛关注。在语言测试中，获取相同总分的考生可能因个体差异而在语言子技能的掌握上有所不同。当前认知诊断评估（Cognitive Diagnostic Assessment, CDA）研究虽取得显著进展，但大多数研究是通过统计手段改造原本为其他目的（如水平测试）设计的测试。这种方法受设计局限，难以获取充分的诊断信息，常面临心理测量学挑战（如项目分布不均、掌握分布平坦等），且事后识别属性无法与阅读认知模型完全契合。为响应开发真正诊断性测试的呼吁，研究人员针对中国高等教育英语作为外语（English as a foreign language, EFL）环境开发了UDig诊断系统。本研究旨在通过认知诊断方法验证UDig阅读测试，不仅为其有效性提供实证证据，也为未来开发和验证诊断性评估提供见解。该研究发表在《Frontiers in Psychology》上。研究人员开展了这项验证研究，得出结论：实证数据支持的最终Q矩阵优于初始基于测试规范的Q矩阵，且认知诊断方法能有效提高传统诊断测试的诊断精度，对于实现从宏观表现分类向微观认知诊断的转变具有重要意义。

样本队列来源于中国两所高校的642名二年级非英语专业本科生（对应UDig 5级水平）。研究人员采用探索性混合方法设计，综合运用考生的有声思维协议、专家判断及认知诊断建模技术。首先通过编码口头报告和专家问卷生成临时Q矩阵，随后利用广义确定性输入噪声“与”门模型（G-DINA）和逐步Wald检验等方法，评估绝对拟合指标（如比例正确、转换相关和比值比的最大z分数）以检验和修正Q矩阵。最后，通过相对拟合统计量选择最优模型，估计考生对阅读子技能的掌握概率。

4.1 项目与子技能的关系
4.1.1 学生的有声思维协议
通过对口头报告的分析，研究人员将15个子技能聚类为8个主要子技能，证实了测试规范的合理性，但也发现差异。研究证实了在快速阅读部分需要“寻读”策略，而非仅仅是寻查特定信息。第17题实际考查的是识别具体细节，而非识别主旨。
4.1.2 专家判断
专家判断基本确认了开发者规范，在31道题中，26道题在主要子技能上达成60%以上的一致率。专家同样确认了“寻读”策略的需求，但在区分“寻读”和“寻查”时一致性较低。
4.1.3 初始和临时Q矩阵的构建
基于开发者意图构建了初始Q矩阵（Q₁），基于口头报告和专家判断构建了临时Q矩阵（Q₂）。绝对拟合统计表明Q₁存在错误设定，而Q₂提供了较好的拟合度。
4.1.4 最终Q矩阵的构建与验证
采用逐步Wald检验法对Q₂进行细化，对6个条目提出修改建议。结合专家判断和文本认知要求分析，最终构建了Q₃矩阵。Q₃表现出令人满意的模型拟合度，且各属性的分类准确率高，属性间多为弱到中等相关，而寻查（A₁）与寻读（A₂）呈较强相关。
4.2 考生阅读子技能掌握模式的特征
4.2.1 最优拟合模型的选择
通过比较相对拟合统计量，G-DINA模型提供了最佳拟合。项目层面的模型选择表明，不同任务类型的属性交互模式不同，如多项匹配任务涉及补偿和非补偿混合模型，填空任务主要为线性逻辑模型（Linear Logistic Model, LLM）。
4.2.2 考生在阅读子技能上的优势与劣势
通过属性普及度分析发现，理解结构与连贯性（A₆）是最难的子技能，其次是推断（A₅）；识别主旨（A₄）和寻查（A₁）是最容易的。潜类别分析显示，除了逻辑掌握不足外掌握所有属性的潜类别概率最高。

在讨论部分，研究人员指出，UDig测试的实证验证确认了大部分项目-子技能关联。实证数据得到的最终Q矩阵优于基于测试规范的初始Q矩阵，表明项目-子技能关联的不准确会威胁测试效度并误导反馈，因此必须仔细审查这些关联。在快速阅读领域，寻读被实证确认为一项重要子技能。尽管寻读与寻查在语义处理深度上存在重叠，但在诊断性评估中区分它们可为教学提供更精细的信息。对于更高层次的子技能，如理解结构与连贯性和推断，对学生最具挑战性，这提示需帮助学习者超越表面解码，培养语义警觉性。此外，传统诊断测试通常将一个项目对应一个属性，但研究表明测试者常同时使用多种策略。认知诊断方法允许一个项目对应多个属性并模拟其交互作用，更贴合真实阅读过程，提高了诊断精度。

结论部分指出，本研究响应了开展专门构建诊断性评估研究的迫切呼吁。通过应用认知诊断方法，积累各类证据验证了UDig阅读测试。在验证过程中，准确指出了威胁测试效度的因素，并提出了修改建议，从而有效诊断了该阅读诊断评估本身。认知诊断建模是一个新兴领域，但在语言评估中的应用仍显不足。本研究遵循了严谨的程序应用认知诊断建模，可作为未来旨在采用这一稳健方法的研究的实践框架。本研究的局限性在于缺乏对UDig反馈使用或影响的调查。诊断评估增强学习的潜力不仅取决于其提供的诊断信息的准确性，还取决于诊断反馈是否清晰及时地传达，使师生能够做出明智决定。因此，未来研究应探讨诊断反馈如何在不同教育背景下被师生传达、解释和应用。这些问题可通过纵向课堂干预研究结合定性方法最有效地解决，以记录诊断反馈的现实应用，检查测试用户的具体行动，评估补救对教学的影响。希望通过对该领域投入更多研究并促进测试开发者、研究人员和用户之间的合作，诊断评估指导教学和学习的潜力能够被充分实现。