西班牙智力测验的心理计量质量:13轮国家测验委员会评审的证据及其与其它心理构念测验的比较

《Journal of Intelligence》:Metric Quality of Intelligence Tests in Spain: Evidence from 13 National Test Commission Reviews

【字体: 大 中 小 】 时间:2026年09月19日 来源:Journal of Intelligence 3.8

编辑推荐:

  智力测验分数支撑着教育、临床和职业领域的高利害决策,这使得这些工具的心理计量质量成为专业实践中的核心关切。本研究旨在评估西班牙国家测验委员会(Spanish National Test Commission)评审的智力测验的心理测量学与文献质量,将该质量与测量

  
智力测验分数支撑着教育、临床和职业领域的高利害决策,这使得这些工具的心理计量质量成为专业实践中的核心关切。本研究旨在评估西班牙国家测验委员会(Spanish National Test Commission)评审的智力测验的心理测量学与文献质量,将该质量与测量其它心理构念的测验进行比较,并考察出版者和评估队列对质量的影响。为此,研究人员对该项目13届评审(2010–2026)中的37项智力测验和78项其它构念测验,采用测验评审问卷修订版(CET-R,Cuestionario de Evaluación de Tests Revisado)进行编码;CET-R包含14项质量特征,归入四个维度:总体(General)、效度(Validity)、信度(Reliability)和常模(Norms)。智力测验并不比其它构念测验报告更多信息,二者缺失率相当。然而,在报告了信息的情况下,智力测验在总体、效度和常模维度上获得了更高的评分,在信度维度上则无差异。出版者解释了质量变异的相当大份额,而一旦经多重比较校正(FDR),评估队列对任何心理测量学特征均未显示出显著影响。项目偏差分析(Item Bias Analysis)和基于项目反应理论(IRT,Item Response Theory)的信度,在所有被分析测验的手册中始终是最为普遍地未被报告的证据形式。这些发现凸显了在智力测验的文献记录中维持高标准的、透明的规范的必要性,并为从业者负责任地选择工具提供了实证性标准。
**研究背景与问题**

智力测验分数广泛应用于教育安置、临床诊断、神经心理学评估和人事选拔等高利害决策,其计量的准确性不仅关乎方法学要求,更是一种伦理承诺——不恰当的解释可能导致不公、偏差或临床误判(AERA et al., 2014)。当前智力测验领域以Cattell–Horn–Carroll理论(CHC理论)为标准化参考框架,该理论将流体智力、晶体智力与Carroll的三层级模型整合,成为测验编制和分数解释的共同语言(Schneider & McGrew, 2012; Caemmerer et al., 2020)。然而,智力测验手册中的技术证据是否与其理论模型的层级性要求相匹配,仍缺乏系统的实证审查。

自2010年起,西班牙心理学总理事会下属的国家测验委员会(CNT,Comisión Nacional de Test)发起了"西班牙已出版测验评估"项目,采用测验评审问卷修订版(CET-R)对测验进行系统化独立评审。CET-R承袭欧洲心理学家协会联合会(EFPA,European Federation of Psychologists' Associations)评审模型,将14项质量特征归入四个维度:总体(含材料与文献、理论基础、改编、项目分析)、效度(含内容效度、与其它变量的关系、内部结构、项目功能差异)、信度(含平行形式等值性、内部一致性、时间稳定性、基于IRT的信度、评分者间信度)和常模。截至2026年,该项目已完成13届评审,涵盖115项工具,积累了可供跨构念、跨出版者和跨时间分析的实证数据库,但此前尚无研究专门聚焦智力测验这一核心领域。

存在的问题包括:智力测验是否比其它构念测验报告了更多或更高质量的心理测量学证据?其手册中项目功能差异(DIF,Differential Item Functioning)和基于IRT的信度等关键指标是否普遍缺失?出版者文化和评审年份是否系统性地影响测验质量?这些问题对从业者选择合适的智力测验工具具有直接指导意义。

**研究目的与方法**

研究人员设定三个目标:(1)分析13届评审中37项智力测验的心理计量质量;(2)将其与78项其它心理构念测验进行比较;(3)考察出版者和评估队列对智力测验质量的影响。数据来源于CNT官方公开评审报告,采用CET-R中总体评估部分的14项个体特征得分(1–5量表)。统计方法包括:Fisher精确检验与Cramér's V评估缺失数据率的组间差异;Welch t检验与Hedges' g比较质量得分;Kruskal–Wallis H检验及η2H和ε2评估出版者效应和队列效应;所有p值经FDR多重比较校正。研究同时通过热力图(heatmap)呈现每个测验的心理测量学剖面,并计算四个维度得分的Cronbach's α(0.84)和组内相关系数ICC(C,4) = 0.84,检验维度间一致性。

**主要研究结果**

*缺失数据模式*:智力测验与其它构念测验在缺失数据率上无显著差异(p ≥ 0.311,pFDR ≥ 0.808)。两组测验的理论基础、材料与文献、常模和内部一致性的报告率均超过96%;而DIF分析(智力测验缺失率78.38%,其它测验71.79%)、基于IRT的信度(缺失率>76%)和评分者间信度(缺失率>85%)在两组中均严重缺失。信度维度是两组缺失信息占比最高的维度。

*心理计量质量比较*:智力测验的总体得分(M = 4.11, SD = 0.51)显著高于其它构念测验(M = 3.75, SD = 0.58),Hedges' g = 0.65。在维度层面,总体(g = 0.61)、效度(g = 0.65)和常模(g = 0.71)均呈现显著优势(pFDR ≤ 0.013)。效度维度中,内容效度(g = 0.61)和内部结构(g = 0.62)达到显著;信度维度整体无显著差异(g = 0.21, pFDR = 0.377),其各子项亦均未达显著。敏感性分析表明,未达显著的比较中大部分缺乏足够的统计检验力来排除中小效应量差异。

*出版者效应与队列效应*:出版者(TEA-Hogrefe、Pearson、CEPE、EOS)解释了总体得分的显著变异(η2H = 0.20, pFDR = 0.038),效度(η2H = 0.30)和信度(η2H = 0.29)维度的出版者效应尤为突出。常模维度则在出版者间无显著差异。相反,在FDR校正后,没有任何心理测量学特征显示出显著的评估队列效应(pFDR ≥ 0.208),表明时间推移本身并不自动提升测验质量。

*测验层面的剖面分析*:热力图显示,WISC-V、Matrices-TAI、BAT-7和CUMANIN-2等测验在几乎所有维度上保持优秀(≥4分),而PECC、EHPAP和Bayley-III等则在多个维度存在改进空间(≤3分)。四个维度的Cronbach's α = 0.84,探索性因子分析(KMO = 0.78)提示存在一个共同的质量因子(载荷0.59–0.86),表明同一测验的心理计量质量在各维度间具有较高一致性,但信度维度保留了相对独立的剖面。

**讨论与结论**

讨论部分指出:(1)信息缺失并非智力测验特有的问题,而是跨领域的系统性局限,DIF和IRT信度的缺失可能与中小出版者难以负担大样本校准和纵向研究的成本有关。(2)智力测验在效度、常模和总体维度上的优势与其依托CHC理论这一稳固框架密切相关;信度已成为全行业共同的最低标准,故不构成区分因素。(3)出版者对质量的影响远大于时间推移,表明质量提升依赖于出版者内部的主动决策而非自然演进。研究还讨论了CET-R模型在国际上的可推广性——其与荷兰COTAN系统、美国Buros中心和EFPA模型的实质性维度高度趋同,因此所发现的DIF缺失等问题并非西班牙独有的评审体系人为产物。

研究结论翻译如下:本研究分析了西班牙国家测验委员会13届评审中37项智力测验的计量质量,并与78项其它构念测验进行了比较,得出三个主要结论。第一,智力测验并不比其它工具提供更多的心理测量学信息,两组均缺失约四分之一的CET-R指标,主要是基于IRT的信度、时间稳定性和DIF。第二,在报告了信息的情况下,智力测验在总体、效度和常模维度上表现出更高的质量,效应量为中到大型;信度维度则未将智力测验与其它工具区分开来,其指标作为全行业共享的最低标准发挥作用。第三,出版者解释了质量异质性的相当大份额,而评估队列在多重比较校正后对任何特征的质量均无显著预测作用——每个出版者自身的文化比单纯的时间流逝更为重要。这些结果为从业者选择智力测验提供了实证依据,为出版者明确了优先改进领域(DIF分析、时间稳定性和基于IRT的信度),同时指出CET-R等评审框架需进一步演进以应对计算机自适应测验、自动项目生成和生成式人工智能测验等新兴评估形式带来的挑战。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号