超越简单平均：多智力测验分数、信度与效度的综合方法

《Journal of Intelligence》：Beyond Simple Averaging: Combining Scores, Reliabilities, and Validities of Multiple Intelligence Tests

　　

在应用诊断中，多智力测验的分数通常通过简单算术平均进行合成。尽管该方法便捷，但其统计精度不足：其一，忽视了测验之间存在正相关但非同一性，各测验捕捉智力的不同方面；其二，忽视了合成相关测量会缩减方差。因此，算术平均数会低估智商（IQ）量表中心以上的智力水平，同时高估中心以下的智力水平。这类失真可能在教育安置或法律责任能力评估等高风险情境中导致严重误判。为获取关于简单平均做法 prevalent 程度的探索性证据，研究人员调查了n=75名熟悉智商指标的心理学受教育者。针对要求合成多个智商分数的案例 vignette，58名参与者（77.33%）采用了简单平均，且无一人考虑测验间相关与方差缩减。因此，本文旨在提出一种更具效度的多测验分数（以及相应信度与效度）合成方法。为验证该方法，研究人员进行了涵盖广泛测验特征的蒙特卡洛模拟（Monte Carlo simulations）。结果显示近乎完美的准确性（r=1.00，p<.001），且结果对合成测验数量、分数分布及测验间相关的变化具有稳健性。为促进其在实际诊断中的推广应用，研究人员开发并介绍了开源R包及配套开放获取的Shiny网页应用程序。

本研究聚焦于应用诊断中多智力测验分数合成方法的统计缺陷问题，系统探讨了简单算术平均法的局限性，并提出了基于经典测量理论与多元统计原理的替代方案，同时开发了相应的数字化工具以促进实践应用。

在智力研究领域，学界对一般认知能力（general cognitive ability）的存在已形成广泛共识。Spearman（1904）发现不同认知任务分数存在正相关，即正流形（positive manifold）现象，暗示存在共同变异来源，通常记为g因素（g factor）。Cattell-Horn-Carroll认知能力理论（CHC理论）为该结构提供了层级框架：最高抽象层次为g因素，其下包含流体推理（fluid reasoning）、理解-知识（comprehension-knowledge）、视觉加工（visual processing）等16种广泛能力，这些广泛能力进一步分化为众多狭窄能力（如归纳作为流体推理的狭窄能力），并通过具体分测验或任务变量（如图形矩阵用于评估归纳）进行操作化，后者又负荷于其 respective 广泛能力。

智力作为核心预测变量，与多重生活领域存在 substantial 关联，包括教育成就（如学业成绩）、工作绩效、精神障碍及预期寿命等。因此，智力测量嵌入众多诊断与决策框架中。例如，智力测验常用于教育与职业选拔；在法律情境中，特定智力阈值影响法律能力（legal competence）与法律责任能力（legal culpability）的判定：德国《刑法典》规定智力障碍者不承担刑事责任，美国禁止对智力障碍者适用死刑。智力障碍通常定义为智商低于70，而智力超常（intellectual giftedness）则多定义为智商130及以上。鉴于相关决策的严重性，精确的个体智力评估至关重要。

在个体诊断中，为增强评估效度，通常施测多种认知测验。例如，评估智力超常时一般至少进行两到三种智力测验。基于多种测验的合成分数通常与另一种智力测量的相关高于任何单一测验。其理论基础在于不同智力测验在内容侧重（如流体 vs. 晶体）和刺激类型（如言语、数字、图形）上存在差异。然而，常用的简单算术平均法忽视了两个关键方面：第一，认知测量通常呈正相关，但统计上非同一；随着测验间相关降低，测验捕获更多非重叠变异，个体在所有测验上 uniformly 高分（或低分）的可能性降低，简单平均会将极端剖面拉向中部，导致低分高估、高分低估。第二，合成相关量表时，合成分数的方差小于各测验单独考虑时的方差，且随相关降低而收缩。实践中忽视此问题会 attenuate 分数极端值。

研究人员为调查哪种分数合成策略被心理学受教育者采用，招募了来自德国、奥地利和瑞士的n=120 psychology students 和n=8心理学家。参与者需回应一则诊断案例vignette：假设作为智力超常评估中心的主试，对一位完成三种各100项目的智力测验的来访者进行诊断判断，三种测验相互相关r=0.50，共同负荷于g因素，各测验信度r=0.99，来访者分别获得高于总体均值1、2、3个标准差（SD）的分数。为确保对智商量表的基本熟悉，参与者首先报告智商量表的均值和标准差。排除无回应、表示不知或报告错误的53人后，最终样本为n=75。结果显示，77.33%（n=58）报告了简单算术平均（IQ=130），仅1人报告了接近"真值"IQ=137的分数（IQ=135），且无一人报告考虑测验间相关。

为克服简单平均的缺陷，研究人员提出了基于方差线性组合规则的 analytic formulas 来合成测验分数、信度与效度。合成统一分数su的公式为：su = [Σb_i(s_i-M_i)] / √(Vars - Vare)，其中Vars为考虑测验标准差与间相关的合成方差，Vare为误差方差。合成信度的公式为rel_unified = (Σb_i2rel_i + ΣΣb_ib_jrel_irel_jcor_ij) / (Vars / Vem)，其中Vem为误差方差矩阵相关成分。合成外部效度（即合成测验与另一变量的相关）的公式为val_unified = (Σb_ival_i) / √Vars。这些公式将Evans（1996）的两值合成方法拓展至任意数量。

为便于实践应用，研究人员开发了R包unifyR（version 1.0.0），包含三个核心函数：uniScore用于合成多测验分数，可计算合成智商及z分数、T分数、SW分数、C分数和百分等级，提供"composite"（基于公式1-3的非潜变量合成）和"pca"（基于总体相关矩阵第一主成分投影）两种方法；uniRel用于合成多测验信度；uniVal用于合成外部效度。此外，还开发了开放获取的Shiny网页应用程序（psychodiagnostics.shinyapps.io/unifyr），包含交互式敏感性分析功能，可在假设间相关未知时计算不同假定间相关下的合成值范围。

研究人员通过蒙特卡洛模拟验证该方法。在分数合成验证中，设置测验数量（1-10种）、间相关均值与标准差、目标被试分数均值与标准差等五种变异参数，每种情境进行100次迭代，共10,000种情境。结果显示合成智商与模拟智商的相关为r=1.00（p<.001），绝对平均偏差0.04智商点，均方根误差（RMSE）0.04；而简单平均法的绝对平均偏差为8.66智商点，RMSE为12.92。无独立变量显著预测偏差或调节相关。在信度合成验证中，设置测验数量（2-10种）、每测验项目数（5-50）、间相关（0.00-1.00）、相关标准差（0.00-0.50）、信度（0.50-0.99）及信度标准差等六种参数，共10,000种情境。结果显示合成信度与模拟信度的相关为r=1.00（p<.001），平均偏差-4.44×10^-19，RMSE 1.36×10^-16；而平均信度法的平均偏差为0.16，RMSE为0.17。在效度合成验证中，设置五种独立变量，共10,000种情境。结果显示合成效度与模拟效度的相关为r=1.00（p<.001），平均偏差-2.45×10^-5，RMSE -8.03×10^-7；而平均效度法的平均偏差为0.12，RMSE为0.02。

讨论部分，研究人员指出该方法作为方差理论上更一致且低门槛的替代方案，并不声称替代回归分析、因素分析或其他潜变量建模方法。其适用情境包括：需要高度透明和可理解性的诊断评估（如政府或法律机构要求的评估）、高风险选拔程序、以及潜变量建模理论上或实践上不适用的情境。同时强调该方法主要影响合成分数的绝对水平而非个体在群体中的相对排序，因此在依赖绝对分数的阈值分类情境中实践相关性最大。研究局限性在于样本主要为学生，未来需更大规模和更具专业代表性的样本。此外，该方法的前提假设是构念可比性（construct comparability），跨测验合成需有清晰的概念依据，CHC理论提供了组织认知能力的广泛接受框架，而跨测验评估方法（cross-battery assessment, XBA）可指导测验选择，本方法则解决统计层面的合成问题。研究人员还讨论了该方法的层级定位：在缺乏任何间相关信息时，稳健估计量（如基于Harrell-Davis分位数估计量的中位数法）可能更合适；在有变异信息时，逆方差加权（inverse-variance weighting）可改善精度；而在有间相关信息时，本方法更为适用。关于权重设置，研究指出等权为合理默认，但也可根据测量精度或外部效度进行加权，且可通过逆间相关矩阵与全1向量的乘积来考虑测验的独特方差贡献。

研究结论部分翻译如下：本研究针对应用智力评估中的核心问题，即多种智力测验算术平均分的普遍做法展开调查。对熟悉智商指标的心理学受教育者的调查显示，绝大多数人在被要求合成多智力测验结果时依赖简单算术平均。尽管便捷，该程序统计精度不足：平均忽视了测验间存在不完全相关且合成会缩减方差，导致智商量表中心以下的智力水平被系统高估、中心以上被系统低估。为克服这些缺陷，研究提出并验证了合成测验分数、信度和效度的分析方法。蒙特卡洛模拟中，分析解以近乎完美的精度复现了经验结果，且独立于测验数量及其间相关。为连接方法论与实践可用性，研究介绍了R包unifyR及配套Shiny网页应用程序作为开放获取工具，使无高级统计训练者亦可应用该方法。这些工具可直接适用于教育安置或职业选拔等诊断情境，其中决策常依赖于微小分数差异。