集群水平共享构念的多指标测量可靠性指数分类：Generalizability Theory（GT）与 Multilevel Structural Equation Modelling（ML-SEM）框架

《British Journal of Mathematical and Statistical Psychology》：A taxonomy of reliability indices for cluster-level constructs measured by multiple individual-level indicators

　　

泛化理论（Generalizability Theory, GT）提供多种组内相关系数（intraclass correlation coefficients, ICCs），用于量化不同测量条件下的可靠性——例如，量表可靠性与评分者间可靠性分别量化跨题目和跨评分者的泛化程度。在多层建模（multilevel modelling, MLM）情境中，ICCs 常用于量化主体水平变量的方差中可归因于集群水平差异（例如学校或社区之间）的比例。当来自集群成员的数据是对某个群体水平特征的评分时，ICC 是评分者间可靠性系数，可解释为对一个集群的观测跨该集群成员泛化的程度。结构方程模型（structural equation modelling, SEM）正成为建模 GT 的流行框架，而复合可靠性的“omega”指数——其为 SEM 参数的函数——是 GT 的特例（即，一个构念的测量跨指标泛化的程度）。MLM 与 SEM 的融合（即 ML-SEM）为探索集群水平构念的测量跨多种测量条件（指标、集群成员或两者）泛化的程度提供了独特机会。本文阐明 ICCs 的分类体系，以适当地量化测量集群水平构念的程序不同方面的可靠性，为 ML-SEM 应用中目前考虑的有限 ICCs 增加价值。

**论文解读**

**研究背景与问题**
人类行为理论通常涉及无法直接观测的心理构念，即潜在构念。多题项量表或测验常用于捕捉由潜在构念导致的个体差异，量表复合（如题项和或平均、正确题项数量或比例）作为潜在变量的观测代理。经典测验理论（classical test theory, CTT）长期关注此类量表复合的可靠性。现代测量理论将潜在变量纳入统计模型，例如项目反应理论（item response theory, IRT）中的人参数、验证性因子分析（confirmatory factor analysis, CFA）或结构方程模型（structural equation modelling, SEM）中的共同因子、线性混合模型（linear mixed model, LMM）中的随机效应。本文聚焦泛化理论（Generalizability Theory, GT），它可通过 LMM 或 SEM 估计。研究人员将 GT 框架应用于一个近年存在争议的测量情境：用个体水平数据测量群体水平构念。该情境常见于人被纳入自然群体的学科领域，例如员工嵌套于部门、患者嵌套于医生或诊所、学生嵌套于教师或学校。当感兴趣的构念指群体特征时，个体成员构成群体的多个指标，并与多个量表题项复合，从而在同一模型中产生许多潜在变量。群体水平构念带有测量误差时被称为共享构念（shared construct）。现有多层数据可靠性定义中，有些直接相关于多个集群成员作为评分者、并使用多题项量表的情境；在 GT 符号中记为 (r:c)×i 设计，即评分者（r）嵌套于集群（c），并与题项（i）交叉。已有定义多针对水平特定量表复合可靠性或评分者间可靠性（interrater reliability, IRR），且通常针对水平内构念；对于更高层变量，如何定义和解释可靠性系数仍存在争议。本文关注共享构念，其本质是群体水平特征，因此水平内变异代表一个特定误差维度而非真分数。研究人员认为，当用群体成员对多题项量表的反应测量群体水平构念时，应评估评分者和题项两类误差来源——联合及分别——在多大程度上妨碍准确区分群体。尽管 Lai 提出了联合考虑两类误差的系数，但推荐用于构形构念；Brennan 在权威 GT 教科书中的一节曾汇集相关可靠性指数，但其简要例子指导不足，且似乎被近期文献忽视。因此，本文主要目标是更全面介绍用多题项量表测量集群水平构念时有用的可靠性指数，使读者理解如何评估测量程序的两个维度，并揭示最小化测量误差的最有效方式；具体包括展示 GT 框架如何阐明既有可靠性系数关系、发展综合符号以报告这些系数、提供解释和使用指导。

**研究开展、结论与意义**
研究人员以教育科学中的激励性示例展开，使用 Ye et al. 的 TIMSS 数据及其 Open Science Framework 项目，分析 parental SEAS（学校对学术成功的强调），由教师对 4 个题项评分。研究提出 ICCs 分类体系，用 LMM 和 SEM 估计方差成分和可靠性系数，说明如何用这些系数改进测量。结论表明：在共享构念测量中，ICCs 可表达题项间可靠性、IRR 或跨题项与评分者的泛化程度；仅有 G-coef 反映所有测量误差对相关系数或回归系数衰减的影响；IRR 和题项间可靠性可诊断哪一设计特征引入更多误差，但不一定反映实际复合可靠性，除非某 facet 在未来样本中固定。研究意义在于让研究人员细致评估测量程序，并预测提高测量工具或方案的最有效方式。

**关键技术方法**
研究人员采用 GT 框架，将 (t:s)×i 设计中的观测分数方差分解为学校、题项、学校×题项、教师（学校）及高阶残差成分；使用 LMM 和多层 CFA 估计方差成分。LMM 用 lme4 的受限最大似然（restricted maximum likelihood, REML）估计，SEM 用 lavaan 的最大似然（maximum likelihood, ML）估计；用 Monte Carlo 法计算 ICCs 的 90% 置信区间；通过决策研究代入不同 n_i 与 n_t:s 预测未来复合可靠性。样本队列来自 Ye et al. 的 TIMSS 数据及其 Open Science Framework 项目，聚焦 parental SEAS，由 N_t=418 名教师嵌套于 N_s=156 所学校，对 N_i=4 个题项评分；不平衡设计的教师数用调和均值 n?_t:s=1.908。

**研究结果**

**1 MOTIVATING EXAMPLE（激励性示例）**：Ye et al. 评估 TIMSS 中学校气候的一个维度 SEAS；研究人员仅关注 parental SEAS，由教师对 4 个题项评分，学校水平复合为 y?_s。该复合可靠性影响 z_s 对 y?_s 回归系数的衰减。

**2 GENERALIZABILITY THEORY（泛化理论）**：GT 将测量目标称为差异 facet，测量条件称为泛化 facet；示例设计为 (t:s)×i。
**2.1 Variance decomposition（方差分解）**：观测分数分解为总均值、学校、题项、学校×题项、教师（学校）与最高阶残差；方差成分为 σ_s²、σ_i²、σ_si²、σ_t:s²、σ_(t:s)i,ε²。
**2.2 Relative and absolute error（相对与绝对误差）**：相对误差用于常模比较，绝对误差用于标准参照比较；G-coef 与 D-coef 分别对应一致性/泛化与绝对一致性/可靠性。
**2.3 Random versus fixed facets（随机与固定 facet）**：教师可作为随机样本；题项可视为随机或固定，固定时用大写 N_i 表示固定 facet。

**3 INTRACLASS CORRELATION COEFFICIENTS FOR A SHARED CONSTRUCT（共享构念的组内相关系数）**：提出 ICC 分类。
**3.1 Generalizability and dependability with random facets（随机 facet 下的泛化与可靠性）**：定义 ICC_s(C,n_t:s,n_i) 和 ICC_s(A,n_t:s,n_i)。
**3.1.1 Generalizability（泛化）**：G-coef 为目标方差比相对误差，等价于 Brennan 的公式。
**3.1.2 Dependability（可靠性）**：D-coef 加入题项平均效应和分类标准差异。
**3.1.3 Estimating ICCs for future data（未来数据的 ICC 估计）**：可用方差成分估计和调和均值计算未来复合可靠性。
**3.2 Generalizability and dependability with fixed facets（固定 facet 下的泛化与可靠性）**：讨论固定题项。
**3.2.1 Interrater reliability（评分者间可靠性）**：ICC_si(A,n_t:s,N_i) 将题项固定，反映跨教师泛化。
**3.2.2 Inter-item reliability（题项间可靠性）**：ICC_t:s(C,n_t:s,n_i) 将教师视为固定，反映跨题项泛化。

**4 ILLUSTRATION USING A LMM（多层线性模型示例）**：用 lme4 拟合。
**4.1 Practical application（实际应用）**：方差成分估计：学校 .151、题项 .107、学校×题项 .045、教师 .285、残差 .295；单教师单题 ICC_s(C,1,1)=.194；平均 4 题 .289；平均 1.908 教师 .301；两者 .430；绝对 .400；题项间 .857；评分者间 .462；n_t:s=7 时 .707，n_t:s=14 时 .803。

**5 ILLUSTRATION USING SEM（结构方程模型示例）**：多层 CFA。
**5.1 Multilevel common factor model（多层共同因子模型）**：将教师-学校向量分解为学校水平和教师水平，分别用共同因子与残差表示。
**5.2 Congeneric items（同源题项）**：放松平行假设；congeneric 模型与固定题项一致。
**5.3 Variance components implied by CFA parameters（CFA 参数隐含的方差成分）**：用因子载荷、因子协方差和残差协方差表达方差成分。
**5.4 Reliability for fixed congeneric items（固定同源题项的可靠性）**：讨论固定题项与 congeneric 的命名。
**5.5 Practical application（实际应用）**：LMM 与 SEM 估计接近，差异 ≤.002；可靠性差异 ≤.003；congeneric 估计更低，未达 .70/.80 基准。

**6 CONNECTIONS WITH PAST RESEARCH（与既往研究的联系）**：将既往系数纳入分类。
**6.1 Coefficients for a single multilevel variable（单个多层变量系数）**：ICC_O、ICC(1)、ICC(n_t:s) 等与本文系数关系。
**6.2 Coefficients for latent components（潜在成分系数）**：ICC_L 和 Geldhof et al. 的层特定系数是假设性可靠性，不反映实际复合。
**6.3 Coefficients for a cluster composite（集群复合系数）**：ICC(n_t:s) 表示集群均值的可靠性。
**6.4 Coefficients for a composite of items（题项复合系数）**：Lai 的部分系数与本文 G-coef 和题项间可靠性等价。
**6.5 Coefficients from a shared-and-configural model（共享与构形模型系数）**：讨论 Stapleton 和 Johnson 的模型；
**6.5.1 Substantive interpretation（实质解释）**：该模型的两个 Level-2 因子可能难以对应目标构念与干扰方差；
**6.5.2 Identifiability（可识别性）**：两个随机效应完全混淆，需固定 ICC_L<.15 才收敛，使其结果可疑。

**7 DISCUSSION（讨论）**
**7.1 Advice（建议）**：清楚报告测量设计；根据未来设计或实际设计选择 n_i 与 n_t:s；只有 G-coef 反映所有误差导致的衰减；报告点估计与区间估计，并分享方差成分。
**7.2 Limitations and future directions（局限与未来方向）**：不平衡设计用调和均值；计划缺失数据；congeneric 题项子集可靠性不同，未来需研究总体可靠性。

**讨论部分总结与结论翻译**
论文用 GT 提出 ICC 分类，涵盖用集群成员对多题项反应测量集群水平构念的复合可靠性；题项可视为随机平行测量或固定同源题项。研究人员用开源 R 软件包在 LMM 和 SEM 中估计方差成分与 ICCs，数据与脚本在 OSF。许多既往系数可纳入该分类；部分系数如 Geldhof et al. 和 Ten Hove et al. 的有效性受批评，而另一些如忽略聚类的集群复合题项间可靠性在正确解释下可辩护。建议研究人员清楚说明测量设计，报告点估计与区间估计，并提供方差成分以便读者计算感兴趣 ICC；不平衡设计用调和均值；计划缺失数据时需注意同源题项复合可靠性差异。

研究结论翻译：泛化理论（Generalizability Theory, GT）为复杂测量设计定义组内相关系数（ICCs）提供了灵活框架，能够表达跨多种测量误差维度的可靠性。当使用群体成员对多题项量表的反应测量群体水平构念时，可报告 ICCs 以表达题项间可靠性、评分者间可靠性（IRR），或跨题项与评分者的泛化程度。这使研究人员能够细致评估测量程序，并预测改进测量工具或方案以针对不同目的获得足够可靠测量的最有效方式。