基于观察方法学的研究的方法学质量量表的收敛与判别效度证据（MQSOM）

《The Spanish Journal of Psychology》：Convergent and Discriminant Validity Evidence of the Methodological Quality Scale for Studies Based on Observational Methodology (MQSOM)

　　

在心理学研究中，观察方法学（observational methodology）的使用日益普遍，这凸显了对确保方法学严谨性的工具的需求。本研究提供了基于观察方法学的方法学质量量表（MQSOM）的收敛/判别效度证据。研究人员采用斯皮尔曼相关（Spearman’s correlation）的多特质多方法分析（MTMM）来检验MQSOM各维度与三种工具维度之间的关系：混合方法方法学严谨性（MRMM）、基于观察方法学的报告评估指南（GREOM）以及混合方法评估工具（MMAT）。研究人员使用MQSOM及比较工具对96篇文章进行了编码。MQSOM的设计维度与MRMM的混合方法设计（ρ = .217, p = .034）、GREOM的设计（ρ = .217, p = .034）以及MMAT的定性（QUAL）成分（ρ = .212, p = .038）收敛。MQSOM的测量与分析维度与MRMM的数据分析（ρ = .611, p < .001）、GREOM的数据质量管控（ρ = .423, p < .001）和结果（ρ = .328, p = .001）以及MMAT的定量（QUANT）成分（ρ = .214, p = .037）和混合方法成分（ρ = .643, p < .001）对齐。MQSOM的设计维度与MRMM的数据收集（ρ = .025, p = .807）和数据分析（ρ = ?.051, p = .620）、GREOM的数据质量管控（ρ = .025, p = .812）和结果（ρ = ?.032, p = .759）以及MMAT的QUANT成分（ρ = ?.035, p = .733）表现出判别效度。本研究强化了MQSOM作为一项有用的方法学质量量表的效度证据。

**论文解读文章**
**研究背景与问题**
观察方法学（observational methodology）在心理学研究中的应用日益广泛，其核心优势在于能够在自然情境下记录并量化人类自发行为，且对标准化测量工具依赖较低，从而减少测量偏差。然而，随着基于观察方法学的研究数量激增，如何确保此类研究的方法学质量成为关键挑战。现有工具多聚焦于健康科学中的观察性研究（如队列、病例对照研究），而观察方法学本质上属于混合方法（mixed-methods）范式，遵循定性（QUAL）–定量（QUANT）–定性的序列流程。缺乏专门评估其方法学质量的标准化量表，导致研究间异质性高、透明度不足。为此，研究人员先前开发了基于观察方法学的研究的方法学质量量表（MQSOM），该量表包含整体方法学质量二阶维度，由设计质量与测量与分析质量两个一阶维度构成，共11个条目，已在内部结构和信度方面获得初步验证。但该量表的收敛效度和判别效度尚需实证检验，本研究旨在填补这一空白。

**研究内容与意义**
本研究以96篇已发表文献为分析单位（源自此前系统检索的650篇研究，分层随机抽样确保MQSOM评分分布的均匀性），采用多特质多方法（MTMM）分析框架，通过斯皮尔曼相关系数矩阵，将MQSOM的两个维度与三个比较工具（MRMM、GREOM、MMAT）的对应维度进行关联分析。结果显示MQSOM表现出良好的收敛效度与判别效度，进一步证实其作为评估观察方法学研究质量的有效工具。论文发表在《The Spanish Journal of Psychology》。

**关键技术方法**
1. **多特质多方法（MTMM）分析**：基于Campbell和Fiske（1959）的框架，通过构建斯皮尔曼相关矩阵，评估相同特质在不同方法下的高相关（收敛效度）与不同特质间的低相关（判别效度）。
2. **比较工具选取**：从9个候选工具中筛选出三个：（a）混合方法方法学严谨性检查表（MRMM，Harrison et al., 2020）；（b）基于观察方法学的报告评估指南（GREOM，Portell et al., 2015）；（c）混合方法评估工具（MMAT，Hong et al., 2018）。选取标准包括工具评估研究类型（观察方法学/混合方法）、是否涵盖报告、设计、测量与分析质量、以及信效度证据。
3. **编码程序与信度评估**：两名编码员（Daniel López-Arenas和José Mena-Raposo）经培训后独立编码25%的样本（24篇），计算组内相关系数（ICC）评估编码间信度（>0.7视为充分）；随后一名编码员时隔9个月重编码25%样本评估编码内信度。
4. **统计指标**：使用McDonald’s ω和Cronbach’s α评估内部一致性信度；计算条目区分度指数；采用Kolmorogov–Smirnov检验数据正态性（非正态分布，故用斯皮尔曼相关）。
样本队列来源：96篇文章来自此前系统综述中的650篇，分层随机抽样确保均匀分布。

**研究结果**
**编码间与编码内信度及描述性统计**
MQSOM及所有比较工具的ICC系数均≥0.7（范围0.7–1），表明编码一致性强。MQSOM设计维度中位数为0.67，测量与分析维度中位数为0.7；均值分别为0.62和0.65；标准差分别为0.28和0.18。MRMM、GREOM、MMAT各维度均值范围0.43–0.90，标准差0.17–0.46。所有条目均不符合正态分布。

**基于内部一致性与条目区分度的信度**
MQSOM设计维度的内部一致性信度充分（ω = 0.90, α = 0.87），但测量与分析维度未达最优（ω = 0.68, α = 0.66）；MRMM仅部分维度信度可接受；GREOM所有维度及MMAT的QUANT成分信度不足。条目区分度方面，除MRMM的数据收集和数据分析维度（单个条目，区分度较低）外，其余维度均达到可接受或优秀水平。

**MTMM矩阵**
MQSOM设计维度：（a）与MRMM的目的与目标（ρ = 0.23, p = 0.027）、混合方法设计类型（ρ = 0.22, p = 0.034）及写作要素（ρ = 0.47, p < 0.001）呈中等至强显著相关；与数据收集（ρ = 0.03, p = 0.807）和数据分析（ρ = ?0.05, p = 0.620）低且不显著。（b）与GREOM的设计（ρ = 0.22, p = 0.034）及干预与预期结果（ρ = 0.34, p = 0.001）中等相关；与样本、数据质量管控、结果低且不显著。（c）与MMAT的QUAL成分（ρ = 0.21, p = 0.038）中等显著相关；与QUANT成分低且不显著（ρ = ?0.04, p = 0.733）。
MQSOM测量与分析维度：（a）与MRMM的目的与目标（ρ = 0.21, p = 0.041）、数据整合（ρ = 0.48, p < 0.001）、混合方法设计类型（ρ = 0.45, p < 0.001）、写作要素（ρ = 0.42, p < 0.001）及数据分析（ρ = 0.61, p < 0.001）中等至强显著相关；与数据收集（ρ = 0.17, p = 0.105）不显著。（b）与GREOM的设计（ρ = 0.45, p < 0.001）、数据质量管控（ρ = 0.42, p < 0.001）、结果（ρ = 0.33, p = 0.001）、干预与预期结果（ρ = 0.55, p < 0.001）及工具（ρ = 0.61, p < 0.001）强显著相关；与样本不显著（ρ = 0.11, p = 0.276）。（c）与MMAT的QUANT（ρ = 0.21, p = 0.037）、QUAL（ρ = 0.64, p < 0.001）及混合方法（ρ = 0.64, p < 0.001）成分中等至强显著相关。
整体上，MQSOM与63.33%的比较工具维度呈显著相关（范围0.21–0.64），且自身二因子间中等相关（ρ = 0.364, p < 0.001）。

**讨论与结论**
MQSOM测量与分析维度内部一致性低于预期，研究人员认为可能源于样本量限制及维度条目反映不同方面（观测工具、软件、参数类型、信度、数据分析类型），故保留原版本。比较工具（如MRMM、MMAT）主要聚焦报告质量，而MQSOM聚焦方法学质量，虽收敛和判别效度证据充分，但需在差异背景下解读。未来应通过验证性因子分析、结构方程模型或网络分析进一步验证，并考察不同应用领域（如足球、网球、篮球等运动研究）的因子不变性。总体而言，本研究为MQSOM的收敛和判别效度提供了实证支持：与相同或相似构念的工具维度呈高且显著相关，与不同构念呈低且不显著相关，强化了MQSOM作为方法学质量量表的效度证据。

**研究结论翻译**
总之，本研究有助于理解MQSOM的心理测量学特性，提供了收敛和判别效度证据。研究结果表明，MQSOM与比较工具中测量相同或相似构念的维度之间呈现高且显著的相关性，而与不同构念之间呈低且不显著的相关性。这强化了MQSOM作为一项有用的方法学质量量表的效度证据。