《Social and Personality Psychology Compass》：Thinking Clearly About Sampling and Representation With the Total Survey Error Framework
编辑推荐：
在社会和行为科学中，收集能够良好代表目标人群的样本构成了挑战。心理学尤其频繁地依赖便利样本（convenience sample）——最显著的是学生，以及越来越多的在线参与者——倾向于要么（隐含地）假设代表性而无实质性论证，要么仅随意承认缺乏代表性。相比之下，
在社会和行为科学中，收集能够良好代表目标人群的样本构成了挑战。心理学尤其频繁地依赖便利样本（convenience sample）——最显著的是学生，以及越来越多的在线参与者——倾向于要么（隐含地）假设代表性而无实质性论证，要么仅随意承认缺乏代表性。相比之下，研究人员很少深入探讨其推断的实际影响，这削弱了心理学发现的可推广性（generalisability）。关键的是，代表性必须根据与推断目标相关的变量来定义，而非表面的人口统计学多样性。本文提出总调查误差（Total Survey Error, TSE）框架作为一种方法论工具，系统性地处理研究周期中出现的多方面误差来源——特别是与表征相关的误差。尽管TSE起源于调查研究，但其原则广泛适用于任何旨在从样本推断总体（population）的心理学研究。研究人员提供了识别、预防和减轻表征误差（representation error）的实用策略，以提高心理学研究的可信度和可推广性。
论文主体部分围绕总调查误差（TSE）框架展开，旨在系统性地分析抽样与表征问题，以提升心理学研究的可推广性。以下按文章原有小标题进行总结：
**1 引言**
心理学研究普遍关注推断的可推广性，但大量研究依赖便利样本（如学生和在线参与者），这些样本主要旨在最小化成本而非最大化可推广性。尽管有学者指出WEIRD（西方、受教育、工业化、富裕、民主）样本的同质性问题，但该概念仅捕获了部分问题，且常导致二元分类（WEIRD vs. 非WEIRD），而代表性并非仅由多样性决定。事实上，心理学界对样本代表性的处理存在多重不足：很少明确样本应代表的目标总体；对“代表性”一词的使用模糊，常仅基于人口统计学变量（如年龄、性别、种族）的异质性来定性；忽视了其他领域（如调查研究）发展出的方法（如加权 weighting）。
**2 可推广性与复制危机**
复制危机中，“情境依赖性”被用作解释复制失败的原因之一，但大规模复制项目（如Many Labs 2）的探索性分析显示，不同样本间的效应量异质性较小。缓解可推广性问题的提议多集中于透明性，例如要求包含约束条件（Constraints on Generality, COG）声明，明确界定目标总体和推断边界。然而，这些做法止步于承认局限性，未主动尝试减轻问题。相比之下，政治学和社会学领域已发展出系统工具（如TSE框架），可超越透明性，积极改进可推广性。
**2.1 代表谁？关于什么？**
“代表性”的定义需明确两点：(A) 样本应代表的目标总体；(B) 与推断相关的变量，样本在这些变量上应与目标总体相似。差异分为三类：随机（非系统性）偏差和与无关变量的系统性差异是可忽略的（ignorable）；与相关变量且无法纠正的差异是非可忽略的（nonignorable）；与相关变量但可通过外部数据和加权程序纠正的差异是条件可忽略的（conditionally ignorable）。加权（weighting）是纠正样本与总体差异最常用的方法，但要求外部总体数据（如人口普查）。在描述性研究目标中，相关变量是那些导致样本包含概率与结果变量之间存在统计依赖性的变量。通过因果图（Directed Acyclic Graph, DAG）可阐明加权旨在通过阻断路径使样本包含与结果变量d-分离（d-separation）。
**3 总调查误差**
TSE框架源自Deming（1944）的工作，系统性地处理研究周期中导致样本与总体差异的各类误差，分为测量（measurement）和表征（representation）两条主线。本文聚焦表征主线，涵盖四种误差：覆盖误差（coverage error）、抽样误差（sampling error）、无应答误差（nonresponse error）和加权误差（weighting error）。每一误差均可为系统性或非系统性，非系统性误差随样本量增大而平均化，系统性误差在涉及非可忽略选择机制时会引入偏差。
**3.1 覆盖误差**
覆盖误差指抽样框（sampling frame）与目标总体之间的差异。便利样本（如在线面板）通常因自我选择导致严重覆盖误差。即使抽样框非自选，其覆盖质量也因国家而异（如瑞典的居民名单 vs. 间接替代如电话号码）。以德国青少年为例，若使用学校记录（不含职业学校）作为抽样框，可能存在两类选择机制：可忽略的（如软件错误）和非可忽略的（如学前智力影响是否进入职业学校，进而影响抽样框包含）。若相关变量未观测，则偏差不可纠正。
**3.2 抽样误差**
抽样误差源于抽样框成员未全部进入样本。非系统性部分（抽样方差）随样本量增大而减小；系统性部分（抽样偏差）常因可行性原因（如过度抽样易于访问的区域）有意引入。研究者应选择最适合缓解前一阶段和下一阶段偏差的抽样方法。例如，在德国青少年示例中，若为减少旅行而过度抽样城市学校，且假设偏远地区学校学生与城市学生在认知能力相关变量上无差异，则该偏差可忽略；若因成本原因过低抽样特殊教育学校，则需根据学校类型进行调整（条件可忽略）。
**3.3 无应答误差**
无应答误差指样本成员中实际参与研究者的估计与全体样本估计之间的差异，其普遍性和不可避免性使其尤为棘手。影响应答决策的因素复杂，可能同时涉及可忽略、条件可忽略和不可忽略的选择机制。在运行示例中，影响参与概率和测试分数的变量可分为观测变量（如教育背景、社会经济地位）和未观测变量（如开放性人格特质）。未观测变量导致的依赖需通过可观测变量或更复杂的统计方法（如加权）来阻断。特别地，当结果变量直接影响参与概率（如认知能力本身影响参与意向）时，属于缺失非随机（Missing Not at Random, MNAR）情境，始终非可忽略，难以处理。
**3.4 加权误差**
加权虽可减少无应答等偏差，但本身也可能引入误差，如模型误设、不当加权程序或错误外部数据。加权还可能增加估计方差，但通常移除的误差大于引入的误差。加权有效性的关键限制是正性假设（positivity/common support）：若样本中完全缺失某些层，则无法通过加权恢复总体估计。加权方法包括设计权重（纠正有意过度抽样）和后分层/联立加权（poststratification/raking，纠正覆盖和无应答偏差）。在实际应用中，加权通常同时针对所有表征误差。
**4 讨论**
TSE框架提供了比简单二元判断（如样本是否多样或代表）更系统的途径，鼓励研究者思考样本与总体差异的机制，并强调加权的重要性。心理学研究常忽视加权，即使使用大型调查数据也常不应用设计权重。TSE还要求整合测量误差，考虑多重误差的权衡。采用TSE有助于从仅关注信度和样本量的文化转向主动预测、诊断和最小化总误差的文化。然而，具体解决方案因领域而异，且并非必须全面应用——即使资源有限，也可通过减少其他偏差来源来改进。此外，描述性问题对因果推断也有影响：因果图应包含样本选择节点；直接选择结果变量会导致因果效应偏差；其他选择机制也会通过影响标准化效应量（如相关系数、Cohen's d）的方差估计而引入偏差。
**4.1 建议**
TSE框架最好在研究规划阶段应用。表1（原文表格）给出了针对不同阶段的具体建议，包括：一般阶段（使用DAG指定选择机制变量、利用外部人口数据）；抽样框阶段（使用多模式概率面板、评估抽样框与目标总体的差异）；样本阶段（进行功效分析、按重要变量分层、使用配额样本）；应答者阶段（提供激励、考虑问卷长度与应答率的权衡、发送多次邀请、比较应答者与无应答者）；最终样本阶段（使用面板提供者提供的权重、使用最新人口数据计算权重、报告置信区间、报告未加权和加权估计、结合正则化、进行敏感性分析）。
**4.2 结论**
采纳TSE框架是应对心理学可信度危机和增强理论严谨性的重要一步。许多失败的复制可能并非源于原始假设错误，而是源于未承认的误差累积（如不可靠测量、志愿者偏差、临时处理决策）。系统性地考虑这些误差可得到更准确的效应量估计和更稳健的理论结论，并鼓励透明性。当前心理学对非代表性样本的典型处理仅为免责声明，而本文期望研究者利用TSE框架从有限资源中提取最大价值，并更清晰地描述为改进代表性所采取的措施。
