人类观察与大语言模型（LLM）生成观察的统计可比性：抽样单元、变异与统计推断的方法学重思

《AI》：Are Human and LLM-Generated Observations Statistically Comparable? Rethinking Sampling Units, Variability, and Statistical Inference

　　

将大语言模型（LLM）日益用作合成受访者（synthetic respondents）、实验参与者（experimental participants）或人类样本与人群的比较者（comparators），引发一个关键统计学问题：在何种条件下，LLM生成观察能够与人类数据一起支持有效的归纳推理（inductive reasoning）？本文区分人类群体中固有的异质性（heterogeneity）与LLM的算法变异（algorithmic variability），强调观察到的响应相似并不必然表明其潜在生成过程（generative processes）等价。人类数据来源于从目标人群（target population）中抽样的个体。相反，重复的LLM响应由概率计算系统（probabilistic computational system）生成，其变异性受模型、提示（prompt）、生成参数、上下文、重复运行以及计算环境影响。因此，LLM生成响应的名义数量（nominal number）不应等同于同等数量的独立人类抽样单元（sampling units）。这一区分影响观察的独立性、重复性（repeatability）、样本量、统计检验以及人-LLM比较的解释。传统统计方法并非天然不适用于LLM生成数据；然而，其有效性取决于实验单元（experimental unit）、估计目标（estimand）、依赖结构（dependency structure）和方法学假设是否与数据生成过程（data-generating process）一致。为支持实际应用，本文提出一个六阶段方法学框架（six-stage methodological framework）：定义推断目标；识别单元与数据生成过程；评估复制（replication）；验证人-LLM可比性（comparability）；选择适当的统计分析；评估敏感性（sensitivity）、可重复性（reproducibility）与推断范围（scope of inference）。人-LLM可比性应被视为一种经验性、估计目标特异性属性（empirical, estimand-specific property），而不是由样本量相等、均值相似、差异不显著或应用相同统计检验来假定。

研究背景与问题：随着LLM作为合成受访者、实验参与者或人类观察替代物（surrogates）的使用增加，研究人员需要回答一个统计问题：LLM生成观察在何种条件下能与人类数据共同支持有效归纳推理。人类数据来自目标人群中的个体抽样，个体之间以及个体内部均存在异质性；LLM重复响应则来自概率计算系统，其算法变异受模型、提示、生成参数、上下文、重复运行与计算环境影响。问题在于，LLM响应的名义数量不能直接等同于独立人类抽样单元，进而影响观察独立性、重复性、样本量、统计检验和人-LLM比较解释。传统统计方法并非天然不适用，但其有效性取决于实验单元、估计目标（estimand）、依赖结构和方法学假设是否与实际数据生成过程（data-generating process）一致。本文即围绕该问题开展方法学分析，并提出六阶段框架，意义在于为设计、分析、报告和解释人-LLM比较研究提供可操作的方法学依据。

研究开展、结论与意义：研究人员通过概念与方法学分析，区分人类群体异质性与LLM算法变异，梳理LLM输出变异来源及其对统计推断的影响，提出六阶段人-LLM统计比较框架：定义推断目标；识别单元和数据生成过程；评估复制与依赖；经验验证人-LLM可比性；选择统计分析方法；评估敏感性、可重复性和推断范围。结论是，人-LLM可比性应作为经验性、估计目标特异性属性，而不能由样本量相等、均值相似、差异不显著或使用相同统计检验来假定。其意义在于将核心问题从“能否比较”转向“在何种设计、验证和推断条件下比较能够支持预期结论”。

关键技术方法概述：本文为方法学/概念性Communication，未涉及试剂、培养、质粒构建或样本队列来源。主要关键方法包括：依据数据生成过程区别人群异质性与算法变异；综合文献证据梳理LLM变异来源（温度、提示、解码、模型版本、优化、推理基础设施、智能体流程等）；以重复测量、混合效应和聚类依赖等统计类比讨论抽样单元、观察独立性、有效样本量和估计目标；提出并阐释六阶段人-LLM统计比较框架及决策规则；使用概念性图示和框架化决策逻辑辅助说明。

研究结果：
2 人类群体异质性与算法变异（Human Population Heterogeneity and Algorithmic Variability）：通过概念与方法学分析，研究得出人类数据具有个体间和个体内异质性结构，而LLM重复输出来自同一概率系统；训练集异质性不必然转化为模型输出异质性；重复生成可视为同一模型-提示配置输出分布的重复抽样或蒙特卡洛重复（Monte Carlo replicates），但不创建新的模型级或类人抽样单元。Shyr et al.区分语义变异与内部变异并定义重复性；Coqueret et al.认为LLM生成数据应视为分布抽样而非固定测量；Blackwell et al.显示温度设为0并使用固定随机种子时仍可能非确定；Gallo et al.报告组内相关系数0.69，250次重复观察的有效样本量估计仅1.45，并可改变显著性；重复性也不等于准确性。
3 大语言模型输出的变异来源（Sources of Variability in Large Language Model Outputs）：通过文献综合和实证证据归纳，研究得出LLM变异来源包括温度、提示结构与措辞、解码参数、重复运行和提示策略；温度0不保证确定性，并存在“背景温度”残差；应区分重复性、可重复性与泛化性。模型适配与优化、硬件软件条件、数据排序、权重初始化、GPU操作、数值精度和模型版本替换均可影响输出；推理基础设施中的并行算术、GPU数量、软件版本、批大小和BF16精度等可造成准确率和响应长度差异；服务级动态批处理等可扰动logits；多智能体记忆、规划、工具使用、检索和通信可引入依赖；工作流预处理、后处理和验证可引入错误与依赖。结论是这些因素属于数据生成过程，应予以记录和分析。
4 人类与LLM生成数据的统计推断：非等同抽样单元问题（Statistical Inference Across Human and LLM-Generated Data: The Problem of Non-Equivalent Sampling Units）：通过统计推演，研究得出人-LLM比较的推断挑战超出均值或方差差异；LLM“硅群体”需独立评估代表性和与人类人群的对齐。合成样本可接近人群均值，但分布和推断性质可显著不同，如方差更低、回归系数偏离。形式上，人类观察可写为X_i～F_H，LLM重复响应可写为Y_j～P(·∣x,M,θ,S)，其中x为提示与上下文，M为模型及版本，θ为生成参数，S为服务或推断条件。重复LLM响应不构成不同人群成员；增加响应可减少蒙特卡洛变异，但不一定缩短与目标人群的距离；有效人类样本量取决于对齐程度。传统检验并非天然无效，但需实验单元、估计目标、依赖结构和分布假设匹配。Helm and Priebe显示跨persona相关可违反独立性，名义α=0.05下零假设拒绝率可超过0.80，并提出尊重依赖结构的置换程序；Hoq and Weninger显示相同统计方法可复现部分结果方向，但效应量和调节模式差异显著。结论是需先定义目标人群或过程、实验与抽样单元、估计目标，记录合成观察生成，并判断独立性或显式建模依赖。
A Proposed Framework for Human–LLM Statistical Comparisons（人-LLM统计比较的拟议框架）：通过整合前述方法学，研究提出六阶段框架，强调可比性不是预设等价或不可比，而是需针对每个目标人群、模型和实验方案评估的经验性、估计目标特异性属性。框架强调混合被试设计（mixed-subject designs）中以人类观察为经验金标准，系统评估LLM预测的信息价值；可比性是多维的，包括位置、离散度、分布、关系、结构以及亚组/人群保真度，某一维度的可比性不能证明其他维度；决策规则用于识别何时应重新考虑确证推断、修订统计分析或限制结论范围。

讨论部分总结：框架讨论的核心是，人-LLM可比性具有多维性和估计目标依赖性；不能以均值相似、样本量相等、差异不显著或同一统计检验的应用替代经验验证；统计方法应在明确估计目标、单元结构、依赖程度和经验对齐程度后选择，并评估敏感性、可重复性和推断范围。

研究结论翻译：将大型语言模型越来越多地用作合成受访者、实验参与者或人类观察的替代物，为科学研究带来新机会，同时给统计推断带来根本挑战。人类群体固有异质性与LLM响应中观察到的变异性可能代表不同的统计现象。因此，LLM响应之间的变异性并不天然使其成为类似于人类群体中不同个体的独立单元。这一区分并不意味着传统统计方法不适用于LLM生成数据，也不必然需要发展单独的“LLM统计学”。核心问题在于实验单元、数据生成过程和不确定性来源是否被适当反映在所选统计分析的假设中。当推断针对人类群体时，可比性必须在特定估计目标所需水平上得到经验证明。因此，核心问题不只是人类与LLM生成数据能否比较，而是在哪些方法学和推断条件下此类比较支持有效的科学结论。人-LLM可比性因此应被视为一种经验性、估计目标特异性属性。随着LLM日益整合到科学研究和涉及人类与LLM的比较研究中，统计有效性最终取决于设计、分析和推断范围是否与实际数据生成过程一致，而不是取决于数据被标记为“人类”还是“人工”。