《Fudan Journal of the Humanities and Social Sciences》：Piercing a Methodological Bubble: Large Language Models and the Social Sciences
编辑推荐：
大语言模型（LLMs）越来越多地被用于社会科学的文本分类、调查模拟和因果分析。然而，许多应用犯了一个类别错误，将训练用于生成合理语言的系统视为直接测量社会现实。本文认为，这个问题是条件性的而非类别性的。自回归LLM的输出只有在结构化的人类参与将其锚定、验证并连
大语言模型（LLMs）越来越多地被用于社会科学的文本分类、调查模拟和因果分析。然而，许多应用犯了一个类别错误，将训练用于生成合理语言的系统视为直接测量社会现实。本文认为，这个问题是条件性的而非类别性的。自回归LLM的输出只有在结构化的人类参与将其锚定、验证并连接至可观测证据时，才能与社会现象建立确定的关系。缺乏这种接地，它们仍然是受语言模式而非政治世界本身塑造的概率性合理延续。这一区分在不同用例中都很重要。零样本生成式编码和合成响应生成在认识论上最薄弱；将模型输出视为观测变量也会产生类似问题。监督微调分类更为可靠，因为人工标注数据提供了明确的联系，尽管接地来自标注过程而非模型本身。认识到这一点有助于澄清LLMs最有用之处：作为溯因推理和理论发展的工具，而非社会科学研究中自主的测量或推断工具。
**论文解读文章**
**研究背景与问题**
大语言模型（Large Language Models, LLMs）在社会科学中已被广泛应用于文本分类、调查模拟、因果分析等任务。然而，许多应用存在一个深刻的类别错误：研究人员将训练用于生成合理语言的系统视为直接测量社会现实。本文认为，这一问题不是类别性的，而是条件性的。自回归LLM的输出只有在结构化的人类参与将其锚定、验证并连接至可观测证据时，才能与社会现象建立确定关系。缺乏这种接地，它们只是受语言模式塑造的概率性合理延续，而非政治世界本身的记录。这一区分对不同用例至关重要：零样本生成式编码和合成响应生成在认识论上最薄弱；将模型输出直接作为观测变量也会产生类似问题。监督微调分类更为可靠，因为人工标注数据提供了明确的联系，但接地来自标注过程而非模型本身。认识到这一点有助于澄清LLMs最有用之处：作为溯因推理和理论发展的工具，而非自主测量或推断工具。该论文发表在《Fudan Journal of the Humanities and Social Sciences》。
**研究人员开展的研究与结论**
研究人员通过皮尔斯符号学框架，系统区分了符号、索引和象征三种符号类型，论证了LLM输出本质上是象征性的，缺乏与真实世界的因果联系（索引性）。只有通过结构化的人类参与（如监督标注、专家裁决、校准）才能将输出与可观测证据锚定。在零样本生成模式下，LLM无法充当社会科学意义上的估计量，因为其缺乏目标变量和总体生成过程。校准问题揭示了LLM输出的不稳定性并非随机噪声，而是系统性的符号偏移。通过梳理实证证据——包括合成调查生成的大规模评估（Xie等人，2026）、人格研究（Han等人，2025）、经文检测（Griswold等人，2025）以及冲突事件分类（Brandt等人，2025）——研究人员得出结论：LLM在无接地使用时会产生结构化失真，而在有监督接地时则表现更可靠。其重要意义在于重新定位LLM的认识论地位：它们最适合作为溯因推理、概念合成和理论探索的工具，而非自主测量或推断的仪器。
**关键技术与方法**（不超过250字）
研究人员主要采用了以下关键方法：1）皮尔斯符号学框架：区分象征（symbol）、索引（index）和图标（icon），论证LLM输出属于象征性符号，缺乏与真实世界的因果联系。2）架构对比分析：区分基于编码器的模型（如BERT）与自回归解码器模型（如GPT系列），指出索引性接地来自外部监督而非架构本身。3）实证评估：利用多个样本队列与基准验证：合成调查生成评估使用了7个真实调查数据集和15个主要LLM（来源：Xie等人2026）；冲突事件分类使用了专家标注的政治暴力语料库（ConfliBERT，Brandt等人2025）；人格研究使用了自我报告与行为任务对比（Han等人2025）；经文检测使用了社交媒体数据与国会党派归属作为外部启发式（Griswold等人2025）。4）校准分析：通过贝叶斯过程追踪（Bayesian Process Tracing, BPT）基准（Paci 2026）评估LLM证据评估的偏差与一致性。这些方法共同揭示了LLM输出缺乏索引性接地时的结构化问题。
**研究结果**（保留每个小标题）
**2 认识论意义：符号、索引与语言推断的局限**：通过皮尔斯符号学区分了图标（icon）、索引（index）和象征（symbol）。LLM输出属于象征性符号，其与指涉对象的关系是约定俗成的，而非因果联系。索引性（indexicality）是支撑经验推断的关键：只有索引性符号携带严格的证据力。语言生产是策略性、情境性行为，无法透明反映社会现实；分布式学习不能自动提供间接索引性（indirect indexicality），因为语言分布受到非随机扭曲。
**3 从表征到生成：使用条件与索引性接地的来源**：编码器模型（如BERT）通过监督学习与外部标注建立索引性接地；自回归LLM（如GPT）优化的是语言分布而非社会结果。索引性接地来自标注过程而非模型规模或架构。多模态系统引入索引性输入（如卫星图像），但模型解释仍受分布式先验影响，接地问题在表征与推断层面重现（Bollen等人2025）。
**4 为什么大语言模型不是机器学习估计量**：零样本模式下，LLM缺乏目标变量、总体分布和随机过程，其学习的是语言分布而非社会结果。合成调查生成评估（Xie等人2026）显示系统性结构化失真（压缩异质性、膨胀相关性、坍缩生命轨迹）。校准问题（calibration problem）不同于人类编码的噪声：LLM更新时，仪器本身发生不可预测的语义漂移，不存在真分数模型（true-score model）。贝叶斯过程追踪（Paci 2026）表明LLM能产生内部一致但系统性高估证据的似然估计。
**5 LLM与数据：实践中的索引性鸿沟**：未接地使用（合成数据、硅采样）导致系数不稳定、符号反转，且偏差反映模型内部假设（Yang等人2025；Gao等人2025a, b）。接地使用（文档分类）虽然语料库真实，但编码工具本身缺乏稳定联系；监督微调（如ConfliBERT）因引入专家标注而显著优于通用模型（Brandt等人2025）。
**6 LLM作为概念与理论生成的引擎**：LLM最适合溯因推理（abductive reasoning），即生成解释性假设。这不需要索引性接地，只需模式识别与概念翻译。区分生产性溯因与虚构的标准：领域可验证性（domain verifiability）、内部逻辑一致性（internal logical consistency）、新颖结构洞察（novel structural insight）和跨提示稳健性（cross-prompt robustness）。不对称使用原则：LLM输出作为人类理论发展的输入，而非自主结论。
**7 概念翻译与溯因推理：一个实例**：以Michael Chwe对《傲慢与偏见》的博弈论解读为例，说明LLM如何辅助将叙事模式翻译为信号博弈结构。LLM帮助识别信息不对称、信号成本与分离均衡，但不进行实证检验。该实例满足四项溯因标准，并体现了不对称使用。
**8 结论**：LLM输出仅在通过外部接地程序（监督标注、专家裁决、校准）锚定可观测现象时才能支持经验推断。零样本生成模式中，LLM产生合理的语言延续而非社会现实测量。核心问题并非噪声或偏差，而是缺乏稳定的测量-现象关系。LLM在有接地的工作流中可提升效率，但在无接地测量或自主因果推断中表现不足。
**讨论与结论翻译**：
本文对社会科学中大语言模型的认识论地位提出了一个条件性主张。当LLM输出通过外部接地程序（如监督标注、专家裁决、校准或针对独立测量结果的预测）锚定到可观测现象时，它们能够支持经验推断。在这些条件下，模型参与了一个更广泛的推断工作流，其认识论力量源自接地过程本身，而非自回归生成。相比之下，在零样本生成编码、合成调查模拟或直接将模型输出作为观测变量处理时，LLM生成的是语言的概率合理延续，而非社会现实的测量。在这种情况下，模型识别的是话语中的模式，而非政治世界本身的模式。核心问题不仅仅是噪声、偏差或不完全可重复性。经验推断要求测量过程与研究现象之间保持稳定关系。没有索引性接地，这种关系就无从指定。来自多个文献的证据支持这一解释。与此同时，明确这些局限也澄清了LLM在认识论上具有生产力的领域：它们特别适用于溯因推理、概念综合、检索、跨理论传统翻译以及探索替代性解释结构。更广泛的含义是重构性的而非禁止性的：论点不是要将LLM排除出社会科学研究，而是要更仔细地规定其认识论角色。保持符号生成与经验接地观察之间的区分，有助于解释新兴方法论文献中许多表面矛盾。LLM可以大幅改进搜索、检索、总结、编码辅助和理论探索的工作流，同时仍不适合于无接地测量或自主因果推断。维护这一区分既保护了这些系统的实用性，也维护了经验社会科学所依赖的推断标准。
