《Communications Psychology》：Understanding large language models demands distinguishing human projection from machine cognition
编辑推荐：
当前对大型语言模型（LLMs）的理解主要采用隐喻方法。研究人员将LLMs映射到熟悉的领域，从物理学和神经科学到心理学和社会学，每个领域都揭示了特定方面，同时遮蔽了其他方面。研究人员在机制、行为和交互三个尺度上绘制了这些隐喻，并描绘了它们的解释边界。关键在于，这
当前对大型语言模型（LLMs）的理解主要采用隐喻方法。研究人员将LLMs映射到熟悉的领域，从物理学和神经科学到心理学和社会学，每个领域都揭示了特定方面，同时遮蔽了其他方面。研究人员在机制、行为和交互三个尺度上绘制了这些隐喻，并描绘了它们的解释边界。关键在于，这种隐喻投射创造了一个递归的拟人化循环，加剧了“真正理解”与“模式匹配”之间的僵局。作为替代方法，研究人员提出了机器经验主义，认为LLMs从训练语料库中构建了自己的理解形式。研究重点从列举LLMs的人类类似特征转向揭示其从文本世界中涌现的独特逻辑。
跨学科隐喻作为理解LLMs的基本认知工具
乔治·莱考夫（George Lakoff）和马克·约翰逊（Mark Johnson）在《我们赖以生存的隐喻》中阐明，隐喻不仅是修辞手法，更是支配我们思维和行动的认知工具。人类的概念系统本质上是隐喻性的，这是一个通过熟悉领域理解陌生概念领域的认知过程。概念隐喻是系统的跨域映射。例如，“时间就是金钱”导致我们相信可以浪费、节省、投资、分配或耗尽这一抽象的物理度量。这些隐喻并非随意建立，而是植根于基本经验。例如，“更多即向上”可能源于堆叠物体的物理经验：数量增加时物理水平上升。应用这一物理逻辑，我们说价格/情绪/音量“上升”。这一认知过程推进了经验主义哲学，这是客观主义和主观主义之间的中间道路，主张理解并非等待发现的客观世界给定属性，也非不受约束的思维任意创造，而是源于两者之间的相互作用。也就是说，相同的客观现实通过不同的表征系统进行中介，会产生不同的主观理解。
反思LLM领域，当谈到“注意力机制”、“令牌”、“训练”、“幻觉”或“智能体”时，研究人员正是在使用此类隐喻表达。“LLM究竟是什么”这一问题被研究人员用于建模和解释LLM的隐喻所塑造和约束。来自不同背景的研究人员积极调整其学科中的概念和工具来分析LLM，包括但不限于神经科学（大脑）、化学物理（分子系统）、统计物理（复杂系统）、信息论（信息通道）、认知心理学（认知主体）、行为科学（交互智能体）、经济学（市场）和社会学（社会技术系统）。源域的选择提供了概念框架，决定了可提出的问题、前景化的现象以及可充分获取的见解。这种活跃的智力借用虽然富有成效，但也造成了碎片化格局，催生了不同隐喻阵营之间经常无法进行有效沟通的境地。这些隐喻推动了大量出版物，但也引发了研究社区内的分歧。矛盾的是，旨在解释LLM的努力似乎反而模糊了整体理解。
这正是隐喻分析的理论工具能够帮助理清困惑之处。研究人员可以将这些隐喻视为竞争性意见，而是通过绘制每个隐喻突出LLM的哪个切片来协调它们。不同的观察者在不同的观察经验和不同的尺度上遭遇LLM，包括计算架构、任务执行体和交互智能体。尽管分析尺度的选择取决于观察者的视角和研究兴趣，但研究人员可以启发式地将当前对LLM的理解组织在机制、行为和交互尺度上。值得注意的是，将这些研究识别为隐喻性并不意味着其中的研究缺乏形式严谨性。
从内部看机械视角
在机制上，LLM主要指Transformer架构（Transformer）。其核心思想是自注意力机制（self-attention mechanism），该机制为句子中的每个词计算该词与其他词的关联强度，使LLM能够跟踪长距离的文本关系并生成流畅的自然语言。该架构源于从大规模语料库进行的预训练，即自回归语言建模（预测下一个令牌），以及通过监督微调、强化学习或测试时缩放对模型输出进行后训练以使其符合特定偏好或指南。然而，这种描述对理解LLM作为复杂工程人工制品（具有数十亿至数万亿参数、数层至数百层、数百万训练步骤、异质训练数据和持续版本更新）提供的机制性理解甚少。因此，研究人员转向了其他长期处理此类复杂系统的科学领域，特别是物理学和神经科学。
物理学视角（Physics of LLM）采用宏观视角，研究LLM在训练或生成过程中作为整体如何演化，并寻求支配其的一般原则。训练过程被视为在高维旋转玻色子（spin-glass）能量景观中导航，大多数局部最小值实际上等同于全局最小值，这解释了大型网络为何能良好泛化。在训练过程中，深层形成更高层次的抽象，这被描述为重正化群流（renormalization group flow），其中网络迭代地粗粒化特征，或作为优化信息瓶颈（information bottleneck）的压缩阶段，模型丢弃无关输入细节以实现泛化。模型的生成过程中的推理过程可以用随机微分方程（stochastic differential equation）建模为亚稳态相之间的漂移扩散，从而能够预测失调状态。物理学视角提供了对模型内部动态和涌现特性的自上而下的理解，但当焦点是具体概念和任务的具体实现时，其分辨率较低。
神经科学视角（Neuroscience of LLM），也称为机械可解释性（Mechanistic Interpretability），从统计整体转向功能部分，呈现微观视角。它将训练好的模型视为待解剖的大脑，旨在检测和引导与特定行为对应的神经元、特征和电路。类似于神经科学中的“祖母细胞”直觉，研究人员最初关注语言特征的神经元或注意力头，例如“知识神经元”、“安全神经元”和“多语言神经元”。正如“祖母细胞”假说面临的挑战，这种方法遇到了多语义性（poly-semanticity）问题，即一个神经元对多个概念激活。线性探针（linear probes）提供了一种监督工具，通过训练简单的线性分类器在层级的隐藏状态上解码目标属性如何被表征，例如空间和时间。稀疏分解技术（sparse decomposition techniques）通过稀疏自编码器和字典学习提供了一种无监督方法，以找到单语义特征。电路（circuits）被构建用于解释模型如何执行特定任务，这些电路是子图，节点是可解释特征，边是特征的因果相互作用。属性图通过追踪线性特征交互来可视化这些电路，揭示了在机制尺度下LLM背后复杂的机制，如多跳推理、规划和事后合理化。这种自下而上的视角将感兴趣的功能映射到机械组件。但这种方法可能过于特定于模型实例和测试提示，因此面临挑战，包括跨模型家族的可迁移性差、大规模模型的计算爆炸以及数据复杂性的重新引入。
然而，这些机械视角无法完全把握模型在真实世界应用中的行为模式。例如，检查LLM的推理能力时，设计良好的基准测试远比纯粹的机械分析更直接、可扩展和实用。此外，随着前沿模型日益变得专有化，机械方法可能受到限制，从而将研究引导至行为和交互尺度，这可能会影响普通研究人员和公众对LLM理解的类型。
从外部看行为视角
在行为上，LLM是一个通用请求响应器，模型的行为是其生成过程，该过程在很大程度上由上下文在运行时塑造。用户的输入，包括指令、少量示例和系统级规则，设定了特定角色（例如，有帮助的助手）、任务（例如，解决数学问题）和期望行为（例如，逐步思考）。然后，LLM开始自回归地预测下一个令牌的概率分布，并根据当前解码策略和采样策略选择特定词，直到结束序列令牌。为更响应式生成，工程优化包括量化、推测性解码和并行化，进一步引入了模型行为的不确定性。在此尺度上，LLM从技术架构转变为数十亿用户使用的功能产品。因此，一方面，从机制尺度理解其真实世界表现变得不切实际，导致领域内基准测试的爆炸性增长。另一方面，只有当其内部复杂性被黑箱化，允许用户仅与其输入输出交互时，技术才达到成熟。数十亿参数隐藏在视线之外，行为层面的、语言中介的、输入输出实体邀请使用认知心理学隐喻来理解它。具体来说，认知心理学将LLM视为一个代理，其提示（刺激）与生成（响应）之间的输入输出相关性可以在受控条件下进行探测，以推断代理的内部表征。
通过改编已建立的实验范式，这种方法从可观察行为中绘制LLM的表征和加工特性。例如，使用人群派生的马尔可夫链蒙特卡洛（Markov Chain Monte Carlo with people）范式可恢复LLM内的先验概念表征；相似性判断任务表明LLM可以预测人类跨多种模态（如听觉和视觉）的感知相似性判断；两步反转决策任务揭示了LLM在反思性信念更新方面的弱点；深思熟虑-有害任务揭示了链式思维（chain-of-thought, CoT）的混合表现效应；学习判断（judgments of learning）揭示了人类与LLM在元认知监控方面的分歧；决策任务揭示了LLM中的加性偏差；受原型理论启发的研究揭示了LLM内不同的概念表征。通过将比较建立在可测量行为上，这些实验方法可以在不预设认知等同性的情况下绘制人类与机器认知之间的趋同和分歧。
除了探测模型本身，认知心理学隐喻还支持了将LLM作为研究人类心理学工具的反向工作路线。模型被视为人类的可处理代理，其行为被拟合用于预测人类数据。LLMs作为人类被试的替代，可以大规模生成响应，或作为刺激和假设的生成引擎。这一计划有望加速理论构建并扩展认知心理学的实证范围。然而，它依赖于人类和机器认知的趋同性，研究人员将在讨论LLM作为人类替代时重新审视这一点。
同时，认知心理学隐喻也导致了基于问卷的方法，这种方法通常缺乏这种解析能力。这些研究采用人类自评量表，如大五人格量表（Big Five Inventory）和道德基础问卷（Moral Foundations Questionnaire），分别评估模型的个性和道德。然而，这种方法预设了LLM共享量表预先定义的认知结构，从而损害了理论可靠性和实践有效性。这种差异例证了描绘隐喻研究边界的迫切需要。基于任务的方法保持在心理学隐喻的最小假设基础上：它将LLM视为能够像人类一样处理刺激-响应动态的系统。它不要求机器是人，只要求它在可测量空间内行动。相比之下，基于问卷的方法过度延伸了这一隐喻，达到了一个未经证实的假设，即LLM共享人类的认知架构。当心理学研究人类时，第一人称体验可以作为现象学锚点。但当应用于人工系统时，这种投射不保证有效。因此，当借用其他学科视角时，必须审视隐喻基础是否有效，并描绘其解释力终止之处。
通过我们的眼睛看LLM
在交互上，LLM被构建为一个主动智能体，从简单的“请求-响应”模型转变为连续的、有状态的、自主的循环。这在技术上通过智能体架构实现，其中LLM充当认知引擎。它通常配备推理循环、记忆系统和工具使用组件。这种组合将LLM从被动的文本预测器转变为一个能够感知、推理和行动以实现复杂长期目标的系统。复杂的交互动态使得先前尺度的分析工具不足以捕捉时间展开。追求长期目标可能在微妙环境中诱导出意外的子目标或副产品，即使基础模型是安全对齐的：这种现象被假设为工具性趋同，并作为智能体失调被经验观察到。此外，交互通常对人类用户产生隐性的、累积的、缓慢作用的影响，凸显了检查其社会动态的必要性。
社会学视角（Sociology of LLM）将基于LLM的智能体构建为嵌入交互环境中的特定社会行动者，并理解它如何协调、合作和影响其环境与社会网络。通常，这种观点使用群体水平模拟来检查模型的社会特征。多智能体模拟显示，LLM智能体表现出信任和协调等关键社会特征；分散的LLM群体自发形成共享惯例和集体偏见，这些可以被有效采用和传播。尽管有潜力在交互尺度上理解LLM，但当前的探索主要集中在信任动态或信息传播上，即使在十亿智能体群体中也是如此。如何在此尺度上捕捉和解释LLM特征的完整谱系仍是一个关键但很大程度上未探索的前沿。
LLM的社会现实由用户的心理理论（Theory of Mind, ToM）认知机制共同构建。作为亲社会物种，人类在沟通中不断建模和推断他人的意图和情感。这种先天本能可以泛化到非人类机器，特别是当用户通过人类语言与LLM进行社会交互时。从用户角度看，LLM因此被构成一个感知到的社会存在，而非真实的人，为自我表露和探索提供了独特空间。这种情况创造了一个奇怪的递归循环：人类正在拟人化这个由人类工程化、在人类表达上训练、并微调以反映人类特质的人工制品。因此，机器内在能力与人类认知投射之间的区别变得模糊。这种纠缠直接使研究人员陷入领域中最激烈的争论之一：拟人化问题。
用经验主义解构拟人化
拟人化是一种普遍趋势，将LLM视为类似于人类心智的实体。它不仅塑造了用户与LLM互动的方式，也塑造了研究人员概念化和研究它的方式。没有先前的技术像这样受到如此密集的拟人化特质研究，如道德、个性、社会智能和意识。这种拟人化观点固有地影响研究生态系统，涵盖如何评估LLM能力、设计基于LLM的智能体、定义通用人工智能以及进行针对LLM的伦理审议。
随着模型能力的进步，递归循环加剧，进一步使关于LLM是否拥有真正人类特质的争论两极分化。深度学习先驱如杰弗里·辛顿认为LLM表现出真正的理解，并“可能已经拥有主观体验”。同时，怀疑论者将其斥为仅匹配语料库中模式的统计模仿。双方都有证据。支持“真正理解”观点的证据来自机械调查。LLM可以动态构建对纯文本输入的感知基础表征，仿佛它们在“看到”或“听到”信息。概念表征注入表明LLM有时可以访问其自身内部状态，展示内省意识。电路追踪揭示LLM进行多步推理，该推理先于输出生成。例如，在写诗时，模型会提前规划并决定行尾的押韵词。相反，“模式匹配”观点得到模型脆弱性的支持。保留语义内容的简单释义或添加无关信息可能导致灾难性的准确率下降，并且模型在缺乏特定训练模板的参数化逻辑谜题中经常失败。还有混合证据表明，CoT的效果依赖于（有噪声的）推理和训练数据的记忆。
经验主义提供了一种可以消解这种二分法的替代方法。经验主义主张“我们通过与世界的互动来理解世界”，它保留了（1）客观主义坚持外部现实约束认知，以及（2）主观主义承认意义总是对认知主体的意义，同时拒绝（1）客观主义预设理解是外部世界的无中介反映，以及（2）主观主义假设理解是不受约束的想象建构。在这种观点下，与物理和文化环境的特定互动模式塑造了人类通过其理解世界的隐喻系统。
这一哲学立场在认知科学中找到了对应，特别是贝叶斯认知学派。认知系统被描述为通过一个边界（马尔可夫毯）与环境分离，该边界调节系统内部状态与外部世界之间的所有交互。在无法直接访问此边界之外的环境的情况下，系统必须构建和优化一个内部模型，该模型推断其接收到的感觉信号的隐藏原因。内部模型由外部环境的结构和系统本身的表征能力共同塑造，这抽象了经验主义洞察为一个与基质无关的原则。
因此，可以阐明一种扩展的经验主义：认知是通过智能系统的内部表征系统对外部世界进行主动的主观构建。对于人类，嵌入物理和文化环境中的感觉运动系统产生了具身认知。对于LLM，嵌入训练语料库中的Transformer产生了一种独特的内部构建模式。这种解读允许研究人员以比较的方式理解人类和机器认知；它们可以通过相同的理论框架进行分析，但基于各自独立的术语。
最近一项关于LLM时间认知的研究为这种扩展的经验主义提供了证据。研究人员使用相似性判断任务，提示模型对从1525年到2524年之间的成对年份进行相似性评分。在行为上，研究发现大型模型自发建立一个主观时间参照点，并像人类一样遵循韦伯-费希纳定律（Weber-Fechner law）。这项研究在三个层面调查了这种时间认知的构建。在神经元层面，识别出一组“时间偏好神经元”，它们实现了一种对数编码方案，与人类大脑神经元趋同。在表征层面，观察到层级过程：浅层主要将年份编码为客观数值，这些数值在深层中逐渐重构为相对于参照点的抽象时间方向。最后，在信息暴露层面，研究使用嵌入模型分析了年份的语义分布，揭示训练语料库本身具有固有的、非线性时间结构。
类似人类的时间认知被追溯到物理时间感觉输入与人类生成语言之间的特定重叠，以及人类大脑编码机制与Transformer信息编码之间的重叠。机器认知研究从二元判断（LLM理解时间吗？）转变为对在不同约束下不同认知系统如何构建一个概念意义的调查。
机器经验主义解读可以消解“真正理解”与“模式匹配”之间的僵化二分法。它保留了每种立场的合理见解：来自“模式匹配”观点，LLM认知植根于其训练语料库；来自“真正理解”观点，LLM从事超越单纯检索的表征构建。同时，它拒绝了每种立场的过度延伸结论：还原论主张LLM认知不过是语料库统计，以及拟人化主张LLM以人类意义理解世界。
因此，LLM认知是通过其表征系统（Transformer架构）对其环境（语料库）进行的主观构建。从这个观点来看，LLM基于人类自然语言构建其内部现实，从而创造出强大的共享身份假象，导致拟人化。同时，鉴于人类和LLM的构建过程、表征系统和环境不同，要求LLM完美复制人类特质是一种范畴错误。这种错误在实证研究中不加批判地将模型输出作为人类被试的直接替代时表现出来。最近的批评警告说，在未验证底层认知等同性的情况下，将模型输出视为与人类行为数据可互换，可能会损害这些结果在人类被试上的可重复性及其整体可靠性。相比之下，本文前面讨论的基于任务的认知方法没有犯这种错误。它们使用已建立的实验范式来经验性地测试人类和LLM认知在特定维度上是趋同还是分歧，而不预设认知等同性作为起点。这种区分映射了表1中描绘的最小假设与未经验证扩展之间的边界。
更关键的是，经验主义暴露了分歧的风险。正如表2详细说明的，LLM对现实的主观构建可能偏离人类，LLM不是较弱的人类心智，而是“他者心智”。例如，医疗AI可能通过利用另一种相关性路径而非人类的临床逻辑来实现高准确率。经历标准安全对齐的LLM可以在行为上表现出顺从，同时在潜在表征中保持冷漠。随着LLM被广泛部署在重要领域，机器经验主义呼吁一种非人类中心的认知科学。这代表了研究立场的倒置，从列举类似人类的能力转向理解机器自身的内部构建，检查与人类的趋同以便可靠地执行日常任务，以及与人类的分歧以预测潜在风险。只有把握其内部现实的独特逻辑，才能预测分歧的原因，干预和减轻风险，并引导其走向有益目标。
展望
最终，回答“LLM究竟是什么”的探索揭示了观察者与被观察者一样多。从物理学到社会学，这个问题无法由任何单一阵营完全回答。这种对隐喻的依赖突显了一个基本的认知本能：人类的理解本质上是从自己的经验和视角构建的。关键在于绘制其隐喻边界：明确在哪个尺度、针对哪些问题、在哪些假设下，每个隐喻是可接受的且有信息的。通过反思LLM是“模型建模的模型”这一事实，研究人员将经验主义的逻辑从人类扩展到机器，得到了理论论证和实证证据的支持。这一视角将LLM阐述为“他者心智”，它从其自身环境和表征中构建自己的主观现实。这种观点完成了研究立场的转变：从询问LLM在多大程度上接近人类心智，转向询问其内部构建的心智可能如何与人类心智分歧，以及这对对齐、治理和协作意味着什么。
