《Cognitive Science》：Computation or Weight Adaptation? Rethinking the Role of Plasticity in Learning
编辑推荐：
人脑是一个适应性学习系统，能够泛化至新任务和不熟悉的环境。传统观点认为，这种适应性行为需要学习系统的结构性变化（例如，通过神经可塑性）。本研究利用人工神经网络，特别是大语言模型（LLMs），对这一传统观点提出挑战，并表明如果学习系统得到充分训练，这种适应性行为
人脑是一个适应性学习系统，能够泛化至新任务和不熟悉的环境。传统观点认为，这种适应性行为需要学习系统的结构性变化（例如，通过神经可塑性）。本研究利用人工神经网络，特别是大语言模型（LLMs），对这一传统观点提出挑战，并表明如果学习系统得到充分训练，这种适应性行为也可以仅通过计算实现。研究人员聚焦于统计学习范式。这些范式要求识别看似随意的词序列中的潜在规律，通常被认为需要神经可塑性。LLMs能够在不需要权重适应的情况下捕获任意结构，即使这些结构不携带语义内容且远离模型训练所依据的自然语言分布。本研究为可塑性在学习中的作用提供了新的见解，表明经过充分训练的学习系统具有高度灵活性，能够仅通过计算适应新任务和新环境，其程度远超此前所认识。此外，本研究为未来研究使用深度学习模型来推测关于大脑的假设开辟了道路。
**研究背景与问题**
人脑是一个能够利用先前获得的知识和经验快速适应新环境与任务的学习系统。这种适应通常被称为迁移学习（transfer learning），一般被视为脑可塑性（plasticity）的形式，并被认为是学习新技能的基础。由此引出一个根本性问题：复杂适应性行为是否本质上需要可塑性，还是可以仅通过计算完成而不改变系统结构？传统观点认为，统计学习（statistical learning）——即从看似随意的序列中识别潜在规律的能力——主要依赖神经可塑性，文献中常将其描述为适应性可塑性驱动、联想可塑性（associative plasticity）形式或类似Hebbian的相关性学习。然而，近期神经科学证据表明，学习过程可发生在单个神经元、神经元簇和网络层面，例如前运动皮层（premotor cortex）的群体动力学可在突触连接无可检测变化的情况下实现快速运动适应。这些发现对"学习仅通过突触（或权重适应）发生"的观念提出了挑战。研究人员利用大语言模型（LLMs）的上下文学习（in-context learning, ICL）能力，在统计学习任务上检验适应性行为能否仅通过计算实现这一核心问题。ICL完全通过激活动力学而非权重更新运作：模型内部状态随输入处理而演化，而其训练参数保持冻结。研究人员通过将人工语法学习（artificial grammar learning, AGL）和序列反应时任务（serial reaction time task, SRTT）表述为ICL任务，测试LLMs能否在不进行权重适应的情况下学习任意统计结构。
**主要技术方法**
研究人员采用Mistral-7B-v0.3这一基于Transformer的开源权重LLM，并将其与GPT-2等其他现成模型进行对比验证。实验采用增量输入范式：每次向模型输入追加一个词，并提取模型对下一词的全概率分布。研究设计了三个实验阶段——基线随机序列阶段、结构化有效序列阶段和学习后随机序列阶段。通过100次不同词汇和序列的重复运行取均值，并进行去重复序列、词汇中途切换、最小语法错误交换等控制实验，排除记忆化和词汇频率偏差等替代解释。此外，研究人员在未训练网络上进行相同实验以验证预训练的必要性。
**研究结果**
*下一词概率（Next word probability）*：在SRTT型实验中，模型从基线随机部分的随机概率上升至结构化部分的理论转移概率上界，达到理论上界的92%；在AGL型实验中达到理论上界的79%。学习后随机部分概率回落至随机水平，表明模型捕获了序列的统计结构而非简单的词汇频率偏差。
*最小错误无效序列（Minimal-error invalid sequences）*：在训练阶段后引入交换两个连续词的最小语法错误，模型对有效续词分配显著更高的概率（配对t检验 t(99) = 39.73, p = 1.2e-62, Cohen's d_z = 3.97），表明模型对细微语法违反具有敏感性，与人类学习者相当。
*记忆化控制（Memorization control）*：去除输入中所有重复序列后，学习模式仍然存在，表明模型不依赖记忆化而是捕获了潜在统计结构。此外，在中途切换DFA字母表后，模型恢复速度显著快于初始学习（t(99) = 12.12, p = 2.9e-21, Cohen's d_z = 1.21），表明模型学习了引发序列的抽象结构而非特定词汇间的关联。
*转移概率（Transition probabilities）*：模型成功区分有效与无效续词，无效续词概率降至零，有效续词概率收敛至真实转移概率（约0.3），表明模型捕获了正则语言中所有可能的有效序列。
*KL散度（KL divergence）*：从随机基线转入结构化阶段后，KL散度短暂上升后迅速收敛，模型预测分布与真实转移概率对齐，低于均匀预测器的随机水平。
**讨论与结论**
本研究揭示LLMs能够仅通过计算解决传统上被认为依赖神经可塑性的统计学习任务，挑战了认知科学中长期存在的假设——适应性行为必然需要系统结构变化。研究提示，经过充分训练的预测系统可利用其现有表征资源灵活泛化至新任务，某些归因于突触可塑性的学习形式可能至少部分由基于已有知识的动态计算支持。研究人员强调这是计算层面的主张而非结构层面的主张：基于LLM上下文嵌入与人类神经活动的表征对齐，以及这些嵌入是前向传播的直接产物、随输入动态更新而底层权重不变，结果表明结构可塑性并非快速统计学习所支持的严格前提。研究进一步表明，充分训练的预测系统能够泛化至远离其训练数据分布的复杂规律，且通过去除重复序列、切换词汇和最小词交换等控制实验排除了记忆化解释。研究提出计算产生适应输出与系统状态变化之间的区分：大脑可能仅通过计算适应新输入，而可塑性则用于将适应编码至系统参数中以实现长期过程。本研究为未来神经科学研究利用深度学习和AI模型探索认知与神经科学基础概念开辟了道路。
