编辑推荐:
自然与人工系统中的智能配方
摘要
十年前,两篇里程碑式论文从神经科学与认知科学的视角讨论了人工智能(AI)研究中的开放问题。如今,其中许多问题已经得到解决,且大多并非直接受人类大脑研究的启发。本文旨在审视理解自然大脑与构建人工系统这两项并行事业之间仍然共享
自然与人工系统中的智能配方
摘要
十年前,两篇里程碑式论文从神经科学与认知科学的视角讨论了人工智能(AI)研究中的开放问题。如今,其中许多问题已经得到解决,且大多并非直接受人类大脑研究的启发。本文旨在审视理解自然大脑与构建人工系统这两项并行事业之间仍然共享的要素。研究人员认为,除了理解智能的“成分”(即其组成部分)之外,这两个领域如今都开始把握智能的“配方”(即这些成分如何组合在一起)。令人惊讶的是,这一配方在生物系统与人工系统中存在许多平行之处。尽管人工智能研究进展迅速,仍有大量计算问题尚未解决。研究人员讨论了这些问题如何在自然智能中得到解决。
论文解读:自然与人工系统中的智能“配方”
一、研究背景与问题
2016年,两篇分别来自谷歌DeepMind团队和麻省理工学院(MIT)团队的里程碑式论文,从神经科学与认知科学的角度列出了人工智能研究中尚未解决的关键问题。十年之后,其中许多问题已被解决,但大多数进展并非直接源于对人脑的研究。这促使论文作者重新审视一个核心问题:理解自然大脑与构建人工系统这两项事业之间,究竟还共享着什么。作者提出,除了理解智能的“成分”,两个领域都开始掌握智能的“配方”,即各组分算法、架构与代价函数如何整合在一起。这项综述发表在《Neuron》上,其意义在于揭示生物智能与人工系统在计算原理上的深刻趋同,并指出仍待解决的计算难题。
二、研究内容与主要结论
论文通过对2016年以来人工智能领域重大进展的回顾,结合心理学与神经科学证据,提出了四个主要洞见,并讨论了三个未解决问题。作者认为,Transformer架构的涌现、大规模语言模型(LLM)的成功,以及与之配套的联想记忆、情境学习、语义预计算等机制,与哺乳动物大脑中的海马-前额叶环路存在显著相似性。与此同时,现代AI在持续学习、自我建模和开放环境中的创造性发现方面仍存在明显不足,而自然智能为这些挑战提供了可能的解决方向。
三、主要关键技术方法
该论文为综述文章,未开展新的实验。论文作者主要通过系统性梳理2016年以来AI研究的关键进展,包括GPT-3、GPT-4、CLIP、DeepSeek、Qwen等模型与基准测试,并将之与既有神经科学文献进行对照分析。分析涉及的既有数据来源包括人类内侧颞叶(MTL)单神经元记录、猕猴内嗅皮层网格细胞研究,以及人类在玩游戏时的功能性磁共振成像(fMRI)数据。论文还借助Tolman-Eichenbaum Machine(TEM)等计算模型来说明海马-内嗅系统的位置编码机制。研究未涉及新的人体或动物样本队列。
四、研究结果
1. 大规模生成模型作为大脑理论(Large-scale generative models as theories of the brain)
论文指出,2016年占主导的深度强化学习(RL)范式并未直接催生后续突破。真正的转折来自2017年提出的Transformer架构。基于大规模文本训练的生成模型,即使仅接触语言符号,也能获得关于物理世界、空间、颜色和几何结构的大量知识。这推翻了一个长期假设:感觉经验和具身行动是理解世界的前提。大规模语言模型(LLM)的成功还终结了认知科学中符号主义与联结主义的长期争论,表明弱结构化的学习系统在足够数据和计算规模下,可以习得高度系统化的行为。此外,生成模型重新成为神经科学解释感觉皮层信号的工具。
2. 快速联想过程与关系推理(Fast associative processes for relational inference)
Transformer的自注意力机制通过查询(query)、键(key)和值(value)的相似性计算,直接对序列中所有元素之间的关系进行编码。这种机制在计算上类似于哺乳动物海马体中的快速联想记忆:海马存储“键”,新皮层存储“值”。论文作者指出,Transformer虽然在工程上避开了循环神经网络(RNN)的时间约束,但其快速联想记忆原理与心理学中的情景记忆模型高度一致。研究还发现,CLIP模型中的多模态语义单元类似于人类MTL中的“概念神经元”,说明关系抽象并非生物系统独有。
3. 快速获取新知识:情境学习(Acquiring new knowledge on the fly)
论文强调了“情境学习”(in-context learning, ICL)的重要性:Transformer可以通过自注意力权重在推理时“学会如何学习”,无需更新权重即可处理全新数据。这与人类从少量例子中类推的能力相似。神经科学方面的对应发现是,大脑不仅编码刺激本身,还编码刺激所处嵌入空间的结构。例如,猕猴顶叶皮层神经元编码数量等一维“幅度”空间;内侧内嗅皮层(mERC)的网格细胞则以周期性的六边形模式编码二维空间结构。Transformer中的位置编码采用逐渐旋转的相位方式,可隐式计算两个token之间的相对位移,这与网格细胞支持路径整合的计算逻辑高度相似。TEM模型进一步证明,可学习的位置编码能够自发涌现出类似MTL的表征模式。
4. 借助丰富语义进行规划与推理(Planning and reasoning with rich semantics)
与2016年强调基于模型的树搜索不同,当前AI系统更依赖预计算和语义检索来解决多步推理问题。LLM能够直接从训练数据中学到“哪家餐厅口碑差”“哪家周一不营业”等知识,并据此生成合理推荐,而不必显式计算奖励。对于复杂数学和逻辑问题,模型需要“外化”手段,例如思维链(chain-of-thought)推理、调用外部工具、编写并执行Python代码,以及通过强化学习(RL)进行后训练。这类大型推理模型(LRM)的内部激活比传统RL或贝叶斯模型更好地预测人类前额叶皮层(PFC)的脑活动,提示语义知识结构对理解人类推理具有重要意义。
5. 持续学习与记忆巩固(Continual learning and memory consolidation)
论文指出,当前LLM在部署后几乎无法将新信息写入长期记忆,类似于顺行性遗忘。长上下文窗口和检索增强生成只是补偿策略,并非真正意义上的持续学习。相反,生物系统通过“重放”(replay)机制在休息和睡眠期间将经历巩固为长期记忆,并优先选择新颖、奖励相关或显著的体验。值得注意的是,超大规模Transformer比早期网络更抗灾难性干扰,可能是因为多余容量允许新知识存储在相对正交的子空间中。此外,人类与Transformer在训练方式上存在一些反直觉的相似性,例如按时间分块练习对两者都有益。
6. 自我建模与监控(Modeling and monitoring the self)
现代AI系统缺乏稳定的自我模型。它们对自身答案的置信度校准较差,容易产生幻觉;在长程思维链中容易遗忘原始指令,陷入重复循环;也没有稳定的人格或价值系统。相比之下,灵长类大脑的背外侧前额叶皮层负责执行与控制,内侧前额叶皮层和前扣带皮层负责监控任务进度、评估控制成本并决定是否坚持目标。论文作者认为,AI代理的“harness”,即围绕基础模型设计的提示、工具和控制循环,正在承担类似内侧前额叶的监控功能,未来可能成为实现更复杂自我监控的架构基础。
7. 开放环境中的发现与创新(Discovery in open-ended environments)
尽管AI在数学、编程等规则明确、结果可验证的领域中表现出色,但在开放、模糊、存在不可靠信息的真实世界任务中仍然脆弱。当前LLM容易产生模式坍塌,生成刻板、同质的内容,在发散性思维测试中落后于人类。论文指出,生物智能通过具身互动、主动探索和社会性合作来支持创造性发现,而大多数AI系统仅通过被动接触人类已有知识进行训练,因此难以产生真正新颖的想法。多种理论如主动推理、能动性最大化以及多智能体交互,可能为未来AI提供新的方向。
五、讨论与结论
论文总结指出,2016年那两篇文章曾预测神经科学和心理学将成为AI研究的重要驱动力。事实上,更大的推动力来自Transformer和可扩展的联想记忆机制。然而,自然智能仍然是理解AI系统成功与局限的有用透镜。当前AI系统具有“锯齿状”能力:某些任务远超人类,某些任务却几乎谈不上胜任。这种不足源于它们缺少自然智能的核心功能:在短时与长时记忆之间灵活交换信息、对自身目标和行动进行建模与监控,以及通过与环境的动态互动进行学习。论文认为,未来AI可能需要借鉴大脑的认知架构,以及更高效的传递与可塑性规则,从而降低计算和能量成本。完整的智能“配方”尚未完全知晓,但研究人员指出,它比以往任何时候都更接近人类的理解。