Transformer的神经科学:皮层柱层状微环路中类注意力计算基序的假设性映射

《Cognitive Neurodynamics》:The neuroscience of transformers

【字体: 大 中 小 】 时间:2026年10月09日 来源:Cognitive Neurodynamics 4.5

编辑推荐:

  神经科学长期以来为人工神经网络(artificial neural networks, ANNs)的发展提供了启示,但现代架构的成功反过来又引出了逆向问题:现代网络能否教会研究人员关于大脑功能的经验?在此,研究人员检视了皮层柱的结构,并提出Transforme

  
神经科学长期以来为人工神经网络(artificial neural networks, ANNs)的发展提供了启示,但现代架构的成功反过来又引出了逆向问题:现代网络能否教会研究人员关于大脑功能的经验?在此,研究人员检视了皮层柱的结构,并提出Transformer为皮层微环路组织的多个要素提供了一种自然的计算类比。研究人员并非主张皮层中字面化地实现了Transformer方程,而是发展了一种Transformer运算与皮层层状特征之间的假设性映射,并将该类比作为分析与讨论的定向框架。这一映射使研究人员能够更深入地检视情境选择、内容路由、递归整合与层间变换如何在皮层环路中分布。借此,研究人员生成了关于层状特化、情境调制、树突整合、振荡协调及皮层柱有效连接性的一系列预测和可实验检验的假说。该提议旨在作为一种结构化假说,而非皮层计算的确定性解释。将Transformer运算与皮层构筑学置于共同的描述性框架中,能够锐化问题、揭示新的功能对应关系,并为系统神经科学与现代人工智能之间的双向交流开辟富有成效的路径。更广泛而言,这一视角表明,在计算组织层面比较大脑与架构能够为两者带来真正的洞见。
**研究背景与问题**

神经科学长期为人工神经网络(artificial neural networks, ANNs)提供概念启发,但Transformer等现代架构的成功引出反向问题:现代网络能否揭示大脑功能原理?传统比较常将整个皮层区域等同于深度网络的单一"层",将皮层柱内丰富的层状结构压缩为同质单元集合,忽略了层状微环路的功能意义。标准深度网络以前馈为主,而皮层具有密集递归连接、脉冲通信与复杂树突整合。Transformer以自注意力(self-attention)机制实现上下文依赖的信息路由,其乘法交互虽与神经科学中的增益调制、门控概念相关,但未成为主流架构原则。两方面日益脱节,亟需在共同描述框架下比较大脑与人工架构。

**研究内容与意义**

研究人员提出皮层柱可能实现类Transformer计算基序:将token定义为超柱(hypercolumn)的瞬时高维群体向量,将Transformer块定义为同一超柱内的垂直层状微环路(L4→L2/3→L5)。建立假设性映射:值(Value, V)对应L4→L2/3前馈通路,键(Key, K)对应L2/3水平侧支,查询(Query, Q)对应L1顶端树突的上下文反馈;有序计算为Q-K兼容性→竞争性归一化→Value加权,即softmax(QK?)V。该映射生成关于层状特化、情境调制、树突整合、振荡协调及皮层柱有效连接性的可检验预测,为系统神经科学与现代AI的双向交流提供结构化假说框架。

**关键方法**

该研究为理论性论文,无实验样本队列。主要方法包括:(1)概念性映射分析,将Transformer组件与皮层层状结构逐一对应;(2)基于已知皮层微环路解剖与生理证据(如丘脑外侧膝状体(lateral geniculate nucleus, LGN)投射仅占突触的10–15%、L2/3水平侧支分布、L5顶端树突整合特性)进行约束性推理;(3)数学形式化描述跨模块层级变换与局部递归更新;(4)生成可证伪预测以指导实验设计。

**研究结果**

**大脑与人工神经网络**:通过回顾ANN发展史指出,早期模型受大脑启发,但ImageNet时代的高性能模型依赖规模扩展与工程简化;皮层与标准ANN在递归连接、脉冲通信、树突整合等方面存在本质差异,被省略的生物学特征可能对鲁棒性、能效等至关重要。

**Transformer架构带来的革命**:Transformer以自注意力取代递归/卷积骨干,成为序列处理、视觉与多模态集成的主导架构;其引入的计算基序不直接对应传统脑-模型差异清单,导致计算神经科学与前沿ANN研究日益脱节。

**大脑中的Transformer**:提出核心映射:token=超柱瞬时群体向量,块=超柱内层状微环路;V=前馈通路、K=水平侧支、Q=上下文反馈。该映射是组织性假说而非字面实现主张。

**Transformer计算基序的概念入门**:阐明自注意力与经典ANN/RNN的差异;强调Q-K匹配、竞争性归一化、Value加权的非结合性顺序是生物映射必须保持的参考计算。

**映射的要素**:主张ANN的"层"应对应于多个皮层板层及递归环路构成的模块;超柱群体向量为token,层状电路为更新token的块;通过长程切向投射访问邻近超柱token状态。

**通过物理递归实现自回归**:人工Transformer通过外部记忆缓冲实现算法递归,而皮层通过L5/6至L2/3/4的结构性反馈环路维持自指涉时间状态;层级深度与递归时间是不同维度。

**详细梳理**:LGN→L4构建输入嵌入;L2/3实现多头注意力样运算,经验塑造的水平连接提供Q-K兼容性先验;L5锥体神经元顶端树突整合远端情境输入实现门控;抑制性环路实现竞争性归一化。

**门控操作的生物物理微观机制**:网络尺度上,Q-K兼容性先验嵌入L2/3长程切向权重,γ波段相位对齐作为匹配的动力表达;细胞尺度上,NMDA/树突钙事件生成兼容性信号,抑制环路归一化后调制Value流。

**堆叠实现了什么?**:皮层层级双向连接使高层反馈不仅调制低层活动水平,更重构低层模块内的交互结构(即门控其注意力),改变输入绑定与关系强调。

**学习与可塑性**:需两类局部学习规则:输入驱动的Value表征构建与巧合依赖的Q-K对齐可塑性;L5树突区室化提供局部资格信号;早期感觉区依赖经验先验,联想区需持续细化Q-K对齐。

**讨论与结论**

讨论提出实证路径(如威斯康星卡片分类测验(Wisconsin Card Sorting Test, WCST)可分离Q/K/V通路)、递归连接的时间支架角色、脉冲模型构建需求、Brodmann细胞构筑差异反映路由侧重、基底节环路门控功能区分等,并与神经元-星形胶质细胞注意力、Spikformer、L6b注意力理论及海马Transformer样环路等替代方案对比。

结论翻译:研究人员提出哺乳动物皮层可能通过层状与递归组织实现类Transformer计算基序;该提议非宏大一般理论,而涉及环路级构建模块,许多指派可能不完整或过于简化,皮层板层与Transformer组件的对应将随区域和任务变化。核心假说为:皮层微环路可能实现有序的上下文依赖路由,其中Query-Key兼容性在调制Value相关活动之前被计算并归一化。该提议产生具体的计算与实验检验,并可能加深人工网络研究与系统神经科学之间的交流。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号