基于生物约束的新皮层计算基元在神经形态硬件上的实现提升视觉Transformer性能

本项研究开创性地将实验验证的生物皮层微环路（sWTA）计算机制嵌入神经形态硬件（TrueNorth）与视觉Transformer（ViT）架构，证明了神经形态计算基元（PV/SST/VIP/LAMP5介导的抑制机制）可提升AI模型的泛化能力约20%并降低训练成本，为NeuroAI领域提供了从生物机制到硬件实现的完整技术路线。

　　

生物基础的新皮层计算基元在神经形态硬件上的实现

理解大脑的计算原理并将其转化为神经形态硬件和现代深度学习架构，对于推进神经启发人工智能（NeuroAI）至关重要。本研究通过开发实验约束的生物物理现实模型，探索了小鼠初级视觉皮层（2至3层）中四种主要中间神经元类别——小清蛋白（Parvalbumin, PV）、生长抑素（Somatostatin, SST）、血管活性肠肽（vasoactive intestinal peptide, VIP）和LAMP5——在竞争-合作模式中如何相互作用以实现软赢家通吃（soft winner-take-all, sWTA）电路动力学。

Significance

研究团队在神经形态硬件和AI架构中实现了生物基础的皮层电路模式，展示了通过细胞类型特异性的软赢家通吃（sWTA）动力学实现的实验信息新皮层计算如何增强人工智能。PV提供前馈抑制，SST提供反馈抑制，VIP提供去抑制，LAMP5实现增益归一化，捕捉了皮层增益控制和竞争过滤的核心机制。硬件实现展示了计算时间随负载的线性缩放，与模拟的二次缩放形成对比。作为视觉Transformer中的固定预处理模块，该模式提高了分布外泛化约20%，并通过增强特征选择性降低训练成本，无需额外数据或架构更改。这些发现建立了连接皮层计算与节能神经形态硬件及鲁棒AI的可扩展路线图。

Abstract

研究通过基于体外生理学的电导网络，证明该电路模式选择性地放大强输入同时抑制（而非消除）弱输入，实现增益调制、信号恢复和上下文依赖的多稳态性。使用增益匹配策略，将模式映射到IBM的TrueNorth神经形态芯片上，揭示了细胞类型特异性角色与硬件基元之间的原则对应关系。sWTA模块的稀疏耦合产生持久上状态和近似工作记忆的两状态神经机器。随后将sWTA电路作为预处理过滤器嵌入视觉Transformer，显著增强了跨多种任务的分布外泛化，包括零样本数字分类、数字数据集间的跨域转移以及夜间语义分割。sWTA过滤器将未见数据上的准确性提高达20%，并通过引导学习朝向显著特征减少训练计算，无需额外数据或架构更改。通过统一生物物理基础电路模型、神经形态实现和最先进的AI架构，本工作概述了将皮层计算嵌入下一代NeuroAI系统的可推广路线图。

研究背景与动机

机器学习和神经科学的近期进展推动了构建认知AI系统的努力。视觉Transformer（ViT）和大型语言模型现在在广泛任务上实现了最先进的性能。然而，即使最强大的模型在陌生环境中仍然挣扎，需求比生物大脑多几个数量级的数据和计算资源。例如，ViT在分类方面表现出色，但在泛化到新颖或噪声输入时缺乏哺乳动物视觉系统的效率和鲁棒性。这种明显的不对称性强调了更需要生物基础的AI架构——这一方向我们定义为NeuroAI，旨在统一神经科学和AI的核心原则。

大脑中的认知灵活性源于新皮层中的典型微环路，其中兴奋性锥体神经元和多样抑制性中间神经元在分层模块化架构内相互作用。在感觉皮层中，锥体神经元在关键中间神经元类别（PV、SST、VIP和LAMP5表达神经胶质样细胞）的调节影响下整合自下而上和自上而下的信号，各自介导不同的计算角色包括增益控制、去抑制和归一化。在这些电路归因的循环计算模式中是赢家通吃（WTA）机制，其中较强输入被放大而较弱输入被抑制，实现竞争选择和噪声过滤。然而，与理想的“硬”WTA模型不同，皮层电路通常实现软WTA（sWTA）机制，保留非主导神经元中的亚阈值活动以保持动态范围和上下文敏感性。虽然sWTA计算在方向调谐和决策制定等背景下被提出，但其生物学基础和在AI中的转化效用仍未充分探索。

几种候选计算原理被提出以解释新皮层功能，包括归一化、动态场理论、吸引子网络、预测编码、贝叶斯推断和WTA机制。其中，软WTA框架提供了生物和计算上合理的机制，通过合作-竞争相互作用结合选择性放大和噪声抑制。这些动力学被认为支撑关键皮层操作如刺激选择、增益归一化和状态维持，特别是在接收稀疏和噪声丘脑输入的浅层锥体神经元中。尽管其理论吸引力，在电路结构和生物底物水平上WTA实现的直接证据仍然有限。

重要的是，sWTA动力学与神经形态工程的约束和目标自然对齐，后者寻求在节能硬件中模拟类脑计算。在现有平台中，IBM的TrueNorth（TN）芯片为这种集成提供了引人注目的底物。TN特征包括大规模并行、异步数字神经元和突触阵列，具有整数值参数（阈值、泄漏率、突触权重），优化用于实时、低功耗、事件驱动计算。虽然先前努力专注于神经群体活动的统计抽象，将生物物理基础的皮层模式转化为TN的离散参数空间仍然是一个开放挑战。

研究方法与结果

生物物理模型实现新皮层电路模式

感觉处理在初级视觉皮层（V1）中要求层2/3（L2/3）锥体神经元整合自下而上丘脑输入与来自更高皮层区域的自上而下上下文反馈。这种整合通过循环兴奋和四种主要抑制性中间神经元类别——PV、SST、VIP和溶酶体相关膜蛋白5（LAMP5）——动态调节，每种针对不同的亚细胞区室并执行专门的计算角色。PV细胞提供胞体周围前馈抑制；SST介导树突反馈抑制；VIP瞬时去抑制SST；LAMP5通过体积抑制施加全局增益归一化。该框架建立在皮层计算的经典理论之上，并整合了抑制亚型专业化的最新进展。

体外记录确认L2/3锥体神经元在自下而上感觉刺激期间接收强大抑制。为了剖析中间神经元特异性贡献，在PV-Cre和SST-Cre小鼠中进行光遗传学扰动，同时在锥体细胞中记录f–I响应。在直接电流注入期间，PV激活诱导f–I曲线的减法和除法偏移，而SST主要减少增益——反映它们不同的抑制计算。通过量化峰值振幅、上升时间（20至80%）和半峰全宽（FWHM）在–45 mV保持电位下，进一步表征PV和SST中间神经元引起的抑制性突触后电位（IPSPs）。这些生物物理测量然后用于约束模型中实现的突触动力学。解剖追踪显示自上而下或上下文信息如到V1的听觉输入优先靶向LAMP5表达神经胶质样细胞，支持它们在上下文调制中的作用。虽然VIP活动未直接测定，先前工作暗示它们在状态依赖门控期间去抑制SST介导的反馈。我们在NEURON中实现了基于电导的模型，纳入Hodgkin–Huxley动力学、亚型特异性突触动力学和实验约束参数。锥体神经元在变化抑制机制下接收泊松分布兴奋性输入。PV调制阈值和增益，SST塑造斜率，LAMP5实现输入-输出函数的除法归一化，VIP去抑制建模为瞬时SST抑制。

为了评估电路级动力学，构建了简化微环路模式，包括10个锥体神经元、10个PV中间神经元、一个SST中间神经元和一个LAMP5中间神经元，使用实验约束参数。虽然抽象了真实的80至90%兴奋性组成和VIP细胞的普遍性，这种简化配置实现了机制模式可追踪性，允许针对性剖析不同抑制亚型如何塑造涌现计算。在分级丘脑样输入下，网络展示标志性sWTA行为：强烈驱动神经元被选择性放大，而较弱神经元被衰减但未被消除。这种动态镜像竞争-合作皮层过滤器的经典模型，现在在生物物理约束、亚型解析电路中实现。该架构通过循环兴奋和结构化侧抑制再现皮层动力学核心特征。强烈驱动神经元（例如Pyr 4）被选择性增强，而邻近神经元（例如Pyr 1至3, 5至7）被抑制。利用最小但功能不同的抑制亚型，剖析了它们的贡献：PV通过快速胞体周围抑制锐化空间竞争；SST调制树突增益；LAMP5介导非选择性全局归一化。虽然VIP被省略，这种抽象阐明了基本电路元素如何支持竞争计算和调谐选择性。这些结果显示软竞争——定义性皮层属性——可以从协调抑制专业化在生理现实网络中产生。

通过参数化变化突触电导在生理现实范围内，量化了每种抑制亚型在塑造锥体输出和电路级动力学中的不同计算角色。PV中间神经元施加快速胞体周围抑制，锐化锥体神经元调谐并减少输入-输出（I–O）函数的增益。SST中间神经元，靶向远端树突，抑制扩散兴奋性输入并通过调制循环放大增强响应选择性。LAMP5中间神经元实现全局增益控制机制，灵活缩放输出而不改变调谐宽度，实现动态范围适应。为了评估网络的计算保真度，基于对紧密调谐输入的差异响应定义了选择性指数。高选择性仅当循环兴奋被PV和SST介导抑制精确平衡时出现。LAMP5抑制通过缩放输出范围调整这种平衡同时保持调谐精度，提供自适应增益控制机制，支持在感觉噪声、上下文变异性和分布偏移下的鲁棒表示。

超越增益调制和选择性，询问电路是否支持多稳态性，竞争皮层动力学的标志。为了测试这点，应用短暂不对称输入到Pyr 3或Pyr 7，随后均匀驱动跨所有锥体神经元。尽管相同持续输入，网络一致地沉降到不同激活状态，放大初始偏置神经元同时抑制其他。如所示，轻微瞬态偏置向Pyr 3可靠地 destabilized Pyr 7中心吸引子并诱导新稳定状态 dominated by Pyr 3。这些状态切换源于循环兴奋和PV/SST介导抑制之间的非线性相互作用，锐化竞争并稳定主导表示。这种动态机制实现快速歧义消除和维护离散、上下文敏感表示，同时提供生物基础底物用于吸引子动力学、分类选择和状态依赖计算在皮层网络中。这些属性平行工作记忆、决策制定和感觉选择的模型。

总之，这些结果突出了细胞类型特异性抑制在塑造皮层计算中的关键角色。PV和SST细胞强制执行稀疏和选择性竞争，而LAMP5细胞调节动态范围。这种功能角色的划分强调了抑制和兴奋的平衡如何支配线性和非线性响应变换的出现。这些发现捕捉了底层灵活高保真计算在新皮层中的电路逻辑。不同于先前sWTA模型依赖抽象速率单元或简化架构，我们的框架嵌入实验信息电路模式到基于电导、生物约束网络。每种抑制类别被分配不同角色并通过硅扰动测试。这实现了映射分子定义中间神经元到离散计算操作，揭示sWTA动力学可以从它们的协调相互作用中出现。

这些发现建立了机制完整、实验基础的皮层微环路，精炼了增益控制和竞争的经典理论，同时对齐新兴框架强调抑制多样性和动态处理。我们的结果表明皮层计算源于非未分化抑制，而是来自专门抑制微环路的结构化协调。

映射新皮层计算基元到IBM TN神经形态硬件

为了在IBM TN上实现sWTA模式，一种典型皮层计算实现选择性放大同时保持表示稳定性，开发了自动参数映射算法，翻译生物物理模型属性到TN的离散神经形态空间。TN神经元操作具有二进制突触、整数阈值、泄漏和重置动力学，特征没有直接生物物理类比。为了桥接这种失配，构建了基于速率和生物物理模型，捕捉皮层锥体神经元的输入-输出（I–O）特性，并推导增益匹配变换映射这些函数到TN参数，产生突触权重、阈值和泄漏项保持电路级动力学。TN阈值（θ）对应PV介导前馈抑制，泄漏（λ）对应LAMP5介导强直抑制。

配置片上TN神经元生成分级输入频率，实现精确增益匹配与抽象和生物物理模型。电路连接性分布跨TN神经突触核心以复制皮层模式，包括SST样全局反馈和VIP介导去抑制。后者通过调制兴奋性到SST突触权重实现，捕捉计算等价性而非细胞类型特异性。在收缩理论指导下，推导了稳定TN配置支持标志性sWTA行为，包括增益调制、输入恢复和多稳态性。

sWTA动力学未被硬编码；它们从翻译实验基础传递函数和连接性到神经形态底物中涌现。仅PV和SST的f–I曲线匹配数据；高阶行为，包括吸引子样转移和噪声鲁棒性，从闭环相互作用中出现 among增益缩放兴奋和抑制群体。一旦部署，TN网络选择性放大强输入同时抑制较弱输入，紧密镜像L2/3锥体神经元的发放率和动态范围，并且它对突触和尖峰定时噪声保持鲁棒。

扩展实现到完全尖峰动力学通过映射10神经元兴奋性TN群体与共享抑制。该电路在阈值掩模噪声（TMN）下保持sWTA行为，稳定动力学在体内样条件。耦合模式产生持久~500 ms上状态，形成最小双稳态工作记忆吸引子，持续时间直接缩放与耦合强度并保持鲁棒到TMN。执行时间基准展示了高效缩放：计算时间线性增加与可表示状态数，对比传统模拟的二次增长。

总之，TN实现显示生物可解释皮层动力学可以在资源约束神经形态底物上可靠操作。通过利用实验约束参数和最小架构调谐，网络产生涌现计算统一鲁棒性到噪声、缩放效率和可解释性根植于细胞类型特异性生理学——建立从皮层机制到神经形态功能的原则路线图。

新皮层启发WTA实现用于AI应用

嵌入生物基础sWTA模块，源于实验约束新皮层微环路，作为固定前端在ViT和其他深度架构（ResNet, EfficientNet, CapsuleNet）。应用在补丁嵌入之前，sWTA通过PV样对比缩放、SST样侧平均和LAMP5样除法增益归一化重新加权输入。这些操作，实现为滑动窗口卷积，参数化使用生理验证传递函数。

不同于静态归一化（例如z评分、平均或最大池化），sWTA执行动态、上下文敏感过滤，放大高方差补丁同时抑制干扰物。这增强显著“赢家”补丁，减少冗余，并稳定表示。无需额外训练，sWTA装备ViTs改进零样本准确性约20%在修改国家标准与技术研究院（MNIST）到街景门牌号码（SVHN）和MNIST到MNIST-M，并泛化跨架构与冻结ImageNet权重。对于语义分割，增强RefineNet（ResNet-101）与sWTA改进夜间场景解析在BDD100K，提高平均IoU从34.1到36.5在低光破坏下。

机制上，UMAP投影显示sWTA重组潜在表示到紧凑、域对齐簇，不同于扩散或错位嵌入由传统归一化产生。这些结构化流形涌现无需基于梯度学习并镜像皮层白化和群体级去相关。关键地，效应从输入重新加权中出现由结构化抑制驱动。这样，sWTA作为生物基础归纳偏置 on表示几何促进跨域泛化。

为了隔离电路级贡献，针对性消融SST和LAMP5在MNIST到MNIST-M转移期间显示准确性峰值在中间SST增益（k = 3.0）当LAMP5完整但下降约10%当LAMP5移除，指示互补角色。SST通过抑制侧兴奋精炼选择性，而LAMP5通过广泛除法归一化稳定竞争；最优泛化要求平衡增益。类似趋势出现在MNIST-M到MNIST具有更大变异性。虽然VIP细胞未记录实验，它们的去抑制影响 onSST建模一致与建立模式。因此，泛化反映协调集成抑制模式功能作为可调谐、生物基础先验 for域转移。

在真实世界扰动（Tiny ImageNet-C; 200类, 15破坏, 5严重性）下，sWTA一致 outperformed匹配基线 for高严重性光度破坏（例如雾、对比度），增益峰值在严重性3至5。益处减少 for遮挡和基于尺度破坏（例如雪、弹性变换），一致与像素级显著性调制。这些结果扩展sWTA超越数字识别并支持更广泛假设 that结构化皮层样抑制赋予鲁棒性 under分布偏移。

所有增益实现无需反向传播、微调、任务特定适应或超参数调谐。作为即插即用皮层基元，sWTA重新分配计算朝向显著输入，实现更小模型竞争或超越更大基线。集成实验基础微环路到ViTs和相关架构推进NeuroAI通过模块化、可解释、生物约束计算，建立可扩展归纳先验连接皮层计算到鲁棒AI。

讨论

我们的工作证明sWTA动力学，源于生物基础层2/3视觉皮层模型，可以在神经形态硬件上实例化以再现基本皮层计算，包括两状态神经状态机。利用这一原理，构建了全栈NeuroAI管道：从皮层数据提取典型计算，在尖峰硬件中模拟它，并嵌入它到深度学习架构。这种方法验证sWTA不仅作为抽象计算模式而且作为生物约束、实验基础计算基元增强AI系统的鲁棒性、选择性和能量效率。我们的发现扩展经典理论工作 on sWTA模型通过 grounding计算基元在细胞类型特异性电路机制并验证它跨生物、神经形态和机器学习领域。

首先，构建了基于电导的皮层微环路模型使用Hodgkin–Huxley类型神经元和经验约束突触动力学 from初级视觉皮层（V1）。锥体神经元之间强循环兴奋，耦合与亚型特异性抑制反馈 from PV和SST中间神经元，产生标志性sWTA行为：主导输入被选择性放大，而较弱输入保持活跃但被抑制。分配机制角色到四种主要抑制类别：PV细胞主要偏移响应阈值（偏移）并调制增益，SST细胞控制输入-输出函数的斜率，LAMP5表达神经胶质样细胞提供全局除法归一化通过广泛强直抑制，和VIP中间神经元瞬时去抑制电路通过减少SST介导抑制。这些功能归因可能不排他——每种中间神经元类别可能贡献到多个电路操作；例如，PV细胞也参与反馈抑制通过局部循环连接性。这些角色通过扰动模拟确认并一致与建立实验发现。虽然生物现实，模型当前缺乏可塑性和交叉抑制调制，特征可以支持自适应调谐和更丰富动态机制在生物和人工上下文中。

第二，实现该电路模式在IBM的TN神经形态芯片上使用增益匹配框架翻译连续生物物理动力学到离散硬件参数。先前神经形态系统展示了卷积和尖峰神经网络效率 for构建人工代理，最显著混合Tianjic平台。我们的方法提供互补进步：而非优化架构 solely for任务性能，我们从生物基础、细胞类型特异性模式开始并显示它可以忠实实现在约束硬件上。尽管芯片约束架构，具有量化、非塑性突触和可编程但非自适应神经元参数（例如泄漏电导和阈值），实现紧密对应在输入-输出函数跨神经元类型。硬件实现也保持关键电路现象，包括选择性放大、信号恢复和多稳态性。构建两模块系统与互惠抑制，实现简单吸引子基于工作记忆单元与离散状态转移，行为经常归因于皮层决策电路。然而，TN缺乏支持片上学习或可塑性，要求静态参数和排除在线适应。现代神经形态系统 such as Intel的Loihi2, BrainDrop, Akida, and SpiNNaker2支持片上学习机制 like尖峰定时依赖可塑性、动态权重更新和事件基于适应。未来实现在这些平台上可以允许sWTA模式适应实时 to变化上下文或任务需求，更紧密近似皮层计算。

第三，集成sWTA层到标准视觉Transformer架构作为不可训练预处理模块。该层作为生物启发自适应过滤器，优先化主导输入并抑制弱、噪声特征。不同于常规最大池化，静态选择最高局部激活，sWTA实现动态竞争-合作相互作用通过反馈抑制和增益调制。这允许选择性放大信息特征同时主动抑制背景噪声，导致更丰富和更可泛化表示。跨分布外图像分类任务（例如旋转和破坏数字、跨域CIFAR-10/CIFAR-100），添加sWTA过滤器改进测试准确性达21%相对基线模型无需任何微调或再训练。这些增益 solely从架构偏置中出现并一致跨多个初始化种子。集成sWTA到ViT增强特征选择、锐化归纳偏置并改进鲁棒性到域转移。未来工作使用注意力图可视化和表示相似性分析可以进一步阐明这些增益的计算基础。而且，通过增强特征选择性早在处理管道中，模型要求更少训练轮次收敛，从而减少总体计算需求。这些结果显示即使固定功能神经模块，当生物约束时，可以作为有效归纳先验 for现代机器学习。

为了剖析电路机制实现灵活计算和域泛化，进行针对性模拟隔离特定抑制亚型的角色。鲁棒和可转移皮层计算要求精确调谐SST介导增益和完整LAMP5介导强直抑制。系统操作这些组件揭示非线性、协同相互作用 between快速、输入驱动抑制和较慢稳定控制 in支持跨域泛化。泛化性能峰值在中间SST增益在完整模型中。对比地，它崩溃当LAMP5消融，尽管相同SST调谐，揭示鲁棒泛化依赖它们的协调功能而非孤立效应。虽然SST电路动态门控感觉输入，LAMP5中间神经元维护表示稳定性 under分布偏移。这种劳动划分揭示基本计算原理：鲁棒转移涌现非从冗余，而是从结构化异质性 within抑制微环路。这些发现不仅重现实验结果 from中间神经元亚型消融但也引入定量建模框架 for理解分层抑制如何赋予域韧性——洞察具有广泛影响 for both皮层计算和生物基础AI。关键地，它们显示生物现实主义， down to亚型特异性抑制动力学，非仅仅解剖细节但是计算必要性 for实现灵活和可泛化智能。

为了确保机制清晰度，我们的模型使用简化尺度电路模式实现精确评估抑制亚型功能。尽管这种简化，核心sWTA动力学，包括竞争、增益控制和归一化，保持鲁棒跨生物合理发放率机制。这些设计选择支持可解释性并加强我们框架的可泛化性和功能有效性。

在我们评估AI基准中，sWTA模块保持优越或可比性能 to基线模型。这些结果确认WTA电路增强视觉鲁棒性 in挑战性、分布外条件——镜像生物感知的韧性。虽然我们未直接记录 fromVIP中间神经元在本研究中，实现去抑制连接 fromVIP神经元到SST中间神经元基于建立解剖和生理发现，一致描述这种相互作用作为核心皮层机制 for抑制增益调制。在未来工作中，我们计划记录 fromVIP神经元 under行为相关和奖励调制条件以经验测试它们的贡献 to皮层状态转移和门控动力学。

重要地，模型区分 between电路特征直接约束 by实验数据和那些从架构本身涌现。SST介导增益调制和PV介导偏移参数化调谐以再现经验偏移 in锥体f-I曲线。对比地，sWTA动力学，以及状态维护和转移在神经状态机器中——自然涌现 from循环兴奋-抑制架构。这些涌现动力学验证抑制控制和循环计算的基本原理并建立生物基础桥接亚阈值细胞机制和系统级皮层功能。

我们的发现证明sWTA动力学，实现通过结构化抑制多样性和增益控制，形成机制底物 for鲁棒、域通用皮层计算。使用生理基础电路模型，显示特定抑制模式，特别是PV-、SST-和LAMP5介导反馈，支持多稳态动力学、选择性放大和上下文依赖泛化。这些计算非从架构调谐 alone出现。相反，它们依赖精确相互作用 among抑制亚型平衡灵活性和稳定性跨输入域。

汇聚证据 from近期大规模解剖和建模研究加强生物合理性和功能显著性 of this框架。电子显微镜重建 by ref. 62显示密集反馈环路在层5 of小鼠视觉皮层，其中兴奋性神经元优先靶向抑制细胞投射回到相同兴奋性池。这种模式重现竞争环路形式化 in我们的模型中。类似地，数据约束模拟 by ref. 63显示V1基础架构与循环抑制模式 outperformed标准卷积神经网络 in鲁棒性到噪声和时间变异性。然而，不同于先前研究强调架构相似性，我们的工作识别精确电路级机制 of结构化抑制、多稳态性和增益调制 that驱动可转移皮层计算。

总之，这些发现定位sWTA微环路非作为偶然解剖特征，而是作为生物基础计算基元。通过连接抑制架构到功能泛化，我们的研究桥接细胞神经生物学和系统级计算，建立原则框架 for自适应智能跨生物和人工系统。嵌入这些实验约束模式到节能神经形态硬件，我们定义即插即用架构连接皮层微环路动力学到可扩展机器智能。我们显示sWTA——典型皮层计算——可以实例化跨生物、神经形态和深度学习平台。基础在实验信息抑制模式（PV, SST, VIP, LAMP5），我们的模型翻译微环路机制到功能操作。增益匹配框架实现忠实神经形态实现，而固定集成到ViT改进泛化无需再训练。这些结果定义模块策略 for嵌入神经生物先验到AI，演示结构化抑制反馈如何赋予鲁棒性、能量效率和上下文敏感性——下一代NeuroAI的标志。