从体外到体内:双向且高精度地生成体外和体内的神经元脉冲数据 下野正典(Masanori Shimono)

《Algorithms》:In Vitro to In Vivo: Bidirectional and High-Precision Generation of In Vitro and In Vivo Neuronal Spike Data Masanori Shimono

【字体: 大 中 小 】 时间:2026年04月14日 来源:Algorithms 2.1

编辑推荐:

  摘要 翻译神经科学依赖于体外切片记录和体内记录。它们的自发群体动态在截然不同的条件下被观察,而且在独立实验之间通常没有明确的神经元间对应关系。在这里,我们制定了一个一步预测的、1毫秒分箱的双向传输任务,用于体外和体内的多神经元脉冲列之间,并提供了一个标准化

  摘要 翻译神经科学依赖于体外切片记录和体内记录。它们的自发群体动态在截然不同的条件下被观察,而且在独立实验之间通常没有明确的神经元间对应关系。在这里,我们制定了一个一步预测的、1毫秒分箱的双向传输任务,用于体外和体内的多神经元脉冲列之间,并提供了一个标准化的评估程序,以便在不同记录准备条件下进行生成。我们在1毫秒分箱的128单元二进制序列上训练了一个自回归变换器,并引入了Dice损失来直接优化极端类别不平衡下的脉冲事件重叠情况,将其与二元焦点交叉熵(γ = 2.0)进行比较。在12个小鼠数据集(6个体外HD-MEA会话和6个体内Neuropixels会话)中,该方法在领域内表现强劲,并且在跨领域生成时仍高于随机水平(体外到体内的ROC-AUC为0.70 ± 0.09;体内到体外的ROC-AUC为0.80 ± 0.10)。由于脉冲事件很少见,我们报告了精确度-召回率曲线和PR-AUC,以反映少数事件的质量。目前的结果应被解释为在准备/领域转换下的预测生成,而不是直接证明保留了因果生物学动态;该框架是否也反映了诸如E/I平衡或振荡结构等特征,仍然是未来验证的重要问题。据我们所知,这是首次在不假设细胞对应关系的情况下,实现体外和体内群体脉冲列之间的双向、时间分辨的生成,而且当定义了特定领域的验证标准时,该框架可以适应其他稀疏神经事件数据和相关基于事件的数据集。

1. 引言
神经系统通过神经元的脉冲活动来传递信号和执行计算。为了理解信息是如何在大规模群体层面编码的,描述许多神经元相互作用产生的时空“配方”是至关重要的。即使没有明确的认知任务,大脑也会表现出自发性活动。在发育过程中,积累的经验和内部约束塑造了这种持续的活动,嵌入了一系列潜在的模式,当外部输入出现时可以迅速调用这些模式[1,2]。然而,正是因为自发性活动丰富且不与外部事件时间锁定,它经常被视为“噪声”,其逐时的演变仍然难以预测和在不同环境中进行比较[1,3]。从这个意义上说,自发性活动可能携带了个体过去经验的压缩痕迹,但由于其复杂性,建模仍然很困难。群体动态不是任意的:它们受到宏观和中观连接结构的约束。大规模的解剖学和功能连接组学已经明确了皮层中结构与活动之间紧密相关但非平凡的关系[4,5,6,7]。补充的网络级分析进一步量化了结构-功能耦合如何随空间和时间变化,强化了自发性动态由解剖学支架塑造的观点[6,7]。此外,有时可以从活动时间序列中推断出有效的相互作用,这意味着部分可预测的动态模式可能嵌入在自发性波动中[8,9]。从翻译的角度来看,一个核心挑战是在一种记录准备下学到的动态规律是否可以推广到另一种准备。与之前神经序列建模中强调的同一准备内的设置相比,体外和体内之间的传输面临更大的复合变化:大脑状态和非平稳性不同,噪声和伪影结构(包括脉冲排序偏差)发生变化,发射率和稀疏性制度也发生变化,通常没有神经元间的对应关系或配对试验来锚定映射。尽管如此,体外准备允许控制操作和稳定的记录条件,而体内记录则捕捉了完整、活跃的生物体的动态;量化这些制度之间的联系可以为下游分析提供可重复使用的桥梁,并为协调实验设计提供信息[10,11]。最近的序列模型现在能够在没有明确刺激的情况下捕捉群体脉冲,表明即使在没有明确刺激的情况下也存在可转移的动态模式[12]。基于变换器的神经数据模型(例如NDT、STNDT、NDT2)进一步实现了对分箱脉冲列的有效并行建模,并且通常通过在共享的记录上下文中进行重建、预测或解码来进行评估(相同的准备、受试者/会话或密切相关的任务)[13,14,15]。然而,跨准备传输在一步预测/生成设置中仍然相对较少被量化,尽管它有潜力超越单一数据集或实验室设置进行推广。

我们总结我们的贡献如下:
我们制定了一个双向的、一步预测的、1毫秒分箱的体外和体内群体脉冲列之间的传输任务,并描述了一个标准化的评估程序,用于跨准备生成。
我们使用自回归变换器实现了一个具体的实例,用于稀疏二进制事件,并在极端类别不平衡的情况下将Dice损失与二元焦点交叉熵(γ = 2.0)进行比较。
我们报告了基于ROC和PR的指标(ROC-AUC、精确度-召回率曲线和PR-AUC),用于在极端稀疏情况下的预测/生成。详细的超参数扫描和计算-准确性权衡在补充材料中报告。
我们阐明了数据分割/独立性和128神经元标准化程序,并提供了补充材料以确保可重复性和额外分析。

图1提供了本研究中使用的数据集概览。图1a展示了体外电生理实验的设置。一个大脑急性切片放置在电极上,用人工脑脊液(ACSF)灌注,并持续通入富氧气体,同时记录神经活动。图1b展示了体内电生理实验的设置。在这种情况下,电极被插入活体小鼠的目标脑区以测量神经活动。

图1. 本研究中使用的数据集示意图。(a,b)分别展示了左侧面板中的体外数据和右侧面板中的体内数据。(c,d)指示了体外和体内实验期间记录的脑区。这些面板显示了代表每个记录脑区的缩写名称。这些缩写的含义及其对应的特定脑区在表1中进行了总结。(e,f)表示从每个脑区随时间获得的二维神经活动数据,单个方块对应于不同时间点的神经活动。蓝色箭头展示了每个实验中生成的模式对。在(e,f)中,蓝色箭头表示从源数据自动生成,以及向其他区域的生成(自我到自我和其他)。此外,还展示了体外和体内数据之间的实验间生成路径,特别是体外到体内和体内到体外的生成,如(e,f)中相互连接的蓝色箭头所示。本研究中使用的记录脑区和缩写在表1中进行了总结。表1. 对应于实验数据的脑区列表。体外数据由Shimono实验室获得,记录来自左大脑半球的多个区域。相比之下,体内数据由Dora Angelaki实验室、Thomas Mrsic-Flogel实验室和Sonja Hofer实验室收集,涵盖了广泛的脑区,包括运动皮层、视觉皮层、海马体和杏仁核。

更多参考信息,请参见https://viz.internationalbrainlab.org/app?spikesorting=ss_2024-05-06&dset=bwm&pid=9915765e-ff15-4371-b1aa-c2ef1db8a254&tid=5&cid=388&qc=1(主要访问时间为2025年9月至10月)。值得注意的是,对于体外和体内收集的数据集,每个数据集都是来自不同的小鼠,因此没有单个动物为多个数据集贡献数据,确保了数据集之间的独立性。

2. 材料与方法
2.1. 数据采集
2.1.1. 体外数据
体外数据是从C57BL 6小鼠(3-5周大)的皮层切片中收集的,使用高密度微电极阵列(HD MEAs,MaxWell Biosystems AG,苏黎世,瑞士),遵循Nakajima等人[12]和Matsuda等人[16]描述的方法。所有切片都是垂直于皮层表面切割的,切片方向的文档在参考的扩展数据(Matsuda等人[16]中的扩展数据图1-1)中进行了总结。对于MaxOne系统,相邻电极之间的距离为15微米,为会话提供了固定的空间采样网格。在组织提取之前,每只小鼠通过吸入1-1.5%的异氟醚深度麻醉。确认完全手术麻醉(无足部反射)后,通过颈椎脱位进行安乐死。然后迅速取出大脑并浸入冰冷的切割溶液中准备切片。从记录的电信号中,使用SpykingCircus软件(版本1.0.7)仔细进行脉冲排序,从而提取了大约1000个相邻细胞的神经活动数据。为了确保输入维度标准化而不假设数据集之间的细胞对应关系,我们每会话使用128个单元。具体来说,我们排除了前100个单元,然后按索引顺序连续选择接下来的128个单元,这提供了一个确定性和可重复的采样规则,同时减少了潜在的边缘相关效应。相应的数据加载和降采样代码在补充材料中提供。

在之前的研究中,皮层数据被分为16组(每个半球8组)。然而,考虑到体内数据仅来自左半球,我们相应地调整了数据集的选择。为了保持一致性和数据质量,我们将分析限制在左半球的六组体外数据(表1和图1)。为了最小化非平稳性的影响,我们排除了每个体外会话的前30分钟记录。随后的10.0分钟被分为5.0分钟用于训练,2.5分钟用于验证,2.5分钟用于测试。本研究中使用的体外数据集的详细列表在表1中提供。有关数据集的更多详细信息,请参考引用的研究[12]。如果有额外的切片级元数据,我们会报告它们;否则,我们阐明了当前数据集版本内量化切片间差异的限制。

2.1.2. 体内数据
体内数据来自国际脑实验室(IBL)的Brain-Wide Map发布[17]。在这个资源中,我们选择了被动协议中的会话,遵循IBL关于加载被动数据的文档[18],并专注于C57BL/6小鼠(15-63周大)的自发活动段。本研究中使用的体内数据记录在111天到442天之间(平均:34.43周,中位数:26.0周),基于2022年之前收集的数据。对于分析,我们关注了每个会话开始时记录的10.0分钟的自发活动。

国际脑实验室汇集了来自世界各地多个实验室的数据。在本研究中,我们选择了包含这些实验室记录的自发活动的数据集进行分析。使用的所有电生理记录都是使用Neuropixels1.0多电极探针[19]收集的。脉冲排序使用针对这种电极类型优化的运动校正的三维脉冲定位方法[20]进行。有关实验程序和提取神经活动时间序列的数据处理流程的更多详细信息,包括加载被动数据,可以在IBL文档中找到[18]。

2.2. 分析方法
研究范围和整合。在生物学上,我们分析了在不同准备下记录的自发群体脉冲(体外切片与体内Neuropixels会话;第2.1节)。在算法上,我们将每个会话视为1毫秒分箱的128单元二进制序列,并训练一个自回归变换器来预测/生成未来在领域内和跨领域分布变化下的箱。我们的主要贡献是这个预测生成框架及其受控评估;我们不声称发现了新的生物学机制。可解释性分析(注意力图和注意力加权重要性)作为模型行为的探索性探针进行报告,而不是决定性的生物学解释(第2.2.3节、第2.2.4节和第3.3节)。

2.2.1. 数据分割
在图2a,b中显示的体外和体内数据集中,我们提取了10.0分钟的自发活动段。脉冲时间使用1毫秒的时间箱离散化为二进制事件序列,Δt等于1毫秒,每个单元每个箱最多允许一个脉冲事件。这产生了一个输入张量,其形状为时间箱乘以单元。在整份手稿中,“时间分辨生成”指的是以1毫秒的分辨率进行一步预测:给定观察到的过去序列,模型会预测所有128个单元的下一个时间区间。原始的采集采样频率和脉冲排序流程是特定于数据集的,并在第2.1节中进行了总结,同时提供了相关的参考文献(如果有的话)。图2解释了提取数据的时间持续性和将数据划分为训练集和测试集的方法。(a,b)显示了上行的体外数据,下行显示了体内数据。对于(c)体外数据和(d)体内数据,我们提取了5分钟的数据段作为训练数据,以及两个2.5分钟的数据段作为验证和测试数据,以进行学习、验证和预测。选择体外数据或体内数据进行训练和测试的组合被分类为体外到体外、体外到体内、体内到体外和体内到体内。对于所有实验,我们将每个会话标准化为128个单元,以避免假设数据集之间存在一对一的细胞对应关系。虽然我们确认性能不受随机单元选择的影响,但我们使用了一个简单的确定性程序来确保体外和体内记录中的采样具有可重复性和空间平衡性,其中电极索引反映了空间排列。具体来说,为了减少边缘效应并获得对皮层层的代表性覆盖,我们丢弃了前100个单元,然后按索引顺序连续选择接下来的128个单元。我们在预处理部分描述了这一程序,并在补充材料中提供了相应的数据加载和降采样代码。每个10.0分钟的记录被分割成三个不重叠的部分:一个5.0分钟的训练集,一个2.5分钟的验证集,以及一个2.5分钟的测试集(图2c)。训练集用于拟合模型参数,验证集用于模型选择和超参数调整,测试集用于最终评估。这种分割方式可以避免重叠或重复评估。对于同一领域内的生成,例如体外到体外和体内到体内,训练、验证和测试数据来自单个连续的10.0分钟记录会话,并被分割成不重叠的部分:5.0分钟用于训练,2.5分钟用于验证,2.5分钟用于测试。对于跨领域的生成,例如体外到体内,训练、验证和测试数据来自完全不同的部分,如果适用的话,来自不同的记录或数据集,同样使用不重叠的分割,即5.0分钟用于训练,2.5分钟用于验证,2.5分钟用于测试。超参数选择和提前停止仅在验证部分进行,测试部分仅用于最终报告,以防止评估中的重叠或重复评估。我们的框架不采用对生成输出进行迭代重新训练,这不是因为担心模型崩溃,而是因为忠实再现原始数据特征对于实现跨数据集的直接、保持动态的比较至关重要。

2.2.2. 变换器模型和损失函数选择
主要分析模型采用了带有多头自注意力(默认配置为16个头)的变换器编码器[21],将分箱的群体脉冲列(Δt = 1毫秒)建模为稀疏的二进制事件序列。我们采用自回归方法进行训练,并使用Dice损失[22]来直接优化极端类别不平衡情况下的脉冲事件重叠,并将其与二元焦点交叉熵(γ = 2.0)进行比较。超参数选择(输入长度、深度、头数和丢弃率)是根据验证集敏感性分析以及补充材料中报告的深度消融实验(文本S1;补充图S1(验证)和S2(生成)来指导的。在体外到体外的敏感性分析中,输入长度、丢弃率和头数在测试范围内各自表现出最佳性能的设置,我们采用这些值作为默认值(输入长度 = 3125毫秒,丢弃率p = 0.1,头数 = 16)。对于编码器深度,验证性能并没有随着深度的增加而单调提高,更深的模型会增加计算成本;因此,我们采用深度 = 1作为默认值,以兼顾计算效率和稳定性,并为了透明度报告了完整的扫描结果。

2.2.3. 注意力图
为了更深入地了解变换器模型在预测生成过程中学习到的信息,我们通过结合注意力图动态和基于梯度的重要性来定量评估模型学习到的信息和预测特征。在这里,我们解释了变换器模型内部结构的相关方面。自注意力机制在自然语言处理(NLP)[21]中取得了突破性成果,被认为是变换器模型学习的核心机制。其核心是注意力图,它表示每个输入元素(标记)应该关注其他输入元素的程度。注意力图数学表达为:Attention(Q, K, V) = softmax((Q·KT)/√dk)·V。这里Q、K和V分别表示从输入序列X通过线性投影计算得到的查询矩阵、键矩阵和值矩阵:Q = X·WQ,K = X·WK,V = X·WV,其中WQ、WK和WV是学习得到的权重矩阵,(·)表示矩阵乘法。KT表示K的转置,dk是用于缩放的键维度。在这项工作中,X代表128个单元随时间(Δt = 1毫秒)变化的二进制脉冲向量序列。相似性分数S通过√dk进行缩放,并使用softmax进行归一化,得到注意力权重A。然后使用这些权重来计算V的加权和,以产生最终输出。尽管注意力图被认为在包括机器翻译[21]、文档摘要[23]和图像识别[24]在内的各种任务中至关重要,但最近的研究表明,仅靠注意力图不足以解释变换器学习[25,26]。实际上,我们的研究揭示了无法仅用注意力图解释的现象,这促使我们计算了模型的基于梯度的重要性。

2.2.4. 基于梯度的重要性和注意力加权重要性
基于梯度的重要性衡量每个输入元素对损失的影响程度。设L表示训练损失,hi,k表示时间区间i处模型输入(或嵌入)的第k个特征。我们定义元素级重要性为gi,k = |?L/?hi,k|,标记级重要性为Gi = Σk gi,k。换句话说,Gi汇总了特征维度上的梯度幅度,指示哪些输入时间区间/单元对损失影响最大。这提供了一个全局重要性分数,补充了注意力分布的信息。为了将重要性与注意力捕获的成对交互联系起来,我们将G与注意力矩阵A(查询到键的权重)结合起来,计算出注意力加权重要性:AWIi,j = Ai,j·Gj。这量化了查询位置i对也对损失有影响的键位置j的关注程度。我们使用AWI来可视化预测和生成过程中的信息交互,并在结果部分报告了统计摘要。请注意,我们在整个手稿中使用的“注意力矩阵”和“重要性”都是标准意义上的。

2.2.5. 生成数据评估方法
在测试过程中,我们使用观察到的过去测试序列作为输入,为所有128个单元在每个1毫秒的时间区间(Δt = 1毫秒)生成一步预测,同时保持训练模型的固定状态。在评估过程中,我们没有将预测的脉冲反馈到输入流中。为了评估预测的脉冲列,我们报告了ROC-AUC和精确度-召回率指标,包括PR-AUC和平均精确度,以及发射率和脉冲间隔统计。在极端稀疏的情况下,由于负样本占多数时ROC-AUC可能会过于乐观,因此特别强调了PR曲线和PR-AUC。

2.2.6. 三维空间中的网络布局优化
我们将记录站点和区域映射到三维空间中,使得欧几里得距离反映了数据集之间的转移难度。对于每一对有序的节点i和j,我们计算了一个有向转移得分scorei → j(例如,从数据集i预测数据集j的ROC-AUC)。然后我们形成一个对称的相似性sij = 0.5·(scorei → j + scorej → i),并通过逆变换dij = sij?1 ? 1将其转换为不相似性,使得完美的转移对应于dij = 0,而随机水平的性能(ROC-AUC = 0.5)对应于dij = 1。给定目标不相似性{dij},我们通过最小化应力能量E(x) = Σi (||xi ? xj|| ? dij)2来优化节点位置xi ∈ ?3,从随机位置开始并通过梯度下降进行优化,直到收敛(图3)。这种布局旨在作为探索性可视化,不应被解释为解剖学距离度量。

图3. 学习过程和训练结果。(a)展示了所有数据集在200个训练周期内的准确性进展。(b)显示了在训练过程中正确预测非脉冲(0)状态的准确性演变,(c)面板展示了脉冲(1)状态的相应准确性变化。(d)报告了所有数据集在200个训练周期内的平均PR-AUC。为了考虑脉冲预测的类别不平衡性,我们还报告了精确度-召回率曲线和PR-AUC。(e,h)分别展示了训练后的代表性ROC曲线和PR曲线。(f,g)比较了训练结束时所有样本之间的体外到体外和体内到体内的预测性能,对比了二元焦点损失和Dice损失;数值结果总结在表2中。(h)与(e)面板类似,展示了训练最后阶段的代表性PR曲线。

表2. 不同训练条件下的性能比较。表2. 不同训练条件下的性能比较。条件 性能 体外(训练)0.92 ± 0.06 体内(训练)0.93 ± 0.06 体外2体外(自身数据)0.93 ± 0.05 体外2体外(其他数据)0.75 ± 0.07 体内2体内(自身数据)0.77 ± 0.10 体内2体内(其他数据)0.74 ± 0.10 体内2体内 0.70 ± 0.09 体内2体外 0.80 ± 0.10
该表展示了使用体外和体内数据在不同训练条件下的性能指标(平均值 ± 标准差)。无论是体外还是体内数据,在训练期间都显示出高性能(0.92 ± 0.06, 0.93 ± 0.06)。与使用自身数据相比,使用不同来源的数据时性能有所下降。然而,不同环境之间的生成也实现了高于随机水平的性能(AUC > 0.5)和高于我们的基线比较。奇数行使用了背景颜色,以便于阅读表格。

2.3. 伦理声明
体外和体内实验的伦理批准和合规声明将在机构审查委员会声明(附录)中提供,符合MDPI的要求。

3. 结果
3.1. 训练期间的损失函数评估和比较
在这项研究中,我们使用来自左半球七个皮层区域的切片测量得到的体外数据,以及来自左半球皮层或海马体的六个体内数据集来训练我们的模型。为了优化学习过程,我们采用了Dice损失作为损失函数。结果,在所有训练数据集中,ROC曲线下的面积(AUC)达到了0.92 ± 0.06(图3)。由于脉冲预测极度不平衡,我们报告了ROC-AUC以及精确度-召回率曲线和PR-AUC,并将基于PR的指标解释为极端稀疏情况下少数事件(脉冲)质量的主要指标;ROC-AUC用于总结排名性能。在训练期间,真正例率和真正例率平均接近90%,但这些值应在ROC/PR指标的背景下解释。这种高精度水平很难通过使用除Dice损失之外的其他损失函数来实现。此外,尖峰(1)准确率和PR-AUC也达到了非常高的水平,这表明少数事件(尖峰)的检测能力超出了仅通过ROC-AUC所能显示的范围。神经尖峰数据由于“1”状态(尖峰事件)的极低频率而呈现出独特的挑战。因此,预测这些关键“1”状态的发生非常困难。通过使用Dice损失作为误差函数,我们有效地纠正了0和1出现频率之间的不平衡,证明了其在这一背景下的显著效用(图3a-c)。为了进一步评估Dice损失的有效性,我们将其性能与常用的二元焦点交叉熵损失进行了比较(图3)。在这项研究中,我们使用接收者操作特征(ROC)曲线的曲线下面积(AUC)来定量评估预测性能。使用二元焦点交叉熵损失时,仅在使用体外数据的自我预测任务中获得了统计显著性。然而,当应用Dice损失时,模型获得的AUC值超过了0.9,这表明其预测精度不仅对于体外数据,对于体内数据也同样高(图3e,f)。这些结果表明,Dice损失有效地克服了0和1之间频率不平衡带来的挑战,显著提高了学习性能,并实现了高精度的训练结果。综合来看,尖峰(1)准确率和PR-AUC的结果表明,Dice损失在少数事件(尖峰)检测方面的改进超出了ROC-AUC单独所能捕捉的范围。

3.2 生成结果
我们的计算实验表明,使用Dice损失进行训练可以提高领域内和跨领域的预测/生成能力。我们还包括了(i)每种损失函数的训练/验证损失曲线,(ii)深度/计算消融实验,(iii)超参数敏感性分析,以及(iv)明确的数据分割表,以确认体内数据与体外数据迁移的独立性。图4c,d展示了代表性的时间序列示例。图4展示了预测-生成过程的结果。(a)提供了一个示意图,总结了各种训练和预测数据的组合,有效地重新构建了图1e,f。对于体外数据(左上角的圆圈),可以预测“自我”(蓝色曲线箭头)的过去和未来状态,以及“其他”(黄色向下箭头)的预测,后者关注其他体外数据的未来状态。同样,对于体内数据(右上角的圆圈),也存在“自我”预测生成(蓝色曲线箭头)和“其他”预测生成(黄色向下箭头)。体外数据与体内数据之间的双向生成也存在,分别称为体外2体内和体内2体外,分别对应向右和向左的生成。(b)显示了各种训练和预测数据组合的性能指标条形图。最左边的两个条形图代表体外和体内数据的最终训练性能。接下来的两个条形图表示体外2体内和体内2体内生成,每对包括“自我”预测(左侧条形图)和“其他”预测(右侧条形图)。最右边的两个条形图代表体外2体内和体内2体外生成。(c,d)展示了生成的时序序列与真实值的比较,横轴表示时间,纵轴表示神经元索引。(e)展示了12个数据集(6个体外和6个体内)中训练数据(纵轴)和预测数据(横轴)组合的性能指标的二维表示。红色虚线将颜色图分为四个象限:体外到体外生成(左上角)、体外到体内生成(右上角)、体内到体外生成(左下角)和体内到体内生成(右下角)。图(b)中的条形图代表了这些分组结果,纵轴上的ROC-AUC分数根据需要对角线和非对角线部分进行了区分。区域缩写遵循表1中列出的ID。(f)将(e)中的矩阵重新配置为网络图。它通过将AUC的倒数(用于衡量预测精度)作为三维空间中的距离度量来映射数据样本。红色圆形节点代表体外数据,而黄色圆形节点代表体内数据。区域名称的缩写遵循表1中的相同约定。图1e,f和图3a展示了跨数据集的渐进式学习和强大的泛化能力。即使在得分最低的情况下,体外和体内数据生成的ROC-AUC也为0.70 ± 0.09,如表2和图4b所总结的。

为了更全面地分析这些结果,我们将所有组合的ROC-AUC分数可视化为颜色图(图4e)。图4f将ROC-AUC颜色图矩阵表示为网络图,其中连接强度的倒数被视为距离,并在三维空间中优化了位置。从这些可视化结果(图4e,f)中,我们发现了五个关键发现:首先,体外到体外的生成在相同区域之间表现出良好的性能,ROC-AUC分数约为0.93。虽然这种异常高的性能出乎意料,但这种组合的相对较强性能是预期之中的。其次,有趣的是,体内到体内的生成在相同区域之间并没有表现出特别优越的性能。我们没有发现基于增强型Dickey–Fuller检验(p = 0.0083)的体内数据具有更大的非平稳性;然而,这一结果取决于我们的预处理选择和分析的时间窗口[27]。我们的发现表明,与体外数据相比,体内数据表现出更强的区域间影响,导致尖峰模式的变化。第三,体内到体外的生成性能优于体外到体内的生成。一种可能的解释是,体内记录涵盖了更广泛的大脑状态变化,超出了记录区域的范围,并且具有更强的非平稳动态,而体外记录反映了更受限的活动子集,使得从体内到体外的映射在我们的设置中相对容易。同时,这种不对称性也可能反映了记录的脑区、实验室流程、年龄和噪声结构的差异,而不仅仅是简单的复杂性降低。因此,我们将这一结果视为一个重要的经验性不对称性,避免将其过度解读为明确的生物学层次结构。第四,外侧前视区(LPO)数据在我们的样本中表现出相对较强的跨区域可预测性。这一发现将在讨论部分进行详细讨论。与外侧前视区相比,小脑作为种子效果较差,更容易从其他数据中生成;这可能反映了这些记录中的模式较为简单,但需要更广泛的数据来进行泛化。第五,我们可以观察到体外数据倾向于与其他体外数据聚集在一起。同时,与皮层运动区相关的区域,无论它们是体外还是体内,都集中在中心部分。这些特征支持了基于ROC-AUC的映射有意义地排列了活动多样性的观点。通过将这一点与图1c,d进行比较,可以获得进一步的见解。敏感性分析和深度消融(输入长度、深度、丢弃率和头部数量)在补充材料(文本S1;补充图S1(验证)和S2(生成)中报告。

3.3 模型学习的信息分析
为了深入了解变换器模型的预测机制,我们分析了模型内部的信息处理过程。在这里,为了保持焦点并避免不必要的复杂性,我们将分析限制在体外到体内的预测情况。在使用语言模型的翻译任务中,源-目标对齐可以通过注意力机制反映出来[28],而对多头自注意力的分析进一步表征了各个头部的专门作用[29]。因此,我们首先检查了注意力图(见方法部分2.2.3中的“注意力图”小节)。由于我们的研究处理的是二进制序列(0和1),我们分析了输出信号的发射率与加权注意力图之间的关系。具体来说,为了研究过去信息如何影响预测,我们检查了平均权重相对于注意力图的对角线成分的变化,这些对角线成分表示从当前时刻的时间偏移(图5a)。结果在对角线成分上显示出一个明显的峰值,表明模型在预测时严重依赖于紧接着的时间点的数据。然而,也观察到了非对角线成分,表明模型可能会对特定的过去时刻分配额外的注意力。图5展示了变换器模型学习的信息分析。图(a)展示了变换器模型内的代表性注意力图。图(b)展示了按重要性得分加权的注意力图示例。图(c)提供了一个示意图,描绘了输入信号、注意力图、注意力加权重要性和输出信号之间的相对关系。图(d)展示了注意力图中偏离对角线成分的强度分布。在所有数据集中都观察到了接近零的一致峰值。图(e)展示了12个数据集(6个体外和6个体内)中训练数据(纵轴)和预测数据(横轴)组合的性能指标的二维表示。红色虚线将颜色图分为四个象限:体外到体外生成(左上角)、体外到体内生成(右上角)、体内到体外生成(左下角)和体内到体内生成(右下角)。图(b)中的条形图代表了这些分组结果,纵轴上的ROC-AUC分数根据需要对角线和非对角线部分进行了区分。区域缩写遵循表1中列出的ID。(f)将(e)中的矩阵重新配置为网络图。它通过考虑AUC的倒数(用于衡量预测精度)作为三维空间中的距离度量来映射数据样本。红色圆形节点代表体外数据,而黄色圆形节点代表体内数据。区域名称的缩写遵循表1中的相同约定。图1e,f和图3a展示了跨数据集的渐进式学习和强大的泛化能力。即使在得分最低的情况下,体外和体内数据生成的ROC-AUC也为0.70 ± 0.09,如表2和图4b所总结的。

为了更全面地分析这些结果,我们将所有组合的ROC-AUC分数可视化为颜色图(图4e)。图4f将ROC-AUC颜色图矩阵表示为网络图,其中连接强度的倒数被视为距离,并在三维空间中优化了位置。从这些可视化结果(图4e,f)中,我们确定了五个关键发现:首先,体外到体外的生成在相同区域之间表现出良好的性能,ROC-AUC分数约为0.93。尽管这种异常高的性能出乎意料,但这种组合的相对较强性能是预期之中的。其次,有趣的是,体内到体内的生成在相同区域之间并没有表现出特别优越的性能。我们没有发现基于增强型Dickey–Fuller检验(p = 0.0083)的体内数据具有更大的非平稳性的证据;然而,这一结果取决于我们的预处理选择和分析的时间窗口[27]。我们的发现表明,与体外数据相比,体内数据表现出更强的区域间影响,导致尖峰模式的变化。第三,体内到体外的生成性能优于体外到体内的生成。一种可能的解释是,体内记录涵盖了更广泛的大脑状态变化,超出了记录区域的范围,并且具有更强的非平稳动态,而体外记录反映了更受限的活动子集,使得从体内到体外的映射在我们的设置中相对容易。同时,这种不对称性也可能反映了记录的脑区、实验室流程、年龄和噪声结构的差异,而不仅仅是简单的复杂性降低。因此,我们将这一结果视为一个重要的经验性不对称性,避免将其过度解读为明确的生物学层次结构。第四,外侧前视区(LPO)数据在我们的样本中表现出相对较强的跨区域可预测性。这一发现将在讨论部分进行详细讨论。与外侧前视区相比,小脑作为种子效果较差,更容易从其他数据中生成;这可能反映了这些记录中的模式较为简单,但需要更广泛的数据来进行泛化。第五,我们可以观察到体外数据倾向于与其他体外数据聚集在一起。同时,与皮层运动区相关的区域,无论它们是体外还是体内,都集中在中心部分。这些特征支持了基于ROC-AUC的映射有意义地排列了活动多样性的观点。通过将这一点与图1c,d进行比较,可以获得进一步的见解。敏感性分析和深度消融(输入长度、深度、丢弃率和头部数量)在补充材料(文本S1;补充图S1(验证)和S2(生成)中报告。

3.3 模型学习的信息分析
为了深入了解变换器模型的预测机制,我们分析了模型内部的信息处理过程。在这里,为了保持焦点并避免不必要的复杂性,我们将分析限制在体外到体内的预测情况。在使用语言模型的翻译任务中,源-目标对齐可以通过注意力机制反映出来[28],而对多头自注意力的分析进一步表征了各个头部的专门作用[29]。因此,我们首先检查了注意力图(见方法部分2.2.3中的“注意力图”小节)。由于我们的研究处理的是二进制序列(0和1),我们分析了输出信号的发射率与加权注意力图之间的关系。具体来说,为了研究过去信息如何影响预测,我们检查了平均权重相对于注意力图的对角线成分的变化,这些对角线成分表示从当前时刻的时间偏移(图5a)。结果在对角线成分上显示出一个明显的峰值,表明模型在预测时严重依赖于紧接着的时间点的数据。然而,也观察到了非对角线成分,表明模型可能会对特定的过去时刻分配额外的注意力。图5展示了变换器模型学习的信息分析。图(a)展示了变换器模型内的代表性注意力图。图(b)展示了按重要性得分加权的注意力图示例。图(c)提供了一个示意图,描绘了输入信号、注意力图、注意力加权重要性和输出信号之间的相对关系。图(d)展示了注意力图中偏离对角线成分的强度分布。在所有数据集中都观察到了接近零的一致峰值。图(e)展示了训练数据和生成数据之间的相关性图,比较了注意力图的关键侧和查询侧的发射率。结果显示为平均值,带有标准差,个别数据点旁边标有误差条。图(f)展示了注意力图的关键侧和查询侧的训练数据和生成数据之间的相关性图。格式与图(e)相同。图(g)展示了四个条形图。从左到右,它们分别代表以下条件:原始的体外到体内生成情况(图4b中从右数第二个条形图,即禁用注意力机制的情况,以及当输入数据在每个时间片内的细胞中随机排列50%或95%的时间窗口时,从未来时间点到过去时间的预测性能。在图(c,f,g)中,星号表示在p < 0.01(t检验)时与零相关线相比具有统计显著性。接下来,我们将注意力图与训练期间使用的输入信号的发射率进行了比较。结果表明,注意力图与训练数据的查询侧发射率显著相关,而与关键侧发射率没有显著相关性(图5b,c)。为了评估注意力机制在这一学习过程中的关键作用,我们分析了禁用注意力机制时的性能变化。然而,结果表明学习性能并没有显著下降(图5g,左边的两个条形图)。鉴于这一结果,我们将分析扩展到了注意力图之外,并引入了基于梯度信息的重要性度量,称为注意力加权重要性(见方法部分2.2.4中的“基于梯度的重要性和注意力加权重要性”)。具体来说,我们将注意力加权重要性与训练期间的输入信号发射率进行了比较。结果表明,虽然注意力加权重要性与查询侧训练数据显示出显著的正相关性,但它与关键侧训练数据显示出显著的负相关性。此外,生成数据与查询侧或关键侧都没有显著相关性(图5e,f)。然而,在注意力加权重要性中,关键轴(列)主要包含与输入信号的高发射区域相关的信息,而注意力权重是根据查询侧如何引用这些信息来确定的。另一方面,查询轴(行)受到基于重要性的加权的影响,注意力分布根据损失函数的效果进行了调整。之前,模型主要关注高发射区域,但现在也调整为了关注低发射区域(见第2节)。实际上,将损失函数修改为Dice函数显著提高了模型的预测性能(图3e,f)。在注意力加权重要性中,查询侧优先引用输入信号的高发射区域的信息,主要利用当前和紧接着的信息。然而,由于Dice函数的评估影响,查询侧引用关键侧信息的倾向发生了变化,它似乎也被调整以同时关注过去低发射区域的特征。因此,训练过程中从输入信号中获得的优先级与损失函数的调整之间的相互作用可能有助于提高模型的预测性能。最后,我们研究了当用于预测的输入数据在同一时间窗口内的不同单元之间被随机打乱时,预测性能下降的程度(图5g,右侧两个条形图)。结果表明,当在单元之间进行随机打乱时,随着窗口时间向过去扩展,模型的性能逐渐下降。然而,即使95%的数据被随机打乱,模型仍然保持了显著的预测准确性(图5g,最右侧的条形图)。这些结果表明,即使可用于预测的输入数据非常有限,模型仍然能够做出可靠的预测。

4. 讨论
本文的主要贡献在于算法方面:在准备/领域转换情况下预测性地生成脉冲列。从实际应用的角度来看,我们强调了这一框架在体外到体内转移中的价值,因为在神经科学中,跨不同实验环境的桥接仍然具有挑战性。我们还强调,对于下游应用而言,鲁棒且考虑稀疏性的评估是必不可少的,因此我们报告了基于ROC的指标以及精确度-召回率曲线和PR-AUC。目前的结果应被视为在领域转换情况下可以建模出有用时间结构的证据,而不是直接证明因果生物学动态得以保留。该框架是否也反映了诸如兴奋/抑制平衡或振荡结构等特征,仍然是未来验证的重要问题。

在这里,我们讨论了这项研究的关键发现,将其分为方法论上的技术进步和神经科学上的见解。

4.1. 技术进步:损失函数和Transformer模型的作用
如2.2.2节所述,主要模型使用了一个Transformer编码器层。这种设计是为了保持最小的计算开销,并考虑到训练数据的有限性和脉冲的极端稀疏性,从而降低过参数化的风险。在匹配参数预算下的验证深度消融实验(1-4层)中,最佳深度因数据集而异,我们没有观察到深度与性能之间的单调递增关系;深度为1时模型仍然具有竞争力,而更深层次的模型则增加了计算量。因此,我们将深度设为1作为主要设置,并在补充材料中展示了完整的深度范围。我们选择了这种离散时间自回归Transformer作为评估极端稀疏情况下脉冲事件预测的可重复基线。我们还在计算限制下探索了几种替代模型,但没有一种在我们的设置中表现得比当前框架更好。在我们环境中进行的初步连续时间试验需要更多的内存,因此向连续时间建模的扩展仍然是未来的一个重要方向。

据我们所知,这是第一项专门结合这两个元素来生成神经脉冲列的研究。尽管这个想法很简单,但之前的工作没有认识到Transformer架构和Dice损失在解决神经脉冲数据固有的极端类别不平衡问题方面的独特协同作用。如图3e,f所示,这种组合显著提高了预测性能,超过了我们测试的特定基线(二元焦点交叉熵和焦点损失)在这些数据集上的表现。它不仅实现了准确的模内生成(从体外到体内,从体内到体内),还实现了在体外和体内条件之间的鲁棒、双向跨域生成。

为了理解这种高精度生成背后的机制,我们首先分析了Transformer模型的核心组成部分——注意力图。我们的分析显示,注意力图的对角线成分对模型性能有显著贡献,并且注意力图的查询轴与训练期间输入信号的发射率呈正相关。为了全面解释模型的行为,我们还引入了一种基于梯度的 importance 度量方法,用 importance 分数对注意力图进行加权,称为注意力加权 importance。将注意力加权 importance 与输入信号的发射率进行比较后发现,虽然查询轴显示出显著的正相关,但关键轴显示出显著的负相关。Importance 强烈反映了梯度信息,并且对损失函数的选择非常敏感。这表明,与损失函数选择相关的性能提升主要影响了Transformer模型中输入层和自注意力机制之间的区域。这种调整使模型能够结合长期的历史信息,从而促进更精细的学习,而不仅仅是依赖于发射率。

尽管结果表明注意力图在预测准确性方面的作用有限,但必须承认其在训练稳定性和学习速度方面的潜在贡献。

4.2. 神经科学见解:独特的脑区
尽管实现了高精度的预测和生成,某些数据表现出特别值得注意的特征。第一个显著的发现是图4f中显示的有意义的多区域映射。这种映射清楚地捕捉了数据点在多个方面的预期空间关系。例如,从次级运动皮层测量的两个数据点紧密对齐,并且被体外和体内数据中与运动皮层相关的数据点所包围。此外,体外和体内数据在空间上被分为左右两个不同的簇。这些语义上有意义的嵌入代表了数据点之间的相对关系,表明了活动如何从一个数据点转移到另一个数据点。在这项研究中,我们展示了从传统的体外数据和国际脑实验室提供的体内数据中的短暂自发活动进行跨生成。选择最佳嵌入维度始终是一个具有挑战性的问题。如果通过直接比较神经活动的相似性与实际的空间距离来进行空间映射,那么体外和体内的点自然会位于三维空间中。因此,在这项工作中将两个数据集(体外和体内)嵌入到三到四个维度中是合理的。然而,如果比较的数据集数量增加到三个、四个、五个或更多,就需要新的理由来确定三维可视化是否仍然合适。

第二个感兴趣的区域是体内的外侧视前区(LPO)。这个区域似乎是我们数据集中预测其他脑区的较强种子。请注意,图4和表1中使用的缩写“LPOR”指的是左侧后丘脑区,这是另一个不同的区域。在这种情况下,外侧视前区的缩写是“LLatPreopt”。LPO是一个下丘脑核团,是下丘脑中连接最广泛的亚区之一:在小鼠中,它向超过200个灰质区域投射并接收来自这些区域的输入,下丘脑内的连接尤为显著[30]。其主要输出包括外侧缰核(LHb)、隔核、腹侧被盖区(VTA)、背侧缝核和吻内侧被盖核(RMTg)[30]。LPO参与奖励相关处理和睡眠-觉醒状态的调节[31,32]。由于睡眠和觉醒是涉及大脑功能广泛变化的基本行为状态,LPO与唤醒和动机系统的连接可能非常重要。最近的研究还显示了LPO与奖励系统之间的功能耦合:刺激LPO会抑制VTA中的GABA能神经元,同时增加多巴胺能神经元的发射率[31]。综合这些观察结果,LPO似乎非常适合影响广泛的脑状态变量,如唤醒、睡眠-觉醒调节和奖励相关信号[30,31,32]。这为LPO在我们数据驱动分析中成为一个有用的种子提供了一个合理的解释,尽管当前研究没有建立具体的机制途径。

4.3. 未来挑战:扩展应用范围
基于这些发现,可以提出两种有效的策略。首先,基于数据集之间相对相似性的“邻近图”(如图4f中的网络图所示)非常重要。这是因为邻近图编码了数据集之间的相对关系;当测量数据稀疏或不可用时,该框架可以提出具体的替代方案——例如,选择附近的数据集、混合密切相关的数据集,或使用生成模型沿着图的几何结构进行转换。这些是缺失条件的近似,而不是从头开始创建,它们需要针对特定任务的验证。从3R(替代、减少、精炼)的角度来看,这种能力是一项基础技术,可以减少在现有结果已被独立复制时的重复实验,同时优先考虑后续研究。也就是说,放弃新实验的决定应基于预定义的标准和伦理审查,这种方法可以被视为为伦理审查提供证据的技术。未来,随着网络中节点(数据集)数量的增加和信息学框架内网络密度的提高,生成不存在数据的准确性将稳步提高。

其次,在扩展到其他脑区之前优先考虑LPO测量可能会提高预测准确性和实验效率,因为外侧视前区数据为生成许多区域的神经活动提供了良好的种子。这一策略符合动物研究中的3R原则(替代、减少、精炼),并可能提高人类神经生理学研究的效率。目前尚不清楚为什么这个区域的神经活动可以作为一种多功能的学习数据种子(独立于上述邻近性)。随着我们理解的深入,无需目标数据即可进行生成预计将变得越来越可行。未来,在考虑LPO的贡献时,生命科学领域的一些研究人员可能会设想涉及对该区域进行光遗传学刺激的实验。然而,真正重要的是阐明在生成神经活动过程中使用的“代码”。换句话说,揭示人工神经网络通过学习获得的信息至关重要。为了加深我们对这些现象的理解,我们将Transformer内部结构的解释范围从注意力图扩展到了注意力加权 importance。未来的挑战包括进一步扩展这一分析,并从注意力图和 importance 中提取和进行详细分析,以促进预测生成。

此外,提高精度的方法也很重要。简单的改进包括向Transformer模型添加位置编码。由于计算方法本身是可扩展的,因此增加计算资源(如计算机内存)以增加可分析的细胞数量和时间持续时间也是一个重要的方向。虽然我们基于自发活动进行了相互生成,但将其扩展到在刺激呈现期间生成体内脑活动是另一个关键方向。这可以通过将体内自发活动和刺激信息输入到多模态AI模型中来自然实现。

5. 结论
总之,这项研究展示了一种实用的、高精度的生成神经活动的方法,并引入了一个用于动态整合和比较现有实验数据集的新框架。通过映射脉冲列动态而不是静态连接性,我们的方法可能有助于减少过去实验的重复(3R中的“减少”),并旨在补充而不是替代新的实验工作。我们将继续提高精度,扩展预测范围,并加深我们的机制理解。未来,这项工作可能为跨动物和人类数据集的分析提供基础,但还需要进一步的验证。

补充材料
以下支持信息可以在以下链接下载:https://www.mdpi.com/article/10.3390/a19040305/s1:
- 文本S1:超参数敏感性分析和深度消融
图S1:跨超参数的ROC-AUC敏感性分析。面板(a–d)分别显示了输入长度、丢弃率、头部数量和深度的验证性能。面板(e–h)显示了测试(生成)设置中的相应结果。误差条表示适用情况下评估目标的变化。标记为“缺失数据”的面板表示当前运行集中不可用的条件,将在完成剩余运行后更新。
- 图S2:跨超参数的基于PR的敏感性分析(PR曲线/PR-AUC总结)。面板(a–d)分别显示了输入长度、丢弃率、头部数量和深度的验证性能。面板(e–h)显示了测试(生成)设置中的相应结果。误差条表示适用情况下评估目标的变化。标记为“缺失数据”的面板表示当前运行集中不可用的条件,将在完成剩余运行后更新。
- 图S3:在体外→体外设置中,GPU运行时间作为编码器深度(Transformer层数量)的函数。每个点表示在匹配参数深度消融(1-4层)条件下完成一次运行所需的运行时间(以小时计)。运行时间大约为3小时,并且在完成的运行中并未显示出与深度的显著依赖关系。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号