剖析混合深度学习模型在解码神经群体活动所表征的复杂运动行为方面的计算必要性
《Machine Learning with Applications》:Dissecting the Computational Necessity of Hybrid Deep Learning Models for Decoding Complex Motor Behavior from Neuronal Population Activity
【字体:
大
中
小
】
时间:2026年04月29日
来源:Machine Learning with Applications 4.9
编辑推荐:
加扎尔·米尔扎伊(Ghazal Mirzaee)| 罗沙纳克·拉蒂菲克赫雷什基(Roshanak Latifikhereshki)| 乔纳森·张(Jonathan Chang)| 沙赫拉扎德·拉蒂菲(Shahrzad Latifi)
西弗吉尼亚大学计算机科学与电气工程系,摩根
加扎尔·米尔扎伊(Ghazal Mirzaee)| 罗沙纳克·拉蒂菲克赫雷什基(Roshanak Latifikhereshki)| 乔纳森·张(Jonathan Chang)| 沙赫拉扎德·拉蒂菲(Shahrzad Latifi)
西弗吉尼亚大学计算机科学与电气工程系,摩根敦,WV,美国
**摘要**
从多尺度脑网络中解码复杂的运动行为仍然是神经科学中的一个基本挑战。体内光学成像技术的进步现在能够以细胞分辨率记录高维的神经元群体活动,这需要能够捕捉空间和时间结构的解码框架。在这里,我们采用了一种基于注意力的混合卷积神经网络-双向长短期记忆(CNN-BiLSTM)架构,从单侧M1中的兴奋性神经元集合的体内双光子钙成像中解码熟练的前肢运动。通过联合建模神经元群体之间的空间组织和活动序列中的时间结构,这种混合框架能够可靠地解码在熟练的运动任务中同侧和对侧的前肢运动。消融分析进一步表明,整合空间和时间成分对于维持解码性能至关重要,突显了混合架构的计算必要性。这些结果共同证明了混合深度学习模型是从中等尺度神经元网络活动中提取行为相关时空特征的有效框架。
**引言**
大脑是一个在多个时空尺度上运作的复杂网络系统。这些相互连接的网络支持认知、感知和运动。在从纳米尺度的基因网络到宏观尺度的脑区网络中,中等尺度网络在信息处理和信号整合中起着关键作用。中等尺度神经网络通常被定义为将单个神经细胞与局部集合和功能电路联系起来的组织层次(Betzel等人,2018;Latifi & Carmichael,2024)。最近的大脑追踪技术进步使得在这一尺度上实时监测活动成为可能。特别是,体内双光子(2P)钙成像技术能够在行为过程中从活体大脑中的大量神经元中提取活动(Latifi & DeVries,2025),为研究运动控制和运动背后的群体级神经动态提供了强大的框架。
初级运动皮层(M1)在获取和执行熟练的运动行为中起着至关重要的作用。M1网络内的活动与多个与运动相关的变量相关,包括运动方向、速度和运动中的精确肢体定位(Ghanayim等人,2025)。因此,M1中的编码信息已被用作瘫痪个体的假肢控制的神经基础(Inoue等人,2018)。M1通过协调感觉引导的运动和导航计算来贡献运动输出,促进步态所需的调整(Economo等人,2018;Kondapavulur等人,2022;Morandell & Huber,2017)。因此,M1的损伤,如缺血性中风或创伤性脑损伤(TBI),可能导致运动障碍,包括步态缺陷(Latifi等人,2020)。尽管M1主要表现出对侧运动输出(Heming等人,2019),但在需要双侧协调的任务中,也观察到了M1内的神经元活动(Ames & Churchland,2019)。尽管有这些发现,目前仍不确定单侧M1内的神经元计算在多大程度上编码了支持双侧运动行为的信息,或者特定的神经元集合是否对此过程有不成比例的贡献。解决这个问题为测试单侧皮层群体活动支持复杂双侧运动表征的能力提供了一个原则性的框架。
人工智能(AI)和机器学习(ML)方法已被广泛用于从神经元信号中解码运动行为,并用于驱动脑机接口(BCIs),最常用的是电生理记录,如脑电图(EEG)。对卷积神经网络(CNNs)、循环神经网络(RNNs)、长短期记忆(LSTM)架构以及这些模型的混合组合的基准研究已经证明它们在从高维、时间结构化的神经元数据中提取与运动相关的信息方面表现强劲(Ding等人,2025;Schirrmeister等人,2017;Xie等人,2018)。相比之下,2P钙成像产生的数据具有更丰富的空间结构和较慢的多时间尺度动态,引入了与为电生理数据优化的解码框架不同的复杂时空依赖性。因此,专门针对2P钙成像数据定制的ML架构的系统性评估和优化仍然有限。
在这项研究中,我们首先调查了是否可以从单侧M1记录的神经元集合活动中解码熟练的双侧前肢运动。我们建立了一个多模态框架,整合了中等尺度神经元网络活动、同侧和对侧前肢的运动学以及基于深度学习的解码。体内2P钙成像用于记录在旨在引发复杂和协调的双侧步态行为的机动网格行走任务中单侧M1的第二/三层兴奋性神经元集合的活动(Latifi等人,2024)。为了从神经元群体活动中解码行为,我们实现了一个混合深度学习框架,该框架结合了卷积神经网络(CNNs)和双向长短期记忆网络(BiLSTM)以及注意力机制(Pandarinath等人,2018)。这种架构旨在捕捉与运动准备和执行阶段相关的集合级空间组织(CNNs)和时间结构(BiLSTM),以及随时间动态加权的行为相关特征(注意力机制)(Gers等人,2000b;Hernandez & Amigo,2021;Pandarinath等人,2018;Redwan等人,2025;Vaswani等人,2017;Zhang等人,2024)。这些组件共同实现了神经元群体内空间和时间信息的整合,提供了对潜在神经元动态的全面表征(Gers等人,2000a;Livezey & Glaser,2021;Zhang等人,2024)。利用这一框架,我们证明了单侧M1群体活动包含足够的信息来支持复杂步态期间的双侧运动解码。为了超越仅仅展示从2P成像派生的群体活动中解码的能力,我们进行了系统的消融分析,以评估这种架构复杂性是否对于从群体钙信号中提取行为相关信息是必要的。通过选择性地移除空间、时间或基于注意力的组件,我们量化了每个计算模块对解码性能的贡献,使我们能够区分集合级空间组织和时间结构化动态在运动编码中的作用。
更广泛地说,这项工作引入了一个基于消融的计算框架,利用细胞分辨率的2P钙成像来探究中等尺度神经元群体表征的结构。这种方法不是将深度学习模型视为黑盒解码器,而是使用受控的架构扰动来揭示哪些时空特征对行为相关编码至关重要,为探究神经群体动态提供了超越单纯性能的原则性策略。
**结果**
为了评估M1中兴奋性神经元网络的活动,我们使用了CaMKII-tTA/tetO-GCaMP6s转基因系,该系在兴奋性神经元中持续且均匀地表达基因编码的钙指示剂GCaMP6s(Latifi & DeVries,2025)。在成年雄性小鼠的单侧M1前肢区域立体定位植入了一个5毫米的颅窗,从而能够在行为过程中进行体内2P钙成像。为了在成像过程中同时捕捉同侧和对侧的运动输出,我们开发了一种与2P显微镜兼容的头部固定的机动网格行走范式(图1A)(Latifi等人,2024)。这项任务探究了在复杂网格上的熟练运动协调和精确前肢定位,广泛用于检测中风和创伤性脑损伤等脑疾病中的细微运动障碍(Bechay等人,2022)。熟练的前肢运动被定义为一个完整的脚步,从一个网格位置开始,以同一只爪子的到达和抓住下一个网格结束(图1B)。在恒定的轮速下,单个脚步表现出节奏性和离散的运动成分。
**图1. 实验设置和分析方法的代表性图像。**
A) 使用2P显微镜监测动物在机动网格行走轮上进行复杂运动行为时的M1神经元活动。
B) 同侧(上图)和对侧(下图)前肢运动的代表性示例。前肢的复杂运动被定义为在机动网格行走轮上的前肢脚步,其特征是从前肢爪子从初始网格释放开始,以同一只爪子到达和抓住下一个网格结束。同侧和对侧前肢脚步通过行为视频注释进行评估,相应的2P记录帧也相应标记。
C, 左图:记录视野中的代表性帧(比例尺100 μm)。应用一系列图像处理算法提取dF/F0轨迹(C, 中间图),然后从记录的2P视频中计算去卷积的dF/F0(C, 右图)信号(每个视频:3000帧,15 Hz速率)。
D) 使用多种深度学习架构(CNN、BiLSTM、BiLSTM+Attention和混合CNN-BiLSTM)从2P钙成像数据中解码双侧复杂的前肢运动。
在成像前,动物接受了四天的训练。记录以15 Hz的频率进行,每次会话产生3,000帧成像帧。行为视频与成像数据时间同步,每帧手动标注为无脚步(0)、对侧脚步(1)或同侧脚步(2)。具有相同标签的连续帧被分组以定义完整的脚步间隔,从而实现神经元群体活动与运动行为之间的帧级对齐。为了最小化运动过程中的运动相关伪影,使用NoRMCorre算法(Pnevmatikakis & Giovannucci,2017)校正成像序列。识别感兴趣的神经元区域(ROIs),提取钙轨迹,并使用自定义的MATLAB管道将荧光信号转换为ΔF/F? [(F(t) – F?)/F?](Latifi等人,2024;Latifi等人,2020)。为了考虑GCaMP6s的缓慢衰减动力学,应用去卷积以提高推断的神经元活动的时间精度(图1C)(Latifi等人,2024;Theis等人,2016)。得到的神经元活动矩阵经过归一化,并使用分层采样划分为训练集、验证集和测试集,以保持行为状态之间的类别平衡。
**混合模型从单侧M1神经元集合中解码双侧熟练的前肢运动**
为了确定单侧M1集合是否包含足够的信息来预测双侧运动行为,我们实现了一个基于注意力的混合CNN-BiLSTM模型,从2P钙成像数据中解码熟练的前肢运动(图2A)。每个输入序列(X ∈ R???)由来自兴奋性神经元群体的去卷积钙轨迹组成,时间上与行为标签(无脚步、同侧脚步、对侧脚步)对齐。卷积组件捕捉神经元之间的集合级空间组织,BiLSTM层模拟跨越运动准备和执行的时间结构化动态,注意力机制动态加权行为信息丰富的时间点以区分同侧和对侧运动。为了确保在不同神经元计数的记录中稳定训练,该架构采用了包括批量、组和层归一化在内的多层次归一化策略(表1)。由于2P钙成像信号在神经元和记录之间表现出幅度变化,并且由于数据集结构通常需要较小的小批量大小,仅依赖批量归一化会导致训练不稳定。在卷积层内应用批量归一化以稳定样本间的特征学习,在跳跃路径中使用组归一化以提供跨神经元通道的批量独立归一化,在输出头中应用层归一化以调节循环模块中的时间特征缩放。
**图2. 混合CNN-BiLSTM模型在解码单侧M1双侧复杂前肢运动中的架构和性能。**
A) 混合CNN-BiLSTM模型架构的示意图。
B) 混合模型在解码前肢脚步方面的混淆矩阵。多类混淆矩阵(右侧)突出了在分类无脚步状态(232个正确)和区分同侧(85个正确)和对侧脚步(51个正确)方面的强准确性。二元分类器(中间和左侧)在单侧脚步检测方面表现出改进的区分能力,对侧和同侧脚步分类器的真正阴性/阳性分别为366/47和306/86。前肢之间的平衡性能表明神经元编码是对称的,而假阳性可能表明检测到的是没有执行运动的准备活动。这些结果验证了该模型从单侧M1神经元活动中提取有意义的双侧前肢运动模式的能力。
C) 接收者操作特征(ROC)曲线比较了模型在多类和二元分类前肢脚步方面的性能。该图包括五条曲线:三条来自多类分类器(无脚步、对侧前肢脚步和同侧前肢脚步),两条来自二元分类器(对侧和同侧前肢脚步),并与随机机会(对角虚线)进行比较。所有分类器都表现出强大的区分能力,AUC值范围从0.83到0.86,其中同侧检测(AUC = 0.86)略微优于对侧检测(AUC = 0.83),表明性能显著高于随机分类(AUC = 0.5)。
**表1. 提出的混合模型的超参数和配置细节。**由于每个视野(FOV)的神经元数量不同,不同数据集的输入神经元数量也有所差异,例如数据1A中有581个神经元。模型架构会自动适应输入维度,同时保持所有超参数不变。此表中呈现的数值对应于数据1A(581个神经元)。
| 类别 | 参数值/设置 |
|------|-----------------|
| 神经网络架构 | |
| 输入层 | 神经元数 | 581 |
| 序列长度 | 32个时间步 |
| CNN初始通道数 | 64、128、256 |
| 核大小 | 3 |
| 跳过连接 | 1×1卷积 |
| LSTM隐藏层大小 | 128 |
| 层数 | 2 |
| 方向 | 双向 |
| 注意力头数 | 8 |
| 输入维度 | 256 |
| 训练参数 | |
| 优化 | |
| 学习率 | 1×10^-4 |
| 权重衰减 | 1×10^-5 |
| 批量大小 | 32 |
| 最大 epoch数 | 500 |
| 正则化 | Dropout |
| 深层 | 0.5 |
| CNN层 | 0.25 |
| 其他 | 校验梯度 | 1.0 |
| 早停耐心 | 7个epoch |
| 损失函数 | |
| 焦点损失 | αγ = 2.0 |
在二元分类任务中,解码准确率达到了0.93;对于多类解码,无脚步动作、同侧动作和对侧动作的准确率分别约为0.85。混淆矩阵显示行为状态之间的可靠分离,错误分类率较低(图2B和表2)。接收者操作特征(ROC)分析进一步证实了强大的区分性能,曲线下面积(AUC)值在二元和多类预测中范围为0.83至0.86,远高于随机水平(AUC = 0.5)。尽管M1传统上与对侧运动控制相关,但运动皮层中的神经元群体也可以编码同侧肢体运动和双侧协调(Economo等人,2018年;Kondapavulur等人,2022年)。混合模型能够以相当的准确率解码同侧运动,表明M1中的中等规模群体活动包含反映运动规划和肢体间协调的分布式表示。
在不同数据集中,混合模型对前肢的解码性能表现出鲁棒性。在二元分类任务中,对侧脚步的解码准确率为0.93,同侧脚步为0.90。多类解码中,无脚步动作、同侧动作和对侧动作的总体准确率约为0.85。混淆矩阵显示行为状态之间的可靠分离,错误分类率较低。接收者操作特征(ROC)分析进一步证实了强大的区分性能,曲线下面积(AUC)值在二元和多类预测中范围为0.83至0.86,远高于随机水平(AUC = 0.5)。
尽管M1传统上与对侧运动控制相关,但运动皮层中的神经元群体也可以编码同侧肢体运动和双侧协调(Economo等人,2018年;Kondapavulur等人,2022年)。混合模型能够以相当的准确率解码同侧运动,表明M1中的中等规模群体活动包含反映运动规划和肢体间协调的分布式表示。
表2. 深度学习模型从单侧M1神经元集合活动中解码前肢运动的性能比较。报告了四种模型架构(CNN、LSTM、LSTM+Attention和Hybrid CNN–BiLSTM+Attention)在三个小鼠获得的六个独立数据集(1A–3B)上的解码性能。模型在三个任务上进行了评估:对侧前肢运动、同侧前肢运动和多类分类(无脚步动作、同侧动作、对侧动作)。指标包括准确率、精确度、召回率和F1分数。数值代表在保留的测试数据上的性能。在所有数据集和任务中,混合模型始终实现了最高的解码性能,表明从神经元集合活动中整合了空间和时间特征。
在所有数据集中,混合模型对前肢的解码性能表现出鲁棒性。在二元分类任务中,解码准确率达到了0.93;对于多类解码,无脚步动作、同侧动作和对侧动作的准确率分别约为0.85。混淆矩阵显示行为状态之间的可靠分离,错误分类率较低。接收者操作特征(ROC)分析进一步证实了强大的区分性能,曲线下面积(AUC)值在二元和多类预测中范围为0.83至0.86,远高于随机水平(AUC = 0.5)。
尽管M1传统上与对侧运动控制相关,但运动皮层中的神经元群体也可以编码同侧肢体运动和双侧协调(Economo等人,2018年;Kondapavulur等人,2022年)。混合模型能够以相当的准确率解码同侧运动,表明M1中的中等规模群体活动包含反映运动规划和肢体间协调的分布式表示。
表2. 深度学习模型从单侧M1神经元集合活动中解码前肢运动的性能比较。报告了四种模型架构(CNN、LSTM、LSTM+Attention和Hybrid CNN–BiLSTM+Attention)在三个小鼠获得的六个独立数据集(1A–3B)上的解码性能。模型在三个任务上进行了评估:对侧前肢运动、同侧前肢运动和多类分类(无脚步动作、同侧动作、对侧动作)。指标包括准确率、精确度、召回率和F1分数。数值代表在保留的测试数据上的性能。在所有数据集和任务中,混合模型始终实现了最高的解码性能,表明从神经元集合活动中整合了空间和时间特征。
跨数据集,混合模型对前肢的解码性能表现出鲁棒性。在二元分类任务中,解码准确率达到了0.93;对于多类解码,无脚步动作、同侧动作和对侧动作的准确率分别约为0.85。混淆矩阵显示行为状态之间的可靠分离,错误分类率较低。接收者操作特征(ROC)分析进一步证实了强大的区分性能,曲线下面积(AUC)值在二元和多类预测中范围为0.83至0.86,远高于随机水平(AUC = 0.5)。
尽管M1传统上与对侧运动控制相关,但运动皮层中的神经元群体也可以编码同侧肢体运动和双侧协调(Economo等人,2018年;Kondapavulur等人,2022年)。混合模型能够以相当的准确率解码同侧运动,表明M1中的中等规模群体活动包含反映运动规划和肢体间协调的分布式表示。
这些结果表明,单个M1半球的兴奋性神经元集合包含了足够的时空信息,可以准确预测前肢的熟练运动。混合CNN-BiLSTM-attention模型有效地将集合级的空间组织与时间动态结合起来,使得可以从单侧皮层群体活动中解码双侧运动。
消融分析揭示了混合架构的计算必要性。尽管混合CNN-BiLSTM-attention模型表现出强大的解码性能,但尚不清楚哪些架构组件对于提取行为相关信息是必要的。因此,我们试图量化空间、时间和基于注意力的模块对解码性能的单独贡献。为此,我们进行了系统的消融分析,在所有其他实验和训练条件保持不变的情况下,选择性地移除了混合模型的各个组件,从而直接评估每个架构元素的计算必要性。通过比较仅在架构组成上不同的模型变体,我们评估了解码性能是否需要集成的时空处理,或者是否可以使用更简单的表示来实现。
评估了四种模型变体:1)仅包含CNN的架构,用于捕获集合级的空间相关性;2)仅包含BiLSTM的架构,用于建模时间结构化的神经元活动;3)增加了注意力机制的BiLSTM架构;4)完整的混合CNN-BiLSTM-attention模型。在所有数据集(1A–3B)和行为任务(对侧、同侧和多类)中评估了解码性能,性能指标总结在表2中,而模型架构之间的统计比较报告在表3中。
表3. 用于评估模型在运动类别上的解码性能的双因素方差分析(ANOVA)和Tukey事后比较。结果包括对模型架构在对侧、同侧和多类前肢运动预测上的解码准确性的双因素方差分析(ANOVA)以及随后的Tukey多重比较测试。报告了平均差异、95%置信区间、调整后的p值和显著性水平。所有统计比较都是相对于混合CNN-BiLSTM模型进行的。Alpha设置为0.05,每个家族有三个家族,每个家族有六个比较。
通过比较仅在架构组成上不同的模型变体,我们评估了解码性能是否需要集成的时空处理,或者是否可以使用更简单的表示来实现。四种模型变体进行了评估:1)仅包含CNN的架构,用于捕获集合级的空间相关性;2)仅包含BiLSTM的架构,用于建模时间结构化的神经元活动;3)增加了注意力机制的BiLSTM架构;4)完整的混合CNN-BiLSTM-attention模型。在所有数据集(1A–3B)和行为任务(对侧、同侧和多类)中评估了解码性能,性能指标总结在表2中,而模型架构之间的统计比较报告在表3中。
这些结果表明,单个M1半球内的兴奋性神经元集合包含了足够的时空信息,可以准确预测前肢的熟练运动。混合CNN-BiLSTM-attention模型有效地将集合级的空间组织与时间动态结合起来,使得可以从单侧皮层群体活动中解码双侧运动。
消融分析揭示了混合架构的计算必要性。尽管混合CNN-BiLSTM-attention模型表现出强大的解码性能,但尚不清楚哪些架构组件对于提取行为相关信息是必要的。因此,我们试图量化空间、时间和基于注意力的模块对解码性能的单独贡献。为此,我们进行了系统的消融分析,在所有其他实验和训练条件保持不变的情况下,选择性地移除了混合模型的各个组件,从而直接评估每个架构元素的计算必要性。通过比较仅在架构组成上不同的模型变体,我们评估了解码性能是否需要集成的时空处理,或者是否可以使用更简单的表示来实现。
四种模型变体进行了评估:1)仅包含CNN的架构,用于捕获集合级的空间相关性;2)仅包含BiLSTM的架构,用于建模时间结构化的神经元活动;3)增加了注意力机制的BiLSTM架构;4)完整的混合CNN-BiLSTM-attention模型。在所有数据集(1A–3B)和行为任务(对侧、同侧和多类)中评估了解码性能,性能指标总结在表2中,而模型架构之间的统计比较报告在表3中。
这些结果表明,单个M1半球内的兴奋性神经元集合包含了足够的时空信息,可以准确预测前肢的熟练运动。混合CNN-BiLSTM-attention模型有效地将集合级的空间组织与时间动态结合起来,使得可以从单侧皮层群体活动中解码双侧运动。
消融分析揭示了混合架构的计算必要性。尽管混合CNN-BiLSTM-attention模型表现出强大的解码性能,但尚不清楚哪些架构组件对于提取行为相关信息是必要的。因此,我们试图量化空间、时间和基于注意力的模块对解码性能的单独贡献。为此,我们进行了系统的消融分析,在所有其他实验和训练条件保持不变的情况下,选择性地移除了混合模型的各个组件,从而直接评估每个架构元素的计算必要性。通过比较仅在架构组成上不同的模型变体,我们评估了解码性能是否需要集成的时空处理,或者是否可以使用更简单的表示来实现。
四种模型变体进行了评估:1)仅包含CNN的架构,用于捕获集合级的空间相关性;2)仅包含BiLSTM的架构,用于建模时间结构化的神经元活动;3)增加了注意力机制的BiLSTM架构;4)完整的混合CNN-BiLSTM-attention模型。在所有数据集(1A–3B)和行为任务(对侧、同侧和多类)中评估了解码性能,性能指标总结在表2中,而模型架构之间的统计比较报告在表3中。
这些结果表明,单个M1半球内的兴奋性神经元集合包含了足够的时空信息,可以准确预测前肢的熟练运动。混合CNN-BiLSTM-attention模型有效地将集合级的空间组织与时间动态结合起来,使得可以从单侧皮层群体活动中解码双侧运动。
这些结果表明,单个M1半球内的兴奋性神经元集合包含了足够的时空信息,可以准确预测前肢的熟练运动。混合CNN-BiLSTM-attention模型有效地将集合级的空间组织与时间动态结合起来,使得可以从单侧皮层群体活动中解码双侧运动。
这些结果表明,混合CNN-BiLSTM-attention模型在所有数据集上始终实现了最强的性能,对侧解码准确率高达0.93,同侧解码准确率高达0.91,多类解码准确率在0.84-0.85之间。这些结果与之前的观察结果一致,表明混合模型在精确度、召回率和F1分数方面表现最佳(0.84-0.86),表明在运动类别之间的分类是平衡和可靠的。由于运动事件相对于非运动时期发生得较为稀少,因此从神经元数据中解码行为本质上受到类别不平衡的影响。虽然总体准确率提供了一个有用的总结指标,但精确度和召回率更好地捕捉了假阳性和错过运动事件之间的权衡。混合CNN-BiLSTM-attention模型在所有数据集上保持了平衡的精确度和召回率,从而获得了更高的F1分数。统计分析证实了这些性能差异的稳健性。双因素方差分析(ANOVA)随后的Tukey多重比较测试(表3)显示,混合模型与所有简化架构相比,在对侧和多类解码方面存在显著差异(调整后的p值<0.001)。对于同侧解码,混合模型也显著优于仅包含CNN和仅包含BiLSTM的架构,而与BiLSTM+Attention模型的比较显示效果较小,反映了该任务的表示能力更接近。
这些结果表明,从中等规模神经元集合活动中解码熟练的运动行为受益于结合了空间特征提取、时间序列建模和自适应时间加权的集成架构。仅包含CNN的模型表现最弱,多类准确率在0.53-0.55之间,前肢特定准确率通常低于0.78,表明仅靠空间相关性不足以捕捉熟练运动行为的时间结构化动态。通过BiLSTM加入时间建模显著提高了解码性能,多类准确率提高到0.63-0.73,前肢特定准确率达到0.82,突显了序列神经元动态对运动表示的关键贡献。添加注意力机制进一步提高了性能,多类准确率达到0.77-0.80,同侧和对侧解码准确率接近0.88-0.91。这种改进表明,选择性地加权时间信息丰富的神经元活动增强了运动状态之间的区分能力。完整的混合CNN-BiLSTM-attention模型在所有数据集上始终实现了最强的性能,对侧解码准确率高达0.93,同侧准确率高达0.91,多类准确率为0.84-0.85。与这些结果一致,混合模型在精确度、召回率和F1分数方面也表现最佳(0.84-0.86),表明在运动类别之间的分类是平衡和可靠的。
这些结果表明,从中等规模神经元集合活动中解码熟练的运动行为受益于结合了空间特征提取、时间序列建模和自适应时间加权的集成架构。仅包含CNN的模型和仅包含BiLSTM的模型提供了基线比较,代表了仅依赖空间和时间解码策略。它们的较低性能表明,准确的解码需要集成的时空表示,而不是仅依赖于空间相关性或时间动态的模型。观察到的性能层次结构(CNN < BiLSTM < BiLSTM+Attention < CNN-BiLSTM-attention)进一步表明,在相同的实验数据集中逐步结合这些组件可以提高解码性能。特定于类别的注意力图进一步展示了N个运动类别之间的不同时间加权模式(补充图S2)。重要的是,这种性能层次结构在从三只动物获得的所有六个独立记录中保持一致,表明混合架构的解码优势反映了可泛化的神经元群体动态,而不仅仅是数据集特定的效应。
为了评估解码性能的鲁棒性和泛化能力,我们使用了来自三只小鼠的数据进行了跨记录评估,每只动物有两个独立的视野(FOVs)(数据集1A-3B)。该分析测试了混合CNN-BiLSTM-attention模型的解码优势是否在动物和神经元群体中是一致的,而不是由单个FOV或记录特定特征驱动的。在所有运动类别(对侧、同侧和多类)中,混合模型在FOVs和动物之间表现出一致的高解码性能(图3)。每种颜色代表来自单只动物的数据,配对点对应于从该动物获得的两个FOVs。性能值以平均值±标准差(SD)的形式报告(表3)。混合模型在对侧(0.91-0.93)、同侧(0.89-0.91)和多类解码(0.83-0.85)方面的准确性在动物之间保持稳定,表明在神经元群体和受试者之间是一致的泛化。
这些结果表明,从中等规模神经元集合活动中解码熟练的运动行为受益于结合了空间特征提取、时间序列建模和自适应时间加权的集成架构。仅包含CNN和仅包含BiLSTM的模型提供了基线比较,代表了仅依赖空间和时间解码策略。它们的较低性能表明,准确的解码需要集成的时空表示,而不是仅依赖于空间相关性或时间动态的模型。观察到的性能层次结构(CNN < BiLSTM < BiLSTM+Attention < CNN-BiLSTM-attention)进一步表明,在相同的实验数据集中逐步结合这些组件可以提高解码性能。特定于类别的注意力图进一步展示了N个运动类别之间的不同时间加权模式(补充图S2)。重要的是,这种性能层次结构在从三只动物获得的所有六个独立记录中保持一致,表明混合架构的解码优势反映了可泛化的神经元群体动态。
这些结果表明,从中等规模神经元集合活动中解码熟练的运动行为受益于结合了空间特征提取、时间序列建模和自适应时间加权的集成架构。仅包含CNN的模型和仅包含BiLSTM的模型提供了基线据我们所知,这是首次在基于2P钙成像的运动解码背景下应用消融分析技术。这些发现共同突显了将细胞分辨率光学成像与先进的深度学习架构相结合,以从神经元群体活动中解码复杂运动行为的潜力。鉴于中风和TBI等神经损伤经常导致步态和协调能力缺陷(Bechay等人,2022年;Dever等人,2022年),从单侧大脑皮层集合预测双侧运动输出的能力对神经假体和脑机接口(BCI)具有重要意义。虽然本研究主要关注兴奋性神经元群体,但将该框架扩展到包括抑制性网络可能会进一步提高解码性能,并提供对熟练运动控制电路级组织的更深入的机制理解。抑制性中间神经元表现出独特的放电统计特性和快速的时间动态,在塑造兴奋性群体活动中起着关键的调节作用(Cardin,2018年;Saberi等人,2025年;Zhang等人,2021年)。结合兴奋性和抑制性神经元的记录将使解码模型能够捕捉到塑造群体活动和运动网络时间协调性的互补性兴奋-抑制动态。因此,整合抑制性中间神经元可能会提高模型解析中尺度水平上运动编码的细微时间结构和调节相互作用的能力。
**材料与方法**
**实验模型**
所有程序均按照美国国立卫生研究院的动物保护指南进行。通过将B6;DBA-Tg(tetO-GCaMP6s)2Niell/J(杰克逊实验室)与B6.Cg-Tg(CamK2a-tTA)1Mmay/DboJ(杰克逊实验室)杂交,获得了CaMKII-tTA/tetO-GCaMP6s转基因小鼠,以确保GCaMP6s的持续表达。本研究中使用了4个月大的CaMKII-tTA/tetO-GCaMP6s雄性小鼠。小鼠在无病原体条件下饲养,并维持12小时光照/黑暗周期,可自由获取食物和水。
**常规手术**
每只小鼠接受一次手术。手术在1%异氟醚麻醉下进行,初始麻醉浓度为4%。使用手持牙科钻头(0.1毫米钻头)在立体定向框架(David Kopf Instruments,美国加州)中进行了开颅手术。剃除头皮、清洁并切除头皮,清洁颅骨,用组织胶(VetBond,3M)将伤口边缘粘贴在颅骨上,在前肢运动皮层区域(左半球)制作了一个4毫米的圆形开颅孔,以便记录M1神经元网络。然后放置一个5毫米的圆形盖玻片(Harvard Apparatus)在开颅孔上,并用组织胶(VetBond,3M)固定到位。接着在盖玻片上标记出bregma的精确位置,以确定和稳定视野(FOV)。将定制的不锈钢头部固定器(Krazy Glue)粘贴在每只动物的颈部,用于头部固定记录。随后用牙科丙烯酸粉末(Ortho Jet;Lang Dental)覆盖颅骨表面、玻璃板和头部固定器的基部。小鼠被留置三周以恢复。
**行为训练和前肢追踪**
在头部固定并适应网格行走轮之前,对小鼠进行了广泛的处理。制作了一个定制的网格行走轮,用于在2P钙成像下追踪复杂运动。将1×1厘米的正方形网格切割成7英寸宽的部分,并安装在一个9英寸宽的支架上。为了驱动轮子,将一个小直流电机(Greartisan DC12V,RPM5)连接到轮子的轴上,使网格能够向前移动。这种调整迫使小鼠以可调速度前进。使用红外敏感相机(Genie Nano,Teledyne DALSA)记录行为,该相机面向小鼠安装。红外照明在黑暗的显微镜环境中进行2P显微镜观察时实现了行为追踪。适应和训练期结束后,所有会话都以相同的轮子速度进行记录。行为分析基于先前建立的标准手动进行,并标记了脚步帧(Bechay等人,2022年;Latifi等人,2024年)。
**2P钙成像与分析**
体内2P钙成像使用Ultima 2Pplus显微镜(Bruker 453 Corporation)进行,由Prairie View软件(Bruker Corporation)控制。用于成像的GCaMP6s激发源是固定波长的920纳米飞秒激光器(Axon 920,来自Coherent Inc.)。使用16×0.8 NA(尼康)水浸物镜,获得1135.5×1135.5微米的视野(FOV)大小。总功率通过Pockels单元(Conoptics)调节,并在所有实验中保持在50毫瓦或以下。使用共振振镜扫描仪以15赫兹(每秒15帧)的速度获取图像。原始记录文件使用Prairie View软件转换为tiff文件。自定义编写的MATLAB软件和ImageJ(NIH)用于分析提取的数据(Latifi等人,2024年;Latifi等人,2020年)。如前所述,选择每个FOV中背景强度(视频中最暗区域)高出30%以上的感兴趣区域(ROIs)。这些ROI的大小也被限制在40到120微米2之间。输出矩阵包含了所有潜在的ROI及其荧光轨迹,每个ROI都手动检查其形态和荧光轨迹。荧光强度转换为ΔF/F?值,通过从每帧的荧光中减去ROI的平均荧光并除以平均荧光来计算(F(t) – F?)/F?。通过应用MATLAB的平滑和峰值检测函数来检测钙瞬变峰值。未超过ΔF/F?均方根的峰值不被视为钙瞬变。然后对所有ΔF/F?轨迹应用反卷积算法,以去除GCaMP6s信号的非生理性缓慢衰减,并使钙瞬变更加清晰(Pnevmatikakis & Giovannucci,2017年)。
**混合CNN-BiLSTM模型架构与训练**
2P钙成像产生了代表单侧M1在网格行走过程中神经元群体活动的逐时间矩阵。每次试验的结构如下:
(1) \(X = x_1, x_2, \ldots, x_T \in \mathbb{R}^{T \times N}\),其中\(T = 32\)帧,每个视野有\(N\)个神经元。序列长度大约对应于本研究中使用的15赫兹成像速率下的2秒活动时间,旨在捕捉运动事件周围神经元活动的时间演变,包括运动开始前的准备活动以及钙瞬变的上升和衰减。时间注意力分布表明,模型将注意力分布在输入序列的运动前部分(补充图S1)。
每个时间向量:
(2) \(x_t = [n_{t1}, n_{t2}, \ldots, n_{tN} \in \mathbb{R}^N\),其中\(n_{ti}\)表示时间\(t\)时神经元\(i\)的活动(Sussillo等人,2016年)。为了解决神经元放电率的高变异性并确保训练的稳定性,我们的模型在其架构中直接实现了分层归一化策略(Ioffe & Szegedy,2015年)。我们没有应用静态预处理归一化,而是在整个网络中实现了动态批量归一化。这从CNN层开始:
(3) \(x^ = x - \mu_B \sigma_B^2 + \epsilon\),其中\(\mu_B\)和\(\sigma_B^2\)是跨小批量的平均值和方差,\(\epsilon\)是一个用于数值稳定性的小常数(Ioffe & Szegedy,2015年)。我们在每个卷积层之后应用这种归一化,维度逐渐从\(N\)变为\(64\)、\(128\)、\(256\)通道。
这种动态归一化方法通过8组的组归一化(Wu & He,2018年)对跳过连接输出进行了补充(He等人,2016年):
(4) \(h_{\text{combined}} = \text{GroupNorm}(h_3 + h_{\text{skip})\),以及输出头部的层归一化:
(5) \(h_{\text{norm}} = \text{LayerNorm}(h_{\text{pooled})\)
这种多层次归一化策略根据当前批量统计自适应地归一化神经元活动模式,同时通过组归一化在不同批量大小下保持稳定的训练(Wu & He,2018年)。跳过连接保留了神经元之间的重要相对活动模式,而输出头部的层归一化确保了最终表示的一致性(He等人,2016年)。这些归一化技术结合使用,允许我们的模型处理神经元数据的复杂统计特性,同时在多个尺度上学习有意义的表示。
我们混合架构的第一个主要组成部分是一个专门为处理高维神经元活动数据而设计的卷积神经网络(CNN)(Sussillo等人,2016年)。这个CNN作为主要特征提取器,将原始神经元记录转换为捕捉不同神经元活动模式之间复杂空间关系的有意义表示(Pandarinath等人,2018年)。该架构的设计反映了我们对M1网络在神经元群体层面如何编码行为信息的深刻理解(Churchland等人,2012年),每一层逐步构建更复杂的神经元活动模式表示。我们三层CNN架构的数学公式表示为:
(6) \(h_1 = Dropout(0.25)(ReLU(BN(W_1 \times x_1 + b_1))\)
(7) \(h_2 = Dropout(0.25)(ReLU(BN(W_2 \times h_1 + b_2))\)
(8) \(h_3 =ReLU(BN(W_3 \times h_2 + b_3))\)
第一个卷积层将输入维度从\(N\)个神经元(这里是581个)降低到64维特征空间,保留了行为相关的神经元模式,同时抑制噪声。使用3大小的核来捕捉视野内的局部空间相互作用,随后进行批量归一化以稳定记录之间的特征分布。后续的卷积层将特征空间扩展到128和256通道,使得能够表示神经元亚群体之间的协调活动和与前肢运动相关的高阶群体动态。为了保留细粒度的神经元信息并支持高效的梯度流动,通过1×1卷积实现了跳过连接(如下定义):
(9) \(h_{\text{skip}} = W_{\text{skip}} \times x, W_{\text{skip}} \in \mathbb{R}^{256 \times 581 \times 1}\)
跳过连接保留了否则可能通过连续卷积层减弱的高粒度神经元活动模式,并为训练期间提供了直接的梯度流动路径,有助于学习与运动预测相关的微妙神经元特征。1×1卷积使得原始神经元活动能够灵活重组,同时保持记录的原始时间分辨率。跳过路径通过逐元素加法与主卷积输出结合,并使用组归一化进行归一化:
(10) \(h_{\text{combined}} = \text{GroupNorm}(h_3 + h_{\text{skip})\)
使用八组的组归一化确保在不同批量大小和记录条件下特征缩放的稳定性,比批量归一化提供了更高维神经元活动的更一致归一化。通道维度的逐步增加(581 → 64 → 128 → 256)实现了从局部神经元相互作用到与运动相关的协调群体活动的层次化表示。
在CNN进行空间特征提取之后,应用了一个BiLSTM模块来模拟神经元活动的时间动态。因为与运动相关的神经元信号在准备和执行阶段都会演变,因此使用双向处理来捕捉运动前后展开的时间依赖性:
(11) \(h_t^{forward} = LSTM(\text{xt}, h_{t-1}, Ct^{-1}) \rightarrow\) \(h_t^{backward} = LSTM(\text{xt}, h_{t+1}, Ct+1)\)
前向处理随时间展开的神经元活动,捕捉运动开始前的群体动态,而反向处理则反向处理序列,以结合后续时间点的上下文信息。这种双向结构使模型能够捕捉仅在更广泛的时间背景下可解释的预备和执行相关神经元模式。LSTM单元操作遵循适用于神经元时间序列数据的标准公式:
(12) \(f_t = \sigma(W_f \cdot [h_{t-1}, x_t] + b_f)\)
遗忘门\(f_t\)控制保留或丢弃先前神经元活动的哪些方面,使模型能够考虑与运动预测相关的神经元特定时间持续性。Sigmoid激活函数将门值限制在0到1之间,允许选择性地过滤过去的活动。输入门定义为:
(13) \(i_t = \sigma(W_i \cdot [h_{t-1}, x_t] + b_i)\)
输入门\(i_t\)调节新神经元活动融入细胞状态的过程,使模型能够强调行为相关的变化,同时抑制随机波动。候选细胞状态计算为:
(14) \(C_t \sim = \tanh(W_c \cdot [h_{t-1}, x_t] + b_C)\)
提供了相对于基线的神经元活动增加和减少的有界表示。细胞状态通过结合保留的过去信息和新整合的活动进行更新:
(15) \(C_t = f_t \cdot C_{t-1} + i_t \cdot C_t\)(cellstateupdate)
允许持续的预备信号得以保持,同时适应与运动启动相关的快速转换。
输出门:
(16) \(o_t = \sigma(W_o \cdot [h_{t-1}, x_t] + b_o)\)
控制哪些细胞状态方面贡献于隐藏状态:
(17) \(h_t = o_t \cdot \tanh(C_t)\)
(hiddenstate)
产生了针对运动解码优化的时间上下文化表示的神经元活动。选择128的隐藏状态维度,以平衡表示能力和计算效率,从而捕捉群体动态和预测前肢运动的微妙时间变化。
隐藏状态\(h_t\)代表了每个时间步长的LSTM单元输出,结合了当前神经元活动及其时间背景,以支持运动预测。选择128的隐藏状态维度以平衡表示能力和计算效率。使用了两个堆叠的BiLSTM层来捕捉层次化的时间依赖性,在层之间应用了dropout(0.5)以减少过拟合并促进跨记录会话的泛化。双向处理使模型能够整合过去和未来的神经元活动,允许在更广泛的时间背景下解释预备、启动和执行相关的模式。注意力模块采用了标准的查询-键-值公式,使模型能够选择性地强调有信息量的时间特征,同时抑制不太相关的活动:
(16) headi = Attention(XWiQ, XiK, XiV)
(17) Attention(Q, K, V) = softmax(QKTdk)V
这种注意力机制使模型能够专注于对解码熟练前肢运动至关重要的时间显著神经模式。缩放因子dk确保了注意力计算过程中的数值稳定性,而softmax操作则为时间位置分配了相对权重,识别出对运动预测最有信息量的时间点。多头注意力机制使得能够在多个时间尺度上并行处理神经活动,各个头的输出被连接起来并进行线性投影:
(18) MultiHead(X) = Concat(head1, …, head8)WO
这种设计允许不同的头关注不同的时间特征,例如与运动启动相关的快速转换或与运动准备相关的持续活动,从而产生一个统一且行为相关的表示。模型的最后阶段包括多个特定于任务的输出头,它们在共享的基于注意力的表示上进行操作。一个主要的多类头使用层归一化、ReLU激活、dropout和softmax来预测三种行为状态(无脚步、同侧脚步、对侧脚步)。同时,两个二元分类头独立解码同侧和对侧前肢的运动,从而能够检测到在纯多类公式中可能被减弱的小型运动相关信号。第三个头使用线性输出层来预测未来的神经活动,作为正则化器来约束潜在表示,以反映连续的神经动态而不仅仅是纯粹的分类特征。这个辅助目标仅在训练期间使用,用于规范潜在表示,在行为解码时不使用。
模型训练采用了多任务损失函数,联合优化了行为解码和神经活动预测:
(19) Ltotal = w1Lmultifocal + w2Lleftfocal + w3Lrightfocal + w4LneuralMSE
其中,焦点损失用于多类和二元行为预测,以解决类别不平衡问题,均方误差则惩罚神经活动预测中的偏差。特定于任务的权重在训练过程中平衡了每个目标的贡献。
从神经数据中解码行为本质上受到强烈类别不平衡的挑战,因为运动事件(脚步)相对于非运动时期来说发生得很少。为了解决这种不平衡,我们采用了焦点损失,这是一种修改后的交叉熵目标,它通过降低分类良好的样本的权重来强调罕见但行为相关的事件。焦点损失定义为:
(20) Lfocal = ?α(1 ? pt)γlog(pt)
其中pt表示真实类别的预测概率。基于经验优化,参数被设置为α = 2.0和γ = 2.0,以平衡罕见的脚步事件和占主导地位的非脚步时期,并将学习重点放在模糊的神经模式上。
连续神经活动的预测使用均方误差(MSE)损失进行优化,反映了钙信号的分级性质。焦点损失用于行为分类,MSE用于神经预测的结合使用,使得可以在分类和连续目标之间实现平衡的优化。模型训练使用了AdamW优化器(λ = 1×10?5)进行权重衰减,以规范模型参数并减轻对变化较大的神经信号的过拟合:
(21) θt+1 = θt?ηt(?ft(θt) + λθt)
应用了一轮学习率调度,最大学习率为1×10?4,并且有一个包含总训练迭代次数30%的预热阶段,以便在神经数据特有的噪声梯度条件下实现稳定收敛:
η(t) = {η_max·t/t_warmup, if t ≤ t_warmup; η_max·1/2(1 + cos(π·(t?t_warmup)/(T?t_warmup)), if t > t_warmup}
(22)
为了确保在学习长时间依赖性时的训练稳定性,应用了梯度裁剪,最大范数为1.0,以防止在通过神经序列进行反向传播时发生梯度爆炸。
**消融分析和计算流程**
1) 仅CNN架构:空间模式识别基线
仅CNN模型测试了这样一个假设:同时记录的神经元之间的空间相关模式包含足够的运动解码信息。这种架构作为一个关键的基线,用于量化时间处理的重要性。
**计算架构:**
- 输入转换:x ∈ RB × T × N → xspatial ∈ RB × N × T
- 分层卷积:h1 = σ(BN(Conv1D(xspatial, 64, k = 3))
- h2 = σ(BN(Conv1D(h1, 128, k = 5))
- h3 = σ(BN(Conv1D(h2, 256, k = 7))
- 全局聚合:favg = GAP(h3), fmax = GMP(h3)
- fcombined = [favg, fmax] ∈ RB × 512
- 特征处理:z = FC128(ReLU(FC64(fcombined))
- 多任务输出:{ymulti, ycontra, yipsi} = {FC3(z), FC2(z), FC2(z)}
该架构采用逐渐增加的核大小(3, 5, 7)来捕捉多个时间尺度上的时间模式,对应于在15 Hz采集率下的短时间窗口(约200–470毫秒),这与钙瞬变的特征动态一致。在这个框架中,神经元被视为特征通道,并沿时间维度应用卷积,允许CNN捕捉神经元群体内的集合级活动模式,而不是依赖于神经元的物理空间位置。然后使用全局池化策略来聚合整个序列的信息。这种架构的较差性能表明时间序列结构对于神经运动解码至关重要。
2) LSTM + 注意力架构:增强的时间处理
这种架构测试了仅使用注意力机制是否能够弥合基本时间处理和完整混合架构之间的性能差距。配置保持了之前描述的原始LSTM规格:
- 基础LSTM配置(隐藏层大小:64)
- 层数:2
- 序列长度:32个时间步
- 全连接层:64→32
- Dropout率:0.5
3) 多头时间注意力增强
- LSTM处理:hlstm = LSTM(x) ∈ RB×T×64
- 注意力投影:Q = hlstmW
K = hlstmW
V = hlstmW
- 缩放注意力:Attni = softmax(QiKiTdk)Vi
- 多头连接:MHA = Concat(Attn1, ..., Attn4)WO
- 时间聚合:z = MeanPool(MHA) + hlstm[:,?1, :]
注意力机制使用了4个头和48维的投影,能够在不同尺度上并行处理时间模式。残差连接保留了原始LSTM的最终隐藏状态,同时结合了加权的时间上下文。性能提升到平均准确率为78.8%,证明了注意力在识别行为相关时间模式中的关键作用。
**作者声明**
Shahrzad Latifi(S.L.):概念化、方法论、研究、软件、形式分析、可视化、监督、资金获取、撰写(原始草案)、审阅与编辑。
J.C.:研究、行为数据整理、形式分析。
G.M.:软件、方法论、可视化、形式分析、可视化、撰写、审阅与编辑。
L. 设计了这项研究。J.C.和S.L.进行了实验。G.M.、R.L.和S.L.设计了软件并分析了网络数据。J.C.分析了行为数据。R.L.和S.L.撰写并编辑了手稿。
**数据和代码的可获取性**
本研究中使用的所有分析代码都可以在LatifiLab的GitHub仓库(https://github.com/LatifiLab/neuronal_decoding/tree/main)公开获取。为了提高可重复性并便于独立验证结果,将在发表后将包括去卷积的钙迹线和用于模型评估的相应行为标签在内的代表性处理后的成像数据子集存放在公共仓库中。在本研究期间生成的额外数据集也可以根据合理请求从相应作者处获得。