用于跨session猴运动神经解码的带迁移学习(Transfer Learning)的CNN增强Transformer(CNN-Enhanced Transformer with Transfer Learning for Cross-Session Monkey Motor Neural Decoding)

《Electronics》：CNN-Enhanced Transformer with Transfer Learning for Cross-Session Monkey Motor Neural Decoding

　　

摘要：神经信号统计量的跨session变异性常导致分布偏移(distribution shift)，大幅降低运动解码模型的泛化性能。为此，本研究提出一种结合分布对齐(distribution alignment)的CNN增强Transformer(CNN-Trans-DA)，其集成本地时序特征提取、全局序列建模及轻量级域自适应(domain adaptation)策略。在Transformer编码器前引入一维卷积模块(1D-CNN)以捕获局部放电模式(firing pattern)，并利用多头注意力(multi-head attention)学习长时程时序依赖。对于跨session自适应，设计联合分布对齐(joint distribution alignment)方法，通过最大均值差异(Maximum Mean Discrepancy, MMD)和相关性对齐(CORAL, Correlation Alignment)同时最小化边缘分布(marginal distribution)与条件分布(conditional distribution)差异。利用猕猴四方向指尖运动数据，所提CNN-Trans-DA模型在单session解码中准确率达84.64%，优于标准Transformer(81.22%)、CNN(80.78%)和双向长短期记忆网络(BiLSTM, 79.29%)。跨session迁移实验中，模型保持82.42%的解码准确率，较无分布对齐的模型有明显提升。结果表明该方法可有效应对session引起的分布漂移(distribution drift)，实现稳健的运动意图解码(motor intention decoding)，为跨session脑机接口(brain-machine interface, BMI)应用提供可扩展且具泛化性的解决方案。

论文解读：《用于跨session猴运动神经解码的带迁移学习(Transfer Learning)的CNN增强Transformer》

一、研究背景与意义

脑机接口(Brain-Machine Interface, BMI)在运动功能重建与神经康复中具有重要地位，猕猴运动神经解码因非人灵长类神经活动与人类运动控制高度相似，常被用于评估解码算法有效性。然而实验环境、神经状态、记录设备及任务条件的差异会引起神经信号统计量变化，产生分布偏移(distribution shift)，致使模型跨条件(cross-condition)泛化性能显著下降。传统线性模型及单一的非线性模型（如卷积神经网络CNN仅擅长局部空间模式、长短期记忆网络LSTM仅擅长时序依赖）缺乏统一的时空融合机制，难以充分挖掘神经群体活动的时空耦合动力学。标准Transformer虽可通过全局自注意力建模长时程依赖，但直接用于处理神经尖峰序列(spike train)时对短时局部放电模式捕捉不足，且在跨session场景下面临特征分布失配问题。现有迁移学习多关注深层特征对齐而忽视神经信号底层统计特性（如放电率变化、噪声变异性和session依赖性波动）的差异。为此，研究人员提出CNN增强Transformer结合统计迁移学习（CNN-Trans-DA），旨在同时提取局部时空特征与全局时序依赖，并通过边缘与条件分布联合对齐缓解跨session分布漂移，发表于《Electronics》。

二、主要关键技术方法

研究人员使用已发表的猕猴(Macaca mulatta)四方向指尖运动任务多通道尖峰记录数据集，经伪迹剔除、40 ms窗宽尖峰计数(spike counting)、各通道Z-score标准化、缺失通道插值（>5%缺失则舍弃session）及类别平衡加权处理后获1893个有效样本。构建CNN-Enhanced Transformer：原始T×C尖峰计数矩阵经一维卷积(1D-CNN, kernel size k, ReLU激活)提取局部时序模式并降噪，后经线性投影与位置编码(Positional Encoding)送入多层Transformer编码器（多头自注意力Multi-Head Self-Attention + 前馈网络Feed-Forward Network + LayerNorm），序列特征经全局平均池化(Global Average Pooling)输入两层多层感知机(Multilayer Perceptron, MLP, GELU激活)与Dropout分类为四方向。跨session迁移引入统计分布对齐——联合最大均值差异(Maximum Mean Discrepancy, MMD)对齐边缘分布与相关性对齐(CORAL, Correlation Alignment)对齐二阶协方差矩以校正特征相关偏移，总损失为源/目标分类交叉熵加λ₁·L_MMD+λ₂·L_CORAL。PyTorch实现，Adam优化器(lr=1×10^-4, batch=64, 200 epoch)，先源session预训练后目标session微调。

三、研究结果

4.1. Data Preprocessing and Session Parameter Configuration

原始信号取延迟0.1 s，划分为20个时窗(num_windows, 每窗0.04 s)，总分析时长0.9 s，依预处理标准剔除异常试次后保留1893个有效样本，确保跨sample时序分辨率和分布一致性。

4.2. Decoding Performance on Monkey Motor Neural Signals

单session解码四分类任务中，CNN-Enhanced Transformer平均准确率84.64%，较标准Transformer(81.22%，提升3.42个百分点)、CNN(80.78%)和BiLSTM(79.29%)更优，表明1D-CNN前端增强局部放电动态捕捉与噪声抑制可改善精度与稳定性。训练/验证损失平滑下降，验证准确率约50 epoch后稳定于85%附近；超参数分析显示lr=1×10^-4、Dropout=0.4、权重衰减1×10^-5配置最优(82.3±1.2%)。

4.3. Cross-Condition Transfer Decoding Results

不同日期session分别作为源域和目标域进行跨session迁移，CNN-Trans-DA（含MMD+CORAL对齐）达最高跨session准确率82.42%，超越无分布对齐Transformer基线(提升1.92%)。损失收敛曲线平滑且验证准确率持续上升，混淆矩阵显示四类运动识别均衡，误分主要集中在生理相邻运动方向（与神经表征自然重叠一致）。超参分析表明λ₁=λ₂=0.1的加权方案在分类损失与对齐损失间取得最佳权衡。

4.4. Discussion

CNN前端强化局部特征敏感性与噪声鲁棒性，统计迁移机制有效抵消session间分布漂移，二者协同使模型在单session高精度与跨session稳健性间取得良好平衡。MMD与CORAL仅需训练/自适应阶段计算，在线推理仅为标准前向传播，不增加实时解码负担。框架可推广至不同通道数、采样率的神经信号及连续轨迹解码，ECoG/EEG等人类数据经输入表示调整亦可适用，但需更大跨被试跨任务数据集验证。

四、结论(Conclusions)翻译

为解决跨session运动神经解码中分布偏移及模型泛化不足问题，本研究提出结合卷积神经网络与Transformer且经统计迁移学习增强域自适应的混合架构(CNN-Trans-DA)。卷积模块有效捕获局部时空放电模式，自注意力机制建模长时程时序依赖；通过联合对齐源域与目标域的边缘分布与条件分布，显著削弱跨session变异性。实验结果表明所提方法在猕猴运动意图解码任务中明显优于CNN、BiLSTM及标准Transformer基线；跨session迁移设置下CNN-Trans-DA取得更高分类准确率、更强训练稳定性和更优收敛行为，证实其对真实神经信号变异性的鲁棒性。未来可从以下方向拓展：(1)引入注意力可视化与归因分析提升可解释性；(2)探索对抗训练、元学习(meta-learning)或自监督预训练(self-supervised pretraining)以增强跨个体/跨任务适应性；(3)融合皮层信号与肌电(EMG)、行为轨迹等多模态生理信息构建更具生物学合理性的解码系统。本研究为高泛化BMI解码模型开发提供新方法学见解，推动脑机接口系统由受控实验室环境向实际应用迈进。