《Biosensors》：A Deep Learning Framework for EEG-Based Decoding of Visually Imagined Arrows with Different Colors and Directions
编辑推荐：
脑-机接口（BCI）系统在医疗、教育和娱乐领域展现了显著潜力。近期，视觉意象（VI）已成为传统运动意象（MI）范式的替代方案，为灵巧辅助设备提供了更广泛的控制信号谱。在本研究中，研究人员提出了一种新颖的BCI框架，用于分类由不同颜色和方向定义的视觉想象箭头。该
脑-机接口（BCI）系统在医疗、教育和娱乐领域展现了显著潜力。近期，视觉意象（VI）已成为传统运动意象（MI）范式的替代方案，为灵巧辅助设备提供了更广泛的控制信号谱。在本研究中，研究人员提出了一种新颖的BCI框架，用于分类由不同颜色和方向定义的视觉想象箭头。该框架采用Choi-Williams时频分布（CW-TFD）构建脑电图（EEG）信号的联合时频空间表示（TFSR）。生成的TFSR转换为灰度图像，并作为输入提供给新设计的卷积神经网络（CNN），该网络对由颜色和方向属性联合定义的16种视觉想象箭头进行解码。研究人员从16名受试者收集了新的EEG数据集，这些受试者想象了16种不同的箭头（包含4种颜色和4种方向）。该框架在16类分类中达到了95.05%的平均分类准确率和0.947的Cohen’s kappa得分。为了全面评估所提出方法，进行了三项比较分析。首先，评估了多种时频表示用于基于VI的EEG解码性能。其次，将所提出的CNN架构与几种最先进的预训练深度学习模型进行了基准测试。第三，将该框架与使用手工特征的传统机器学习分类器进行了比较。结果表明，基于CWD的TFSR结合所提出的CNN始终优于替代表示和分类模型。这些发现证明了在受试者特定的基于EEG的BCI设置中解码扩展的视觉想象颜色-方向箭头命令的可行性，支持进一步开发校准的基于VI的BCI系统用于辅助和交互应用。
**论文解读：基于EEG的视觉想象箭头解码深度学习框架**
**研究背景与问题**
脑-机接口（BCI）系统在医疗、教育和娱乐领域具有重要潜力，尤其能帮助神经损伤或瘫痪患者实现与外部设备的交互。传统上，多数BCI系统依赖运动意象（MI）范式，即用户想象肢体动作而不实际执行。然而，MI范式存在局限：可提取的判别控制信号数量有限，且许多用户难以进行纯运动想象，更倾向于形成视觉表征而非运动模拟。这限制了MI-BCI在复杂辅助设备（需丰富指令集）中的可扩展性。为此，研究人员探索视觉意象（VI）作为替代范式，VI能提供更广泛的控制信号谱。早期VI研究已取得进展，但现有工作主要集中于简单二类或低维多类任务，难以扩展至实际辅助控制场景；同时，许多方法依赖传统时频变换或手工特征，未能充分捕获非平稳EEG信号的联合时-频-空动态。此外，颜色作为基本视觉属性，其在VI-BCI中的解码研究尚少，但已有研究表明视觉颜色信息可从头皮EEG解码。本研究旨在解决上述挑战：设计一种可扩展的框架，从EEG信号中解码同时包含颜色和方向属性的视觉想象箭头命令，以提高多类解码的准确性和控制维度。
**研究内容与结论**
研究人员提出了一种两阶段深度学习框架。第一阶段，采用Choi-Williams时频分布（CW-TFD）构建高分辨率的联合时频空间表示（TFSR）；第二阶段，设计了一种新型卷积神经网络（CNN）架构，该架构由两组层次组成：第一组自动提取联合时频空间特征，第二组对想象箭头的颜色和方向进行编码。利用新收集的16名健康受试者数据集（每位受试者想象4种颜色×4种方向的16种箭头，每种箭头80次试验），在受试者特定设置下评估框架。该框架在16类解码中达到95.05%的平均准确率和0.947的Cohen’s kappa得分。为验证框架优越性，研究人员进行了三项比较：对比不同时频表示（STFT、CWT vs CW-TFD）；对比所提出CNN与预训练模型（ResNet-50、VGG-19等）；对比所提出框架与传统机器学习分类器（SVM、k-NN等）基于手工特征的分类。结果表明，基于CW-TFD的TFSR结合所提出CNN在所有对比中均表现最佳。此外，属性特定分析（颜色单独解码、方向单独解码）和固定方向颜色解码分析进一步证实，颜色和方向两个视觉属性均贡献了判别信息，且颜色解码独立于方向。论文发表在《Biosensors》。
**主要关键技术方法**
研究人员采用Choi-Williams时频分布（CW-TFD）将每个电极的EEG信号（想象阶段7秒，采样率256 Hz，分7个1秒窗口）转换为二维时频表示（TFR），频率范围为0–128 Hz，分为4个频带。每个TFR归一化为灰度图像（32×256像素）。来自15个电极的灰度TFR图像垂直拼接成联合时频空间表示（TFSR，480×256像素）。随后，设计了两块CNN架构：块B1（时频特征提取层）在每电极TFR内应用2D卷积（8×8像素，垂直步长8），提取局部时频模式；块B2（空间特征提取层）在电极间应用2D卷积，捕获空间依赖性。块B3为分类层（全连接+softmax，16类输出）。训练采用重复10折交叉验证（试验级划分），优化使用随机梯度下降（SGD），学习率0.001，50个epoch。所有评估为受试者特定，未进行跨受试者分析。数据采集使用BioSemi ActiveTwo系统（2048 Hz采样率），16电极（10–20系统），预处理包括带通滤波（0.1–100 Hz）、重参考至Cz、基线校正、降采样至256 Hz、自动伪迹去除（AAR工具箱）。
**研究结果**
**3.1 所提出CNN方法的结果**
通过受试者特定重复10折交叉验证，所提出CNN在16类视觉想象任务中平均准确率（Acc）为95.05%，Cohen’s kappa得分为0.947。受试者10达到最高性能（Acc=98.5%，kappa=0.984），受试者15最低（Acc=80.0%，kappa=0.787）。所有受试者kappa值均超过0.78，对应“实质一致性”至“几乎完全一致性”。
**3.2 所提出CNN方法的运行时间**
平均TFSR构建时间（t
con）为0.53秒，模型训练时间（t
train）为547.9秒，单样本分类时间（t
inf）为0.14秒，端到端处理时间（t
end-end）为0.67秒。该亚秒级推理时间表明框架适用于在线BCI应用（在受试者特定校准后）。
**3.3 使用不同时频分析技术的结果**
对比STFT和CWT构建的TFSR，基于CW-TFD的TFSR在16类分类中表现最高（Acc=95.05%，kappa=0.947），CWT次之（Acc=88.98%，kappa=0.882），STFT最低（Acc=81.32%，kappa=0.801）。Friedman检验显示CW-TFD显著优于CWT和STFT（p<0.001）。
**3.4 使用手工特征和传统分类器的结果**
从CW-TFD-TFSR提取12种时频特征（每电极），输入SVM、k-NN、朴素贝叶斯（NB）和随机森林（RF）分类器。所提出CNN（Acc=95.05%，kappa=0.947）显著优于所有传统分类器：SVM（Acc=69.32%，kappa=0.673）、RF（Acc=65.01%）、k-NN（Acc=53.11%）、NB（Acc=46.50%）。Friedman检验证实所提出CNN显著优于所有传统分类器（p<0.001）。
**3.5 使用预训练CNN的结果**
将TFSR调整大小并复制至3通道，输入ImageNet预训练的GoogLeNet、ResNet-50、ShuffleNet和VGG-19，替换分类层微调20个epoch（学习率0.1）。所提出CNN（Acc=95.05%，kappa=0.947）显著优于所有预训练模型：GoogleNet（Acc≈11%）、VGG-19（Acc≈16%）、ResNet-50（Acc=66.54%）、ShuffleNet（Acc=64.41%）。Friedman检验显示所提出CNN显著优于所有预训练模型（p<0.001）。分析认为预训练模型与EEG TFSR域不匹配可能导致负迁移。
**3.6 颜色和方向的属性特定解码**
将16类任务分解为单独的4类颜色解码和4类方向解码。颜色解码平均Acc=96.33%，kappa=0.951；方向解码平均Acc=98.22%，kappa=0.976。混淆矩阵显示对角线值高、非对角线值低，表明两类属性均被有效解码。
**3.7 固定方向颜色解码**
在固定箭头方向下（向下、向上、向右、向左）分别进行4类颜色解码。各方向颜色Acc分别为93.5%（向下）、94.0%（向上）、94.2%（向右）、94.3%（向左），kappa值均高于0.91。证明颜色解码独立于方向。
**讨论与结论**
讨论部分指出，所提出框架在16类视觉想象任务中展示了强大解码能力，受试者间差异（如“BCI低效”用户）导致性能波动，但整体kappa值均属“实质一致性”以上。属性特定和固定方向分析证实颜色和方向均贡献判别信息，且颜色解码独立于方向，支持颜色作为VI-BCI额外控制维度的可行性。运行时间分析表明框架适用于实时应用（亚秒级推理）。三项比较验证了CW-TFD时频表示、端到端CNN结构和任务特定设计的优势。统计检验（Friedman检验+Wilcoxon后验）确认所提出CNN显著优于所有替代方法。与现有研究（表6）对比，该框架在复杂多类任务中达到竞争性甚至更优性能。研究局限性包括：仅采用受试者特定评估，未测试跨受试者泛化；仅使用单次新数据集（未找到公开兼容数据集）。结论部分翻译如下：本研究开发了一个深度学习框架，用于从EEG信号中解码视觉想象箭头，通过CW-TFD构建TFSR。实验结果表明，所提出的基于TFSR的方法在捕获多属性视觉想象任务的判别模式方面具有有效性。所提出CNN的平均Acc为95.05%，kappa为0.947，优于传统分类器和预训练CNN模型。特别地，基于CW-TFD的表示一致优于STFT和CWT，确认了高分辨率时频分析在EEG解码任务中的重要性。运行时间分析进一步证实了该框架用于实时应用的可行性，具有亚秒级推理性能和稳定的跨受试者计算行为。这些发现应在本研究使用的受试者特定评估设计范围内解释。报告的结果展示了受试者特定解码性能，未评估跨受试者泛化或无校准部署。总体而言，所提出框架支持从EEG衍生的TFSR图像中准确进行受试者特定解码视觉想象彩色箭头，但需要进一步评估其在受试者独立和减少校准设置中的性能。因此，未来研究方向包括在兼容的视觉想象数据集可用时，在额外公共EEG数据集上评估该框架，并考察其与相关VI范式的泛化能力。
