基于XR的可穿戴脑机接口中SSVEP分类的深度学习方法采用

《Sensors》：Adoption of Deep Learning Methods for SSVEP Classification in XR-Based Wearable Brain–Computer Interfaces

　　

本文研究了可穿戴扩展现实（XR）脑机接口（BCI）中的稳态视觉诱发电位（SSVEP）分类，具有三重目标。首先，研究人员研究了基于深度学习方法（DL）的SSVEP分类在XR刺激下的有效性，其中平台相关的渲染、光学透视可视化、降低的亮度对比度以及与真实环境的交互可能会降低诱发的脑电图（EEG）响应质量。其次，研究人员根据测量不确定度表示指南（GUM）提出了一种基于计量学的性能评估，将分类准确率和信息传输率（ITR）表示为最佳估计值及相关的标准不确定度。最后，研究人员分析了EEG通道缩减，以支持轻量级XR-SSVEP实现。作为代表性的SSVEP特定深度学习模型，SSVEP时频融合网络（SSVEP-TFFNet）在一个公开的XR基准数据集上进行了评估，该数据集包含使用Microsoft HoloLens 2采集的30名受试者和1200次试验。研究人员与滤波组典型相关分析（FBCCA）进行了受试者独立比较，同时将受试者内和受试者间变异性纳入不确定度评估。结果表明，在考虑的XR条件下，SSVEP-TFFNet优于FBCCA。此外，缩减的6通道和4通道配置保持了接近全8通道导联的性能。这些发现为适当选择的深度学习模型在基于XR的SSVEP分类中的潜力提供了证据，并支持具有不确定度意识、减少电极的可穿戴实现。

**论文解读：基于XR的可穿戴脑机接口中SSVEP分类的深度学习方法**

**1. 研究背景与问题**
脑机接口（BCI）通过将大脑活动转换为控制命令，实现用户与外部设备的直接通信。在非侵入式BCI中，脑电图（EEG）因其成本、便携性、时间分辨率和部署便利性之间的良好平衡而被广泛采用，特别适用于可穿戴BCI系统。稳态视觉诱发电位（SSVEP）是一种常用的EEG-BCI范式，用户注视以特定频率闪烁的视觉目标时，会诱发周期性的EEG响应。传统SSVEP-BCI系统多依赖计算机屏幕（CS）刺激，在受控条件下提供视觉刺激，虽可重复性好但便携性受限。扩展现实（XR）平台通过头戴式显示器（HMD）将视觉刺激集成到用户周围环境中，支持更自然、面向应用的交互场景，但引入了额外的变异性，包括显示引擎、光学组合器透明度、环境光照、对比度降低、刷新率限制以及虚拟刺激与真实背景的交互等因素，这些都会影响SSVEP响应的强度、信噪比（SNR）及时频特性，进而影响分类性能。此外，EEG与HMD的集成还影响舒适度、电极放置和信号质量。因此，CS刺激下观察到的分类器行为不能直接转移到XR操作条件下。

传统方法如典型相关分析（CCA）和滤波组典型相关分析（FBCCA）因有效性和可解释性被广泛使用，但依赖固定正弦模板和线性相关度量，在短时窗、低SNR或可变刺激条件下可能受限。深度学习方法（DL）可从EEG数据中直接学习判别性表征，但现有架构主要在CS数据集上设计和验证，在XR场景中的基准验证有限。为此，本研究旨在：第一，评估基于DL的SSVEP分类在XR场景中的潜力，选取SSVEP时频融合网络（SSVEP-TFFNet）作为代表性模型；第二，提出基于测量不确定度表示指南（GUM）的计量学性能评估，将分类准确率和信息传输率（ITR）表示为最佳估计值及标准不确定度，考虑受试者内和受试者间变异性；第三，开展EEG通道缩减分析，以支持轻量级XR-SSVEP实现。论文发表在《Sensors》。

**2. 主要关键技术方法**
研究人员采用以下关键技术方法：（1）SSVEP-TFFNet：一种时频深度构架，包含并行的时间分支（TempNet）和频谱分支（SpecNet），分别处理时域和频域EEG表示，通过通道注意力机制和特征融合模块进行最终分类；（2）基于GUM的计量学性能评估：将分类准确率和ITR作为被测量，通过A类不确定度评定（受试者内变异性）和B类不确定度评定（受试者间变异性）计算标准不确定度；（3）嵌套留一法交叉验证（LOSO）：外环用于评估对新受试者的泛化性能，内环用于超参数选择；（4）通道缩减分析：从全8通道（PO7, PO3, POz, PO4, PO8, O2, Oz, O1）逐步缩减至6通道、4通道和2通道，评估性能-可穿戴性权衡。样本队列来源为公开的XR基准数据集，包含30名健康受试者（16男14女，21-34岁），使用Microsoft HoloLens 2进行XR刺激，EEG以250 Hz采样频率从8个枕部电极采集。

**3. 研究结果**

**3.1 分类性能**
研究人员对SSVEP-TFFNet在0.50 s、0.75 s、1.00 s、1.25 s的EEG分析时窗下进行了评估，并与FBCCA比较。结果显示，SSVEP-TFFNet在所有时窗下的分类准确率和ITR均优于FBCCA。最大ITR出现在0.75 s时窗，达到97.1 bit/min，而FBCCA为74.5 bit/min，提升22.6 bit/min。Wilcoxon符号秩检验表明，在0.75 s时窗下，SSVEP-TFFNet与FBCCA之间的差异具有统计学显著性（p=0.006）。总体混淆矩阵和受试者F1分数进一步揭示了类别特异性误分类模式和受试者间变异性。

**3.2 通道缩减评估**
从全8通道导联开始，研究人员评估了6通道（PO3, POz, PO4, O2, Oz, O1）、4通道（PO3, POz, PO4, Oz）和2通道（POz, Oz）配置。结果显示，6通道和4通道配置的性能接近全8通道。例如，在0.75 s时窗下，6通道ITR为95.3 bit/min，4通道为93.5 bit/min，均在全8通道的97.1 bit/min的2 bit/min以内。2通道配置则出现明显下降，ITR为78.1 bit/min。Wilcoxon符号秩检验显示，8通道与6通道或4通道之间无显著差异（p>0.05），而2通道在所有时窗下均显著低于全8通道（p<0.001）。

**4. 讨论与结论**
研究人员在讨论部分指出，SSVEP-TFFNet在XR条件下优于FBCCA，其时频设计能够联合处理平台依赖效应影响下的时域和频域特征，而基于GUM的计量学框架提供了更严格的性能比较，由于报告了标准不确定度，使得名义差异与估计精度相关联，有助于在决策时考虑不确定性。通道缩减分析表明，适度减少电极数（6或4通道）可在不显著损失性能的前提下提高可穿戴性，而过度缩减（2通道）会丢失关键空间信息。

研究结论部分（翻译原文）：
在这项工作中，研究人员研究了基于深度学习方法的SSVEP分类在可穿戴XR-BCI场景中的适用性。具体而言，研究人员在公开的XR基准数据集上评估了SSVEP-TFFNet，该数据集使用Microsoft HoloLens 2设备采集，并与传统基线方法FBCCA进行了比较。研究人员采用了基于GUM的计量学框架来评估分类准确率和ITR作为被测量，两者均以最佳估计值及相关的标准不确定度进行报告，考虑了受试者内和受试者间变异性。这种基于计量学的表述使得分类器性能能够超越名义值进行解释，这在XR设置中尤其重要，因为受试者依赖的响应和平台依赖的刺激条件可能影响解码可靠性。结果表明，SSVEP-TFFNet在考虑的所有时窗下均获得了比FBCCA更高的性能估计，且在0.75 s时窗下具有统计学显著改善。尽管这些发现是针对所考虑的架构、数据集和XR设备，但它们提供了证据表明，适当选择的深度学习模型可以改善基于XR环境中的SSVEP分类。最高ITR在短时窗0.75 s时获得，支持了短时窗解码在可穿戴SSVEP-BCI中快速命令传输的相关性。最后，通道缩减分析表明，6通道和4通道配置保持了接近全通道配置的性能，且无统计学显著下降。相反，2通道配置产生了明显的性能下降，表明过度通道缩减可能移除相关空间信息。这些结果支持了减少电极的XR-SSVEP实现的可行性，能够改善可穿戴性并简化采集设置。未来工作将扩展验证至其他深度学习架构、公开的XR数据集、XR设备以及实时闭环BCI实验。进一步方向包括研究自动通道选择策略以及沿整个计量学链传播不确定度，从EEG采集和输入信号表示到深度学习模型处理和最终分类结果。