编辑推荐:
为解决稳态视觉诱发电位(SSVEP)脑机接口(BCI)在短时间窗下分类精度不足的问题,本文提出一种融合滤波器组典型相关分析(FBCCA)与深度学习模型的子带一致性驱动融合控制方法。该方法通过子带一致性仲裁机制桥接两种解码范式:利用三个独立FBCCA子带在识别目
为解决稳态视觉诱发电位(SSVEP)脑机接口(BCI)在短时间窗下分类精度不足的问题,本文提出一种融合滤波器组典型相关分析(FBCCA)与深度学习模型的子带一致性驱动融合控制方法。该方法通过子带一致性仲裁机制桥接两种解码范式:利用三个独立FBCCA子带在识别目标频率上的一致性评估决策可靠性。当子带达成一致时,直接采用FBCCA结果;在子带不一致的情况下,则调用深度学习模型进行二次验证。基于公开BETA数据集中70名受试者的留一受试者交叉验证结果表明,在2秒时间窗、40个目标条件下,独立FBCCA的分类准确率为75.96%±19.44%,而所提出的融合方法(FBCCA + SSVEPformer)达到91.79%±9.72%,提升了15.83个百分点,其中约52.3%的试验由FBCCA独立完成,显著降低了GPU调用频率。在BCI控制无人机的验证实验中,该方法在标准飞行任务中达到95.0%的完成率。上述结果表明,子带一致性仲裁机制能够有效评估FBCCA决策可靠性,并与深度学习模型结合实现级联式高精度脑电信号识别。
论文解读文章
一、研究背景与问题
脑机接口(BCI)技术通过解码神经活动建立人脑与外部设备之间的直接通信渠道,在医疗康复、智能家居控制及专业设备操作等领域具有广阔应用前景。在各类BCI范式中,稳态视觉诱发电位(SSVEP)凭借高信噪比、快信息传输速率及最小用户训练需求,被广泛应用于实时控制系统。SSVEP的产生机制源于视觉皮层对周期性刺激的稳态响应:当受试者注视以固定频率闪烁的视觉刺激时,枕叶视觉皮层会产生与刺激频率及其整数倍谐波同步的节律电位。这一特性使频率识别成为SSVEP-BCI的核心任务。
在BCI控制无人机等动态任务中,缩短分析时间窗是提升交互速度的主要手段。然而,时间窗的缩短直接减少了可用于频谱分析的采样点数,并使谐波分量更易受噪声干扰。因此,如何在短时间窗内保证分类精度是当前SSVEP-BCI领域的核心问题。
现有SSVEP频率识别方法主要分为传统信号处理方法和基于深度学习的方法。传统方法中,FBCCA是最具代表性的免校准算法,其核心思想是通过一组带通滤波器将多通道脑电信号分解为多个子带分量,计算各子带与刺激频率参考模板之间的典型相关系数,并通过加权平方和融合得到最终判别指标。FBCCA具有计算成本低、实时性能优异、易于嵌入式部署等优点,但其采用固定权重融合子带特征,易受干扰:当基频受噪声干扰时,由高权重子带主导的融合结果可能偏离真实目标,在低信噪比或短窗口条件下识别精度显著下降。
尽管已有大量工作从特征提取和算法优化两方面改进FBCCA在短时间窗下的性能,但其核心仍聚焦于“如何提高单一分类器的精度”。现有研究普遍忽略的一个问题是:FBCCA内部多个子带之间是否存在物理相关性信息,能否利用该信息评估当前决策的置信度?在短时间窗条件下,仅依赖加权融合得到的单一分数往往掩盖了子带间的真实分歧,难以判断决策是否可靠,易产生“虚高置信度”误判。
在深度学习领域,SSVEPformer首次将Transformer架构应用于SSVEP分类,DG-Conformer通过卷积-Transformer混合架构实现免校准跨受试者分类。然而,这些模型需要对所有试验进行前向推理,且通常需要GPU加速才能实现实时推理,其参数开销和执行延迟对嵌入式终端部署构成挑战。
两类方法具有明显的互补特性:FBCCA计算成本低但短窗口可靠性不足,深度学习方法精度高但需对所有试验进行前向推理且通常需GPU加速。为在可接受的延迟成本下显著提升短窗口精度并降低GPU依赖,研究人员提出基于子带一致性仲裁的融合框架。其核心思想是:利用三个FBCCA子带独立判断结果的一致性评估决策可靠性;当一致时直接采用FBCCA结果,不一致时调用深度学习模型进行二次验证。
二、主要技术方法
研究人员在BETA公开数据集(包含70名健康受试者的64通道SSVEP数据,覆盖青年、中年和老年年龄段,40个刺激频率为8.0–15.8 Hz、间隔0.2 Hz,采样率250 Hz)上开展研究。主要技术方法包括:其一,多子带独立CCA求解,将多通道脑电信号通过带通滤波器分解为三个子带(6–78 Hz、14–78 Hz、22–78 Hz),各子带独立执行CCA计算获得各自的相关系数并输出最佳频率;其二,子带一致性仲裁机制,当三个子带独立识别出相同目标频率时判定信号谐波结构完整,直接采用FBCCA结果,否则调用深度学习模型进行二次验证;其三,级联深度学习模型,比较SSVEPformer、EEGNet、SSVEPNet和DG-Conformer四种免校准深度学习模型作为仲裁级模型的融合性能,最终选择SSVEPformer作为在线实验的二级模型。实验采用留一受试者交叉验证方法,每次迭代保留1名受试者作为测试集、其余69名作为训练集,共进行70次迭代。
三、研究结果
3.1 数据集与实验设置
在40目标、2秒时间窗条件下,FBCCA的准确率为75.96%±19.44%,表明受试者间存在较大性能差异。融合方法(FBCCA + SSVEPformer)达到91.79%的准确率,较FBCCA提升15.83个百分点,标准差降至9.72%,表明融合方法在提升整体精度的同时降低了受试者间变异性。在统一实验条件下复现的CCA、FBCCA、EEGNet、SSVEPformer及所提融合方法的跨受试者解码准确率对比中,融合方法以91.79%的准确率优于所有对比方法。
3.2 时间窗选择分析
SSVEP信号在刺激起始时并非立即达到稳态,而是经历从瞬态响应到稳态振荡的过渡过程。文献报道的视觉延迟通常约为0.14秒,刺激起始后需要一定的响应建立时间才能使SSVEP信噪比达到可用水平。当时间窗为2秒时,扣除视觉延迟和刺激前基线后,有效稳态响应持续时间约为1.5秒以上,足以消除瞬态干扰的影响。同时,过长的分析时间窗会显著增加用户视觉疲劳并降低指令吞吐量,从4秒窗缩短至2秒窗可将用户单次指令等待时间减少50%。
3.3 多时间窗性能比较
在2秒窗口下,融合方法较FBCCA提升15.83个百分点,其中52.3%的试验由FBCCA独立处理,显著降低GPU调用频率。在1秒窗口下,独立FBCCA准确率仅为48.56%,但融合方法仍保持86.20%的准确率,其中约22.4%的试验由FBCCA处理,验证了子带一致性机制在融合中的有效性。
3.4 子带一致性机制有效性验证
研究人员根据独立FBCCA准确率将70名受试者分为高精度组(前30%)、中精度组(中间40%)和低精度组(后30%)。随着受试者信号质量下降,子带一致率从76.8%降至25.3%,但子带一致试验中的FBCCA准确率始终保持在96%以上的极高水平。即使在全局准确率仅62.1%的低信噪比受试者中,FBCCA在子带一致试验中仍能达到96.5%以上的准确率。在约52.3%的子带一致试验中,传统FBCCA的准确率高达98.7%;在其余47.7%的子带不一致试验中,融合准确率较独立FBCCA提升33.3个百分点。
3.5 多决策机制对比验证
研究人员设计了三种次优决策策略作为基线:基于相关系数绝对阈值的强制通过策略、基于子带置信度离散度的散度阈值策略,以及多数投票策略。相关系数阈值策略的失效根源在于FBCCA的加权融合机制:当高权重子带受噪声干扰而低权重子带保持正确时,组合相关系数可能因高权重子带的贡献而保持较高,但其正确性已丧失。散度阈值策略面临另一困境:当三个子带可能各自指向不同频率但各自对自身判断高度自信时,标准差极小,最终被虚假的“分数一致性”误导。多数投票策略虽具有较高的使用率(78.2%),但准确率仅为86.53%,低于所提方法。子带一致性仲裁在准确率与FBCCA使用率之间实现了良好平衡。
3.6 BCI控制无人机验证
研究人员使用Tello无人机进行实时验证,招募10名健康受试者,采用8个指令的飞行任务。FBCCA单独在CPU上耗时约7.44毫秒,调用SSVEPformer在GPU上仅增加约0.81毫秒,融合方法端到端平均延迟约8.36毫秒。在任务成功率方面,所提方法达到95.0%,显著优于FBCCA的72.5%。在线信息传输速率方面,融合方法达到31.8 bit/min,高于FBCCA的17.8 bit/min。
3.7 适用边界与局限性
子带一致性仲裁机制的有效性基于FBCCA子带设计的物理基础,因此具有明确的适用边界。当刺激频率间隔过密时,FBCCA子带的独立频率判断趋于高度发散,子带一致使用率显著下降,仲裁机制退化为主要依赖深度学习模型的单模型方案。当存在具有谐波结构的高能量背景噪声时,其谐波可能同时干扰三个子带的独立判断,影响子带一致性可靠性评估的准确性。该方法更适用于中等目标数量的SSVEP-BCI系统。
四、结论
本文针对免校准环境下短时间窗SSVEP识别的性能瓶颈,提出基于子带一致性的FBCCA-深度学习两阶段融合控制方法。该方法的核心是引入不依赖任何先验数据或训练参数的仲裁机制,基于SSVEP信号固有的谐波物理结构,通过实时验证FBCCA内三个独立子带的频率判别一致性来客观量化当前决策的置信度,从而显著提升短窗口分类精度,并在可接受的延迟成本下避免对所有试验调用深度学习模型。
在基于BETA公开数据集70名受试者的留一受试者交叉验证实验中,该方法展现出显著的综合性能优势。在40目标、2秒时间窗条件下,独立FBCCA准确率为75.96%,融合系统分类准确率达91.79%,提升15.83个百分点。系统在约52.3%的试验中无需调用深度学习模型,由FBCCA以极低延迟直接输出指令。即使在1秒的极端短时间窗下,系统仍保持86.20%的可用准确率。消融实验进一步证实,基于组合相关系数的阈值策略、基于子带置信度离散度的散度阈值策略以及多数投票策略均无法同时实现高精度和合理的FBCCA使用率。在Tello无人机在线控制验证中,系统标准飞行任务完成率达95.0%。理论分析与实验验证共同表明,所提子带一致性机制具有明确的物理可解释性,为免校准SSVEP-BCI系统的置信度评估提供了新框架。