基于高精度同步与质心框架的感知自然语音单试次解码研究

《Frontiers in Computational Neuroscience》：A high-precision synchronization and centroid-based framework for single-trial decoding of perceived natural speech

　　

从脑电图（EEG）中解码自然语音受限于低信噪比，通常通过事件相关电位（ERP）总平均来解决。然而，该方法等效于低通滤波器，会掩盖试次间变异性和高频神经动态。为克服这些局限，研究人员提出一种开放箱式、现场可编程门阵列（FPGA）同步的框架，用于西班牙语元音（/a/、/i/、/u/）的单试次脑电图分析。所提出的架构强制实现亚毫秒级硬件确定性，消除软件引发的时间抖动，并能够在无需平均ERP的情况下稳健提取包括伽马频带在内的高频振荡特征。该同步框架有助于将早期外源性感觉反应与晚期内源性认知加工分离，同时研究人员进行了全面的消融研究，以评估软件诱发抖动对解码性能的影响。结果显示，引入模拟抖动会使分类性能降至理论机率水平（33.20%），从而确认硬件同步是可靠单试次解码的严格先决条件。该框架进一步通过运行于16通道空间子集上的Centroid-PCA-SVM流水线得到验证。采用完整架构时，总体平均分类准确率达到67.70%，显著超过33.33%的理论机率水平。跨参与者的最大折叠准确率均值为83.00%，单个验证折叠最高可达90.00%。相比之下，零校准的留一受试者交叉（LOSO）泛化仍处于机率水平（33.08%；κ_pooled = ?0.0036），表明跨参与者可迁移性有限，并凸显当前对参与者特定校准或对齐的需求。总体而言，这些发现证明硬件确定性的脑电图采集能够恢复传统平均方法通常掩盖的稳健逐试次脑动态。通过将精确同步与低延迟算法推断相结合，该框架为实时神经解码奠定了基础，并代表了迈向实用脑机接口和先进临床监测应用的踏脚石。

本研究针对传统事件相关电位（ERP）总平均方法在脑电图（EEG）解码自然语音时存在的低信噪比、时间抖动以及高频信息丢失等问题，提出了一种基于现场可编程门阵列（FPGA）硬同步的高精度单试次解码框架。研究背景方面，自然语音感知涉及听觉皮层、韦尼克区和额下回等广泛分布的神经网络，其神经响应包含早期外源性感觉成分（如N100、P200）和晚期内源性认知成分（如长潜伏期反应）。传统上，研究者依赖多试次叠加平均提取ERP，但该方法本质上等效于低通滤波器，假设神经成分在相位和潜伏期上严格平稳，从而系统性地抵消非锁相振荡，并因试次间时间抖动产生模糊效应，尤其掩盖了伽马频带（>30 Hz）内与语音音位编码相关的精细动态。此外，软件触发机制通常引入5–30 ms的非确定性延迟，严重破坏单试次高频相位信息。为此，研究人员设计了一种开放箱式、FPGA硬件同步的采集架构，以实现亚毫秒级确定性时间戳，并结合基于质心的相关算法、子带分解和主成分分析（PCA），在无平均的条件下对西班牙语角元音（/a/、/i/、/u/）进行单试次分类。

研究人员开展了系统的消融研究和分类性能验证。实验共招募20名健康西班牙语母语受试者（14男6女，年龄18–31岁），每人每类元音完成100次试次，其中受试者3因自愿退出仅完成50次/类。语音刺激由5名独立于EEG受试者的西班牙语母语者录制自然连续语音中的角元音，所有试次的时间戳均由FPGA硬同步系统（最大抖动小于21微秒）嵌入EEG数据流。预处理采用连续域回归去除眼电、肌电和心电伪迹，并进行1.5–60 Hz零相位带通滤波。特征提取利用类质心作为匹配滤波器，计算单试次与三个元音质心在α（8–13 Hz）、β（14–30 Hz）和γ（31–60 Hz）子带的空间皮尔逊相关系数，经向量化拼接后应用PCA降维（保留≥95%方差），最终采用径向基函数（RBF）核的支持向量机（SVM）进行三分类（一对一策略）。

主要结果如下：（1）硬件同步的必要性：模拟软件抖动（±30 ms）使分类准确率降至33.20%（κ = ?0.001），证明时序确定性是单试次解码的严格前提。（2）同步单独不足：仅依赖FPGA同步的宽带原始EEG，16通道和64通道的准确率分别为35.9%和35.7%，表明低信噪比仍掩盖判别信息。（3）子带单独无效：仅使用单一频带（α、β或γ）时，准确率介于32.5%–36.8%，κ_pooled ≤ 0.05，无法实现可靠解码。（4）模块部分组合失效：子带仅结合PCA或仅结合质心时，准确率均低于35.1%，且在64通道质心未压缩空间中发生分类器崩溃（准确率33.3%，κ=0）。（5）完整框架性能：将FPGA同步、子带分解、质心相关和PCA结合，并使用基于神经生理标准选择的16通道子集（包括FT7、FT8、T7、T8、Iz等）时，全局平均准确率达67.70%（κ_pooled = 0.514，SE = 0.013），较软件抖动基线提升34.5个百分点；当使用全部64通道时准确率降至41.2%，表明电极优化对消除噪声和提升泛化至关重要。受试者内部分析显示，所有20名受试者的平均准确率（63.33%–73.33%）均超过精确二项检验的显著性边界（p < 0.0001），最大折叠均值达83.00%，单个折叠最高达90.00%。然而，零校准的留一受试者交叉（LOSO）泛化准确率仅为33.08%（κ_pooled = ?0.0036，95%置信区间 [?0.0314, 0.0242]），处于机率水平，说明当前框架支持个体化校准解码，但尚不具备跨受试者零校准可迁移性，原因可能涉及皮层几何差异、容积传导效应和相位不对齐导致的跨受试者相位抵消。

讨论部分强调，该框架区别于传统ERP平均和黑箱深度学习模型，通过硬件确定性同步保留逐试次相位信息，使时间域线性叠加可充当相干滤波器：同相位的音位特异成分在质心C_k中相长干涉，而随机背景噪声相消干涉。选用的16个电极主要覆盖前颞叶（FT7、FT8）、颞叶（T7、T8）和枕顶区（Iz），与听觉皮层和语言处理相关脑区一致，支持了神经生理学有效性。与文献相比，该方法的平均准确率虽然低于某些深度学习模型（如回声状态网络83.20%），但具备低计算成本（只需非迭代的皮尔逊相关和线性投影）、高可解释性和防泄漏的验证协议，更适合低功耗实时脑机接口应用。研究结论为：单试次神经变异性并非应消除的随机混淆，而是在硬件级时间确定性下包含丰富判别性认知信息的结构化流形；该开放箱式范式克服了经典总平均和黑箱模型的关键局限，为实时神经解码和临床监测奠定了基础。未来工作将扩展到连续自然语音解码，并考虑说话者保留和语音标记保留验证方案以检验表征对说话者身份的不变性。