ASME拼写器:基于听觉流分离与QWERTY布局的30类听觉脑机接口拼写系统

《Frontiers in Human Neuroscience》:The ASME-speller: 30-class auditory brain-computer interface speller using stream segregation and the QWERTY layout

【字体: 大 中 小 】 时间:2026年05月21日 来源:Frontiers in Human Neuroscience 2.7

编辑推荐:

  摘要:本研究提出ASME拼写器,一种新型30类听觉脑机接口(BCI)拼写系统,结合听觉流分离(auditory stream segregation)与用户熟悉的QWERTY键盘布局,实现直观且无视觉参与的交流。在ASME拼写器中,三个不同的听觉流同时呈现,分

  
摘要:本研究提出ASME拼写器,一种新型30类听觉脑机接口(BCI)拼写系统,结合听觉流分离(auditory stream segregation)与用户熟悉的QWERTY键盘布局,实现直观且无视觉参与的交流。在ASME拼写器中,三个不同的听觉流同时呈现,分别对应QWERTY键盘的一行:低、中、高频流分别代表底行、中行和顶行。每个流内以语音刺激重复呈现字母及选定符号。研究人员指导使用者仅关注包含目标字母所在行的对应听觉流,并在该流内选择性注意目标字母。通过利用QWERTY布局和听觉流分离,该方法使用户能够将注意聚焦于部分字母子集,并通过QWERTY行与流音高的映射实现直观的字母选择。研究人员对健康参与者进行了在线实验以评估系统性能。结果显示,ASME拼写器的平均分类准确率为0.76,平均信息传输率(ITR)为2.16 bits/min;排除一名脑电图数据含过多伪迹的参与者后,准确率提升至0.84,ITR提升至2.40 bits/min。事后分析进一步检验了预处理参数、分类流程及早停策略的影响。在测试的四种流程中,线性判别分析(LDA)结合动态停止(dynamic stopping)在所有参与者中表现最稳健(准确率为0.80,ITR为4.76 bits/min)。最优参与者的深度学习模型EEGNet4,2结合动态停止实现了1.0准确率,ITR达14.44 bits/min。与以往听觉BCI拼写器相比,ASME拼写器在性能上具有可比性,且在简便性方面具有优势,仅需标准耳机且无需视觉支持。这些发现证明了ASME拼写器的可行性,并为面向交流的实用听觉BCI应用奠定了基础。
论文解读:
研究背景方面,脑机接口(BCI)可实现大脑与计算机的直接通信,无需肢体运动,对肌萎缩侧索硬化症(ALS)、闭锁综合征(LIS)等严重神经功能障碍患者具有重要意义。脑电图(EEG)因时间分辨率高、便携性强而被广泛应用。然而,调查显示超过90%的闭锁综合征患者将直接交流视为BCI系统的首要功能需求。现有BCI拼写器多为视觉刺激驱动,如P300拼写器和稳态视觉诱发电位(SSVEP)系统,虽准确率高,但对重度神经疾病患者而言,凝视控制困难,且占用日常重要的视觉资源。相比之下,听觉BCI可服务于视障人群且不干扰视觉,但已有听觉拼写器多存在多步选择、映射不直观、需多声道设备等问题,限制了其实际应用。因此,研究人员基于听觉流分离现象,结合广泛使用的QWERTY键盘布局,开发了ASME拼写器,以期克服上述限制。该研究发表于《Frontiers in Human Neuroscience》。
主要技术方法方面,研究招募10名健康日本受试者(年龄21–28岁),采用64通道EEG记录,听觉刺激通过耳机呈现。实验分为离线训练阶段(6次运行)和在线实时测试阶段(3次运行),每试次包含15个序列,共450个刺激,时长约90秒。刺激由亚马逊Polly云端语音合成,三行字母分别赋予高、中、低频语音特征。分类采用线性判别分析(LDA)与Ledoit-Wolf协方差收缩法,特征提取为刺激锁时段的均值分段。事后分析包括事件相关电位(ERP)分析、伪迹去除影响评估、类别不平衡效应检验、预处理参数优化及四种分类流程比较(LDA、xdw+LDA、xdwCov+TS+LDA、EEGNet4,2),并引入静态停止与动态停止策略以缩短试次时间。
研究结果方面,ERP分析显示,在线与离线阶段均在目标刺激后观察到P300、N2及N700成分,且在线阶段振幅更高,表明任务熟悉度与反馈提升了ERP响应。在线实验结果中,七名参与者准确率高于0.70,全体平均准确率为0.76,ITR为2.16 bits/min;排除数据质量差的受试者后,平均准确率达0.84,ITR为2.40 bits/min。混淆矩阵显示对角线元素占主导,说明分类器能有效区分目标字母。伪迹去除模拟未显著提升性能,表明原始数据质量已足够稳定。类别不平衡分析表明,保留所有非目标样本(比例1:29)优于平衡采样,因非目标样本有助于估计分布。预处理参数优化显示,LDA最佳配置为高通0.5 Hz、低通8 Hz、时段长2.0 s,而EEGNet4,2在低通40 Hz时表现最优。早期停止策略中,动态停止在多数情况下优于静态停止,LDA结合动态停止可在保持准确率≥0.70的前提下将ITR提升至4.76 bits/min,并缩短平均选择时间至48.5秒。EEGNet4,2在特定受试者中达到最高ITR(14.44 bits/min)和完美准确率,但存在较大个体差异。
讨论与结论部分指出,ASME拼写器在30类单步选择中实现了与既往听觉BCI相当甚至更优的性能,且只需普通耳机,无需视觉或多扬声器硬件。与混合模态系统相比,尽管性能略低,但在纯听觉条件下具备实用优势。研究也指出局限性,如受试者均为健康年轻人、EEG通道数较多、刺激一致性及工作负荷未充分评估等。未来工作应拓展至患者群体、优化硬件与刺激设计、个性化参数调整,并结合错误相关电位等辅助技术。总体而言,ASME拼写器通过听觉流分离与QWERTY布局的融合,提供了一种直观、无需视觉、硬件需求低的拼写方案,为听觉BCI的实际应用开辟了可行路径。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号