基于Dse-net的失语症患者识别及从脑电图（EEG）信号中提取语义信息的方法

《Biomedical Signal Processing and Control》：Dse-net based aphasia patient identification and semantic decoding from EEG signals

本研究针对汉语失语症患者，设计新型四字短语语义任务范式，结合可变形卷积与空间增强模块开发DSE-Net模型，显著提升脑电信号语义解码准确率，为早期诊断和康复评估提供新方法。

　　

张一忠|王海成|唐翔|李宇|邱伟宏|张海燕|陈兆聪|王洪涛

中国江门五邑大学电子与信息工程学院

摘要

语义解码是研究大脑中语言处理和表征神经机制的关键方法。这类研究不仅加深了我们对语言认知神经科学的理解，还为脑机接口（BCIs）和神经康复等实际应用提供了理论基础。本研究专注于从脑电图（EEG）信号中解码语义信息，重点关注语言感知和处理过程中的语义分类。针对以中文为母语的失语症患者，我们设计了一种新的语义任务范式，使用了十个代表中文独特词类的四字短语，以引发不同的认知过程。通过让参与者执行使用自然语言刺激的听觉理解与隐蔽发音任务，收集了他们的EEG数据。在信号预处理（如滤波、去除伪迹）和特征提取之后，我们通过将可变形卷积和空间分组增强（SGE）模块集成到EEG-Net框架中，开发出了可变形空间增强网络（DSE-Net）解码模型，显著提升了其提取语义相关EEG特征的能力。实验结果表明，DSE-Net在解码与语义相关的EEG模式方面表现优异：在二元分类任务中，它对失语症患者和健康受试者的识别敏感性分别达到了99.35%和99.64%；在更具挑战性的十类语义解码任务中，其准确率分别为52.58%和66.12%，显著优于所有基线模型。此外，消融研究验证了可变形卷积和SGE模块的关键作用。这些发现验证了该模型的有效性，并为失语症的早期诊断和康复评估提供了一个新的技术框架。所提出的方法论将计算神经科学与临床应用相结合，为神经技术发展和个性化治疗策略带来了变革潜力。

引言

至少三分之一的中风幸存者会发展成失语症，这是一种以词汇检索、句法组织和沟通能力受损为特征的语言障碍[1]、[2]、[3]。这种神经系统疾病不仅扰乱了显性的言语表达，还严重影响了社会参与和生活质量。标准化的临床评估工具（包括西方失语症电池测试（WAB）[4]、波士顿失语症诊断测试（BDAE）[5]和综合失语症测试（CAT）[6]）通过行为观察来量化语言缺陷。然而，这些工具的有效性受到患者精神状态和整体认知功能的干扰，且未能揭示语言障碍的潜在神经病理机制。这些局限性凸显了迫切需要利用客观神经生物标志物的新评估框架。

值得注意的是，尽管失语症患者在显性言语产生方面存在明显困难，但许多人报告说他们仍具有“内化言语”或想象言语的能力。一项基于访谈的研究显示，超过75%的失语症患者在日常交流中体验到这种隐蔽的语言能力[7]。神经影像学证据表明，想象言语激活了与健康人群相似的背侧语言网络区域（例如左颞上回和角回），这表明依赖于由腹侧通路介导的完整词汇-音系检索过程。相反，显性言语障碍与控制发音计划和执行的背侧运动通路损伤有关[7]。这种分离表明，内化言语的神经特征是客观评估语言功能和指导康复的有希望的生物标志物。

受此潜力的驱动，基于EEG的语义解码领域取得了显著创新。在范式创新方面，研究人员探索了多种语言单元和任务来引发可识别的神经反应，从基本的元音和音节[8]、[9]、[10]、[11]到短词或命令[12]、[13]、[14]、[15]、[16]、[17]、[18]，再到更复杂的长词和短语[13]、[19]，甚至扩展到非言语认知任务进行对比[17]、[19]。此外，还设计了新的范式来丰富神经特征空间，例如结合发音节奏[9]和利用多模态数据（如将EEG与面部和音频信号结合）[20]。同时，方法论创新对于提升解码性能至关重要。早期研究主要依赖于传统的机器学习模型，如支持向量机（SVM）[8]、[12]、[13]、[16]和共同空间模式（CSP）[8]、[12]，应用于手工制作的特征。随后，该领域发展出了更复杂的方法，包括黎曼流形特征[13]、迁移学习以提高泛化能力[21]，以及用于半监督学习的互信息最大化[22]。最近，深度学习成为主流，采用了卷积神经网络（CNN）[21]、[23]、长短期记忆（LSTM）网络[23]和深度神经网络（DNN）[18]，以及离散编码[25]和新的信号表示方法（如声音化和基于符号/标记的表示）[26]，取得了最先进的结果。尽管取得了这些进展，但仍存在关键局限性。大多数实验范式基于西方语言或简单的语言单元，无法捕捉中文等声调语言所特有的词汇和句法特征，从而限制了其适用性和生态有效性。此外，尽管现有模型变得越来越复杂，但它们往往难以同时处理EEG信号中的非刚性几何扭曲以及分布式电极组之间的复杂动态依赖性，而这些对于捕捉语义处理过程中的全部神经活动至关重要。

为了弥补这些不足，我们提出了一种使用独特中文四字短语的新语义任务范式。该设计利用了中文四字短语的独特词汇和句法特性，旨在在语言感知和隐蔽发音过程中稳健地引发不同的认知过程。为了有效解码这种独特范式生成的神经模式，我们提出了可变形空间增强网络（DSE-Net）模型。该模型通过集成可变形卷积来适应性地捕获受试者特定的时空模式，并通过空间分组增强（SGE）模块明确建模动态的通道间依赖性，从而合理地克服了先前方法的局限性。本研究的主要目标是：（1）验证我们新的中文四字短语范式在引发语义相关EEG特征方面的有效性；（2）展示DSE-Net在二元（失语症识别）和多类（语义解码）任务中的优越性能，优于现有基准模型；（3）探索该框架作为未来开发可解释工具用于早期诊断和康复评估的基础的潜力。

数据集和参与者

在这项研究中，我们设计了语言材料任务并使用了两个数据集来验证所提出的方法。该方法的灵感来源于频率标记范式，这是一种最近建立的方法，能够检测周期性调制的神经信号。这种范式成为探究内部构建表征的节奏动态的强大工具，特别是在语言和处理领域[27]。

任务和数据集的详细描述如下

结果

为了全面评估DSE-Net的性能，我们选择了一组代表EEG解码关键架构范式的多样化基线模型。选择RNN作为捕捉时间动态的代表性模型。EEG-Net和EEG-Nex被纳入作为已建立的、特定于EEG的深度学习基准，以确保与当前领域的最新技术水平进行比较。选择DeepConv来代表更深层次的通用卷积架构。这一选择使得

消融研究

该实验通过系统地移除DSE-Net中的两个核心模块Block1（可变形卷积）和SGE，评估了它们的贡献。如表5所示，完整模型（DSE-Net）在患者和健康对照组中的分类准确率分别为53.19%和66.13%。移除任一模块都会导致性能显著下降。下面，我们将这些发现与先前文献中的理论和实证支持进行讨论。

讨论

本研究分析了健康受试者和失语症患者在听觉理解和隐蔽复述中文四字短语时的EEG信号，以研究他们在语义处理过程中的神经信号差异。随后根据这些发现评估了不同模型的解码效果。观察到，失语症患者在隐蔽复述过程中的神经活动模式在类别间的区分能力较低

结论

在这项研究中，我们开发了DSE-Net模型，用于从EEG信号中解码失语症患者的隐蔽复述词汇项。通过与多种基线方法进行比较分析，评估了分类准确性。实验范式包括向参与者呈现3秒的中文四字词音频刺激，随后是一个隐蔽的心理复述阶段，患者在心中默默地复述目标词。记录了EEG信号

CRediT作者贡献声明

张一忠：软件、方法论。王海成：撰写——原始草稿、可视化。唐翔：数据管理。李宇：验证。邱伟宏：资源、概念化。张海燕：资源、验证、撰写——审阅与编辑。陈兆聪：研究。王洪涛：研究、资金获取。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文所述的工作。

致谢

张一忠和王海成对这项工作做出了同等贡献。本工作得到了广东省教育厅（项目编号2024ZDJS033）、广东省科学技术厅（项目编号2025KCXTD048）以及五邑大学大学生创新创业项目（项目编号202411349167）的支持。