《Knowledge-Based Systems》:PSGCL: Pseudo-siamese supervised graph contrastive learning for enhancing prior knowledge guidance in EEG classification
编辑推荐:
EEG信号分类中提出基于监督对比学习的图神经网络模型PSGCL,通过可学习的伪双胞胎视图增强策略优化邻接矩阵,结合稀疏约束损失保持脑区连接关键性,显著提升情感识别、听觉空间注意检测和驾驶疲劳识别任务的性能。
李光强|陈宁|朱洪庆|牛一祥|徐张勇|李静|朱志英
华东科技大学信息科学与工程学院,上海,200237,中国
摘要
基于神经生理先验知识的拓扑信息对于基于脑电图(EEG)的分类任务至关重要,例如情绪识别(ER)、听觉空间注意力检测(ASAD)和驾驶员疲劳识别(DFR)。然而,由于EEG信号是非平稳的,容易受到噪声干扰,并且在不同受试者之间存在显著差异,这些先验知识的指导作用可能会减弱。为了在提高EEG分类任务对数据变化的适应性的同时增强先验知识的指导作用,本文提出了一种伪孪生监督图对比学习(PSGCL)模型。具体来说,构建了一种基于监督对比损失(SupConsL)和相似性一致性损失(SimConsL)的对比学习(CL)策略。该策略利用相同或不同类别样本之间的关系来优化用先验知识初始化的邻接矩阵,从而提高其对EEG变化的适应性。同时,设计了一种基于伪孪生网络(PSN)的可学习视图增强策略,以生成具有不同但语义一致的视图,避免由于任意数据增强而导致的下游任务相关信息丢失的风险。此外,引入了稀疏性约束损失(SCL)来强制邻接矩阵的稀疏性,同时保持关键脑区之间的连接关系。在六个数据集上的三项任务进行的广泛实验表明:(i)所提出的PSGCL模型在ER、ASAD和DFR任务中始终优于现有的最佳基线模型,并且计算复杂度相对较低;(ii)基于SupConsL和SimConsL的先验知识优化以及基于SCL的约束策略显著提升了模型的性能;(iii)PSGCL有效增强了EEG表示的聚类效果和区分能力。
引言
脑电图(EEG)能够捕捉大脑中数十亿神经元的活动,包含丰富的神经生理信息[1]。由于其非侵入性、高时间分辨率和成本效益特性[2],它在情绪识别(ER)、听觉空间注意力检测(ASAD)和驾驶员疲劳识别(DFR)等多种任务中具有潜在应用价值。
早期的EEG信号分析方法主要基于手工特征的组合,如功率谱密度(PSD)[3]、[4]、共同空间模式(CSP)[5]、[6]、差分熵(DE)[3]、[7]以及机器学习方法。最近,各种深度学习架构,如卷积神经网络(CNNs)、循环神经网络(RNNs)等被引入到这一领域,并取得了良好的性能[8]、[9]、[10]、[11]、[12]。此外,考虑到EEG中包含的拓扑信息对于基于EEG的分类任务至关重要,图神经网络(GNNs)被引入来研究不同功能脑区之间的连接性以及不同任务中大脑反应的神经机制[13]、[14]、[15]、[16]。
GNNs旨在处理各种图结构数据[17]、[18]、[19]、[20]、[21],可以有效地利用不同EEG通道或脑区之间的依赖性来提取与大脑活动相关的表示[22]、[23]。根据构建邻接矩阵的方法,先前提出的基于GNN的EEG分析模型可以分为三种类型。在第一种类型中,使用先验知识构建固定的邻接矩阵,例如基于MSLTE[24]和BGAGCN-MT[25]中的电极物理位置关系的“结构”连接性,或基于BF-GCN[26]中的相位锁定值的函数连接性。尽管这些邻接矩阵构建方法保留了生物学意义上的连接结构,但它们没有结合数据驱动的调整,这限制了它们对不同场景或不同受试者收集的数据的适应性[27]。在第二种类型中,以数据驱动的方式学习自适应邻接矩阵。例如,在DGCNN[28]中,随着模型参数的变化,邻接矩阵会自适应地更新;而在V-IAG[14]中,引入了一些可训练的参数矩阵来生成自适应邻接矩阵。这种可学习的邻接矩阵构建方法可以很好地适应EEG的变化,但由于缺乏先验知识约束,容易过拟合。在第三种类型中,将先验知识与数据驱动策略结合使用来获得邻接矩阵,旨在平衡邻接矩阵中边的固定性和可变性。具体来说,初始邻接矩阵是用先验知识构建的,然后通过数据驱动策略进行细化,以获得优化的邻接矩阵,例如RGNN[29]和DGSD[30]。然而,EEG信号是非平稳的,容易受到噪声影响,并且在不同受试者之间存在显著差异。上述模型忽略了这种EEG数据变化对模型鲁棒性的影响,这可能会削弱先验知识在EEG分类任务中的指导效果,甚至导致学习到的表示的区分能力低或聚类性能差。为了解决这个问题,本文引入了对比学习(CL)。
CL可以通过提取类内一致的表示并忽略无关变化来有效利用样本间关系,从而提高模型的鲁棒性,从而提高表示的区分能力[31]、[32]。它在计算机视觉(CV)[33]、[34]和自然语言处理(NLP)[35]、[36]等多个领域展示了有效性,使其成为增强基于GNN的EEG信号分类的有前景的方法。如图1(a)所示,传统的无监督CL方法通常通过数据增强来构建正负对。具体来说,将锚点样本及其增强视图视为正对,而将所有其他样本组合视为负对。然而,这种方法忽略了样本之间的标签关系,并将同一类的不同样本视为负样本,这可能会增加嵌入空间中的类内距离,从而导致分类性能下降。为了解决这个问题,Khosla等人[37]提出了监督CL(见图1(b))。该方法利用标签信息将同一类的所有嵌入视为正对,有效地减少了嵌入空间中的类内距离。尽管无监督和监督CL方法具有优势,但它们都基于静态数据增强策略来构建正负对,这使得它们对选择的增强方式非常敏感[34]、[38]。特别是在基于图的应用中,通常采用的视图增强策略是任意丢弃或破坏边(或节点)[32]。这可能会改变原始的脑拓扑模式,从而导致下游任务相关信息的丢失[39]。为了解决这个问题,我们提出了一种基于伪孪生网络(PSN)的可学习视图增强策略(见图1(c))。而不是创建两个任意增强的图,而是构建了两个结构相同但权重不同的伪孪生编码器,以确保增强视图的多样性,同时避免下游任务相关信息丢失的风险。
在本文中,提出了一种伪孪生监督图对比学习(PSGCL)模型,以增强基于EEG的分类任务中先验知识的指导作用。首先,用神经生理先验知识初始化EEG图的邻接矩阵。其次,通过基于监督CL的数据驱动策略优化邻接矩阵,以适应EEG数据的变化。具体来说,构建了一个伪孪生网络(PSN)来生成可学习的增强视图,取代了传统的数据增强方法。采用监督对比损失(SupContL)来学习与任务相关的表示,并引入相似性一致性损失(SimConsL)来确保两个视图之间的语义一致性和不变性。这两种损失共同优化邻接矩阵,从而实现知识优化。第三,为了在保持关键脑区连接关系的同时强制邻接矩阵的稀疏性,引入了稀疏性约束损失(SCL)作为知识约束。最后,将两个伪孪生编码器的表示连接起来并输入分类器,进一步采用交叉熵损失(CEL)来细化分类性能。本文的主要贡献总结如下:
部分片段
基于EEG的分类任务
EEG信号包含丰富的神经信息和大脑活动特征,因此具有重要的研究价值。最近,许多研究人员将EEG信号与强大的深度学习模型结合起来,以解决各种基于EEG的任务。本文研究了以下两个任务。
情绪识别:情绪识别的目标是根据受试者的EEG信号解码其当前的情绪状态[40]。DE[3]是情绪识别中最常用的特征之一
方法
在本节中,详细介绍了所提出的PSGCL模型。块图如图2所示,由四个主要模块组成:(a)EEG预处理,(b)图构建,(c)伪孪生监督图对比学习,以及(d)分类器校准。
实验
为了测试所提出的PSGCL模型的有效性和泛化能力,在六个公开可用的数据集上进行了广泛实验,包括三个ER数据集(SEED [3]、SEED-IV [71]和FACED [72])、两个ASAD数据集(KUL [73]和DTU [74])以及一个DFR数据集(SEED-VIG [66])。此外,为了进行公平的性能比较,每个数据集中每个基线的实验设置都与我们的保持一致。
性能比较
为了证明所提出的PSGCL模型的优越性和有效性,我们在表2(ER任务)、表3(ASAD任务)和表4(DFR任务)中展示了PSGCL模型和基线模型在六个数据集上取得的平均准确率(ACC)和wF1以及相应的标准差(STD)。
结论
本文提出了一种基于伪孪生网络的监督图对比学习模型,以增强EEG分类任务中先验知识的指导作用和适应性。采用GCN框架有效地利用基于神经生理先验知识的拓扑信息来学习EEG空间表示。为了提高EEG表示的区分能力,引入了监督对比学习来最大化标签信息的作用
CRediT作者贡献声明
李光强:撰写 – 原始草稿、可视化、验证、软件、方法论、概念化。陈宁:撰写 – 审稿与编辑、监督、资金获取。朱洪庆:撰写 – 审稿与编辑、资金获取。牛一祥:数据整理。徐张勇:形式分析、数据整理。李静:验证、数据整理。朱志英:撰写 – 审稿与编辑。
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。
致谢
本工作得到了国家自然科学基金 [资助编号 61771196, 61872143]的支持。