《Information Fusion》：Tokenized EEG Signals with Large Language Models for Epilepsy Detection via Multimodal Information Fusion
编辑推荐：
癫痫检测多模态信息融合框架创新性地结合LLM与多传感器EEG信号，提出MFE特征提取和语义融合方法，有效解决分类难与特征融合问题，在Bonn数据集上显著优于传统模型。
Xingchi Chen|Fushen Xie|Fa Zhu|Shuanglong Zhang|Xiaoyang Lu|Qing Li|Rong Chen|Dazhou Li|David Camacho
中国广东省深圳市鹏城实验室，518000
摘要
利用多传感器脑电图（EEG）信号检测癫痫发作是一项具有挑战性的任务，这主要是由于信号本身的复杂性、传感器配置的多样性以及难以区分各类别之间的微弱差异所致。为了解决这些挑战，我们提出了一种新颖的多模态信息融合框架，该框架结合了大型语言模型（LLM）和多模态EEG特征标记化方法，以增强癫痫检测能力。本文采用多模态特征提取（MFE）方法，从EEG信号中有效生成多模态特征表示，并从不同信号域中提取EEG信号的特征表示。此外，我们设计了一种多模态EEG特征标记化方法，对EEG信号特征进行标记化处理，并融合语义信息，从而解决了将癫痫EEG特征与提示词中的语义信息相结合的问题。我们利用预训练的LLM强大的推理和模式识别能力，准确且稳健地检测癫痫事件。所提出的方法已在公开数据集上进行了评估，广泛的实验结果表明，该方法在多个性能指标上优于现有的比较方法。
引言
传统的脑电图（EEG）信号由于其信号模式的限制，无法全面描述复杂的大脑活动。因此，多传感器EEG信号作为一种有前景的方法应运而生，为诊断各种脑部疾病提供了丰富的信息。基于多传感器EEG信号的癫痫诊断需要精确的分析，以从输入信号中提取异常特征。然而，这些诊断分析需要专门的知识来开发有用的特征，即使是经验丰富的神经学家在基于多传感器EEG信号诊断癫痫时也会面临挑战。[1]
最近，大型语言模型（LLM）的引入为EEG分类研究带来了新的机会。LLM在自然语言处理中的上下文建模、语义理解和知识转移方面展现了强大的能力。具体来说，通过将EEG信号转换为语言表示或高级符号序列，LLM不仅可以建模复杂的时间依赖性，还可以利用预训练中嵌入的广泛知识，实现跨任务知识转移和小样本学习。这种方法克服了传统深度学习的局限性，后者依赖于大量的标记数据，从而在个体和任务之间的EEG分类中表现出更好的泛化能力和鲁棒性。这是继机器学习（ML）和深度学习（DL）之后的又一进展[2]、[3]。因此，本研究尝试将LLM与多传感器EEG信号结合，用于逐步分类[4]，并通过分析患者在不同活动状态下的EEG信号的各种特征来实现癫痫的诊断[6]、[7]、[8]、[9]。
癫痫是世界上最常见的神经系统疾病之一。由于脑电图（EEG）信号具有较高的时间分辨率，因此被广泛用于癫痫的诊断。然而，手动解读EEG信号面临巨大挑战。因此，开发有效的EEG信号分析方法对于癫痫诊断至关重要。此外，基于机器学习和深度学习的模型无法很好地描述EEG信号在现实世界场景中应对不平衡数据分布的能力。
为了解决这些问题，本文提出了一种基于LLM的方法，该方法不同于传统方法。本文利用LLM的特征提取和表示能力，充分探索多传感器EEG信号之间的相关性，并基于信号特征诊断癫痫。通过将EEG信号转换为符号化或序列化表示，信号分类问题被转化为语言建模问题，利用其强大的上下文建模和知识转移能力来捕捉复杂的跨通道相关性和全局特征。
本文提出了一种基于LLM和多传感器EEG信号的多模态信息融合框架，该框架可以解决多癫痫状态分类问题以及难以区分EEG信号类别之间微弱差异的问题，提供了一种灵活且稳健的癫痫检测技术。我们的主要贡献如下：
•本文提出了一种基于大型语言模型、令牌嵌入和语义信息融合的多模态信息融合框架，解决了传统神经网络在基于EEG信号的癫痫检测中泛化能力差和鲁棒性不足的问题，有效整合了多模态数据表示，克服了传统方法在处理多癫痫状态分类时表达能力不足的问题，显著提高了癫痫检测的准确性和可靠性。
•本文介绍了一种多模态特征提取（MFE）方法，该方法结合了多种EEG信号特征提取功能，提取了包括时域（WD）特征、频域（FD）特征、小波变换（WT）特征和非线性（NL）特征在内的多模态特征。
•我们设计了一种多模态EEG特征标记化方法，对多模态EEG特征进行标记化处理，使其与提示词的特征词相匹配，然后将提取的EEG特征融合到LLM的语义信息中。该方法提取了四种类型的EEG特征，并将其转换为标记化的EEG特征，利用LLM的语义信息融合能力描述EEG信号的特征，通过大型语言模型（LLM）的语义理解能力实现癫痫识别。
•在公开的癫痫EEG数据集Bonn数据集上的广泛评估表明，我们的方法优于传统的深度学习EEG分类模型。
在本文的其余部分，将详细介绍所提出的模型及其相关研究。第2节介绍了作为当前研究参考的相关工作。第3节介绍了所提出的框架及其细节，包括多模态特征提取（MFE）、语义信息融合（SIF）和针对癫痫检测的LLM微调。第4节介绍了实验的相关内容，包括性能分析、可视化分析和消融研究。
相关研究
现有的癫痫检测方法大致可以分为两大类：（1）基于传统特征工程的方法，（2）端到端的深度学习方法。前者依赖于领域知识和传统的机器学习技术，手动或半自动地从脑电图（EEG）信号中提取区分性特征；后者则旨在直接从原始数据或最少的数据中自动学习高级和紧凑的表示。
框架
在本研究中，我们旨在开发一种能够有效识别癫痫EEG信号的LLM，从而实现对多传感器EEG数据的准确分析。为此，如图1所示，我们提出了一种基于LLM的多模态信息融合框架，包括多模态特征提取、令牌嵌入和语义信息的融合以及用于癫痫检测的令牌融合。复杂多模态EEG信号中的复杂依赖性得到了建模和分析。
数据集描述和多传感器分析
在本研究中，我们使用了广泛认可的公共EEG数据集：Bonn数据集包含了用于癫痫检测的EEG记录，包括正常状态和发作状态的数据。Bonn数据集用于评估我们模型在检测癫痫事件和分析脑信号方面的性能。
Bonn数据集2。Bonn数据集来自5名健康个体和5名癫痫患者，提供了五种不同的EEG
结论
本文提出了一种先进的基于多模态信息融合的癫痫检测框架，该方法结合了多传感器EEG信号和LLM。该方法引入了多模态特征提取（MFE）和标记化语义信息融合（SIF）技术，显著改进了当前的技术水平，有效处理了传感器多样性和数据分布不平衡的问题。通过利用强大的特征融合和分类能力
数据声明
本研究使用的数据集是公开可获取的。我们利用公开可用的EEG数据集来评估我们提出的用于癫痫检测的多模态信息融合框架。
CRediT作者贡献声明
Xingchi Chen：撰写——原始草稿，概念构思。Fushen Xie：方法论。Fa Zhu：撰写——审阅与编辑，软件。Shuanglong Zhang：可视化。Xiaoyang Lu：可视化，监督。Qing Li：项目管理。Rong Chen：调查。Dazhou Li：资源，形式分析。David Camacho：数据管理。
利益冲突声明
作者声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。
