基于先验知识引导的无监督领域自适应方法优化脑电图分类的微调过程

《Engineering Applications of Artificial Intelligence》：Prior knowledge-guided and unsupervised domain adaptation enhanced fine-tuning for electroencephalogram classification

　　陈丁欣|陈宁|陈一博|朱洪青|朱志英
中国上海徐汇区梅龙路130号华东理工大学信息科学与工程学院，200237

摘要
由于预训练数据量有限，脑电图（EEG）基础模型在面对跨受试者和跨领域的EEG分布变化时往往面临挑战。为在标记数据有限的情况下高效地对预训练基础模型进行微调以用于下游任务，本文提出了一种参数高效微调（PEFT）方法，该方法结合了受神经科学启发的选择性微调策略与无监督领域适应策略。具体而言，我们假设Transformer高层中的前馈网络（FFN）包含更多具有任务相关性的表征，因此仅对高层FFN进行微调，而大部分骨干参数保持冻结状态。此外，为解决EEG信号的非平稳性及受试者间差异问题，我们引入了一种基于类别的无监督领域适应策略，以提升类别内一致性及类别间区分度。在四个公开数据集上的大量实验结果表明，在所评估的认知任务（情绪识别、异常检测或事件类型分类）中：（i）与完全微调后的基础模型相比，所提模型在更少的训练参数下仍能提升分类性能；（ii）其性能优于现有的PEFT及领域适应方法；（iii）受神经科学启发的选择性微调策略与基于类别的领域适应策略均有助于提升性能。实验代码及补充材料可见https://github.com/wenjiu100/PKGFT-CAUDA。

引言
随着可穿戴设备的快速发展，基于脑电图（EEG）的认知相关分类任务，如情绪识别、异常检测和事件类型分类，越来越受到关注（Si等人，2023；Abdi-Sargezeh等人，2024）。然而，由于多种原因，将模型适配到不同的数据集和记录条件下仍然具有挑战性。首先，EEG信号本身具有非平稳性，当按时间顺序划分数据集时往往会出现时间协变量偏移（TCS）（Cao和Slobounov，2011；J. Li等人，2024）。其次，由于个体在大脑皮层折叠、组织导电性及脑结构方面的差异，会导致较大的受试者间差异（Gayraud等人，2017）。第三，EEG采集设备及传感器在头皮上的放置位置不同，即使是对同一受试者在不同时间的记录，也可能会出现显著差异（Nasiri和Clifford，2020）。因此，实现基于EEG的认知分类任务的跨领域有效适配仍是一个重要且尚未解决的问题。

为解决EEG信号中的领域偏移问题，人们提出了多种领域适应（DA）策略（Zhang等人，2023b；H. Li等人，2024）。然而，现有方法大多直接致力于对源领域和目标领域的嵌入向量进行对齐，这可能导致与任务相关的语义信息丢失。因此，这类方法可能无法有效适配特定的目标领域，从而限制了其在实际EEG分类应用中的效果（Dai等人，2023；Huang等人，2025）。另一种解决方案是对预训练模型进行微调，以用于下游的认知相关分类任务。由于这些预训练模型通常是通过在大规模数据集上进行的自监督训练获得的，因此它们具备强大的表征能力（Zhang等人，2025）。不过，这类模型通常包含大量参数，导致全量微调的计算成本极高。为解决这一问题，人们提出了参数高效微调（PEFT）策略。这类策略通过仅更新少量参数或引入轻量级外部模块来对预训练模型进行适配，同时保持大部分原始参数不变。尽管如此，现有的PEFT策略往往无法达到与全量微调（LaBraM）方法相当的性能。其原因可能是现有PEFT策略在选择待微调模块时未能充分考虑下游认知任务的特性。

为充分利用预训练的EEG基础模型，如大型大脑模型（LaBraM）（Jiang等人，2024）和CBraMod（Wang等人，2025），并使其能够适配各种下游基于EEG的认知分类任务，我们开发了一种基于先验知识引导的微调策略（PKGFT），并结合了一种基于类别的无监督领域适应方法（CAUDA），以此实现针对未标记目标领域的有效适配。这两个组件旨在解决EEG适配中的互补性挑战：PKGFT策略侧重于选择与任务相关的表征，而CAUDA则负责在不同领域间对类别级结构进行对齐。

近期研究（Kim等人，2023）表明，Transformer前馈网络中的非线性变换可能在不同层次的信息处理中发挥不同作用，这为分层适配策略提供了灵感。基于Transformer的模型由多层结构组成，先前的研究表明，不同层次往往负责捕获不同层次的表征。因此，基于这种分层特性设计PEFT策略，为将这些模型适配到下游认知任务提供了有希望的方向。具体而言，我们引入了两个核心先验来指导所提方法。首先，基于自注意力机制与主成分分析（PCA）之间的类比（Zhou等人，2023），Transformer中的自注意力机制可作为一种有效的特征提取器。理论分析（Lu等人，2025）进一步表明，自注意力层倾向于识别主成分，并捕获在不同受试者之间仍保持稳定的领域不变结构。因此，在微调过程中这些层会被保持冻结状态，以保留此类不变表征。其次，借鉴先前的研究（Sukhbaatar等人，2015；Geva等人，2021），Transformer中的FFN在表征转换中起着重要作用。虽然以下的生物学类比并不能直接对应到Transformer架构，仅作为启发式思路，但它提供了一个有用的概念框架：与生物系统中的层级专业化类似，低层FFN倾向于捕获低级的物理特征，而高层FFN则被认为负责编码更复杂、与任务相关且具有区分度的表征（Wang，2024）。这种分层结构与从感觉区到联合区的层级化皮层处理机制的实证研究结果相一致（Felleman和Van Essen，1991；Fuster，1997），也与在高层皮层区域观察到的任务特异性重构现象相符（Saxena等人，2022）。我们的分层探测分析初步证实了这一假设，即深层表征在处理下游任务时具有更强的线性区分能力；不过我们需要指出，探测精度反映的是线性意义上的可分性，而非直接的迁移能力。鉴于下游EEG任务主要需要具有区分能力的表征学习，且自注意力层被保持冻结状态以保留领域不变结构，因此仅对高层FFN进行微调，从而在提高适配效率的同时保留低层表征。

本文的主要贡献如下：
（i）提出了一种受神经科学启发的PEFT策略，该策略选择性地对预训练EEG基础模型中的高层FFN进行微调，从而在大幅减少可训练参数的情况下，提升下游认知任务的分类性能。
（ii）引入了一种基于类别的无监督领域适应策略，旨在在无监督领域适应环境中促进类别内一致性以及源领域与目标领域之间的类别感知型区分对齐。
（iii）在多个认知任务的四个公开数据集上的大量实验表明，所提方法相较于现有的EEG微调及领域适应基准方法，始终能带来性能提升。

章节节选
预训练模型的微调策略
为充分利用通常通过在大规模数据集上进行的自监督训练而获得的预训练模型的强大表征能力，同时降低计算成本，人们提出了多种参数高效微调（PEFT）策略，尤其是在自然语言处理（NLP）领域。这些方法通过仅更新部分模型参数而保持其余参数不变来实现优化。例如，Lee等人（2019）仅对预训练模型的最后一层或几层进行微调。

概述
所提方法整合了两个互补的组件：基于先验知识引导的微调（PKGFT）和基于类别的无监督领域适应（CAUDA）。PKGFT专注于对预训练的骨干模型（如LaBraM和CBraMod）进行高效的参数适配，而CAUDA则通过类别感知型对齐来解决领域偏移问题。以下各小节将详细介绍这两个组件。

基于先验知识引导的微调（PKGFT）
为充分利用基于Transformer的EEG基础模型，尤其是LaBraM的表征能力……

实验部分
本节介绍了实验设置（见4.1节）、实验结果（见4.2节）以及统计显著性分析（见4.3节）。

讨论部分
本节包括六项分析：（1）PKGFT和CAUDA的有效性及其互补性；（2）选择性微调的有效性；（3）基于类别的无监督领域适应策略的有效性；（4）所提模型的计算效率；（5）对关键超参数的敏感性。

结论与未来工作
本文提出了PKGFT-CAUDA方法，该方法结合了基于先验知识引导的微调（PKGFT）和基于类别的无监督领域适应（CAUDA），用于解决领域偏移条件下的基于脑电图（EEG）的认知任务分类问题。PKGFT通过选择性微调高层前馈网络（FFN）模块并保持自注意力权重不变，从而在大幅减少可训练参数的同时维持或提升分类性能。CAUDA则采用语义感知混合（SAM）和……

CRediT作者贡献声明
陈丁欣：撰写——初稿、软件、方法论。陈宁：撰写——审阅与编辑、指导。陈一博：数据整理。朱洪青：撰写——审阅与编辑。朱志英：撰写——审阅与编辑。

利益冲突声明
作者声明不存在任何可能影响本文研究的已知财务利益或个人关系。

致谢
本研究得到了国家自然科学基金的支持[项目编号61771196、61872143]。我们还要感谢Jiang等人（2024）提供了LaBraM模型的代码，这对我们的研究起到了重要作用。