基于脑电图的空中交通管制员认知负荷持续监测:迈向脑机接口驱动的自动化

《Journal of Air Transport Management》:Continuous monitoring of air traffic controllers’ cognitive load based on electroencephalogram: Towards brain–computer interface-driven automation

【字体: 大 中 小 】 时间:2026年08月13日 来源:Journal of Air Transport Management 4.6

编辑推荐:

  摘要:空中交通管理正朝着更高水平的人机协作与决策支持方向发展。脑机接口技术可通过脑电图检测控制员的认知负荷,从而实现基于负荷感知的自动化。然而,基于脑电图的解码方法对不同受试者和不同操作场景下的数据分布变化极为敏感,这会降低跨领域表征学习能力及持续监控效果。为此,我们提出了一种用

  摘要:空中交通管理正朝着更高水平的人机协作与决策支持方向发展。脑机接口技术可通过脑电图检测控制员的认知负荷,从而实现基于负荷感知的自动化。然而,基于脑电图的解码方法对不同受试者和不同操作场景下的数据分布变化极为敏感,这会降低跨领域表征学习能力及持续监控效果。为此,我们提出了一种用于空中交通管制中基于脑电图的认知负荷解码的双移对比对齐学习网络(DSCAL-Net)。该网络首先采用异构时空编码模块,将多频段局部时频特性与具备连接性感知能力的全球网络紧密结合,使局部特征受到全局上下文影响,同时让全局连接性通过局部信息得到优化。随后,分解式投影模块在共享潜在空间内构建不受受试者及场景影响的子空间,而双移对比对齐机制则同时对这类不变表示进行约束,从而在减轻数据分布变化影响的同时保持类别区分度。通过在高保真机场控制模拟中获取的多层级脑电图数据,我们在跨场景、跨受试者及双领域测试条件下对DSCAL-Net进行了评估,其平均准确率分别达到93.22%、73.25%和84.96%,且准确率与预测稳定性均表现优异。模拟在线监控结果还表明,基于DSCAL-Net得出的负荷指数能够精准追踪多阶段的负荷变化,体现了该方法的通用性,也为未来空中交通管制中的神经自适应辅助系统提供了理论基础与概念验证。

1. 引言
认知负荷是反映操作人员在执行任务时所需精神努力的关键指标(Krol等人,2022;Van Benthem等人,2023)。它通常被定义为任务所需心理资源与操作者可用资源之间关系的函数(Wickens,2002)。近年来,认知负荷被广泛用于衡量各类安全关键领域的工作者负荷状态,涵盖航空航天(W. Li等人,2022;Wang等人,2024;Bernhardt等人,2019)、交通运输(Ma等人,2024;Liu等人,2023)、医疗康复(Mathan等人,2010)以及教育领域(Mazher等人,2017)。空中交通管制员是航空运输系统中的核心组成部分。除了依据经验发布飞行许可并做出调度决策外,他们还需持续监控整个空中交通管制系统,并应对各种突发状况(Di Stasi等人,2010)。当管制员面临过高的认知负荷时,整个航空网络的运行效率会大幅下降,事故风险也会随之上升(Pang等人,2023;Di Stasi等人,2010)。在现代空中交通管制环境中,管制员需应对复杂且密集的飞行流量,必须长时间保持高度专注。尽管自动化程度不断提升仍是行业趋势,但在可预见的未来,完全自动化的空中交通管制系统仍难以实现,人类操作员将继续是航空系统不可或缺的部分(Li等人,2023)。正因如此,人们开始探索神经自适应辅助系统,利用脑机接口技术感知操作员的认知状态,为其提供帮助,将负荷控制在安全范围内。

未来的智能型自适应空中交通管制辅助系统应能够自动检测管制员的认知负荷,并根据当前负荷状态提供不同级别的辅助支持。例如,在正常负荷状态下,系统可仅提供低级决策支持;而在负荷过重时,则应自动发出警报并提供高级协调服务,以减轻管制员的负担。不过,此类自动化系统必须能够获取管制员的实时负荷状态,才能做出恰当决策(Y. Li等人,2022)。从脑机接口的角度来看,这类负荷估算值可作为闭环人机协作的神经输入通道,使系统能够实时调整辅助策略,而非依赖固定规则或事后分析。因此,将灵敏且客观的在线监测机制引入空中交通管制系统,以追踪认知状态与负荷的变化动态,将显著提升人机界面设计的安全性,进而减少管制员操作失误。由此可见,开发准确高效的认知负荷监测与检测工具对于保障空中交通安全、及时发出过载警报以及提升空中交通管制系统的运行效率至关重要(Pang等人,2023)。

目前已有多种基于生理信号定量监测认知负荷的方法被提出(Zhou等人,2022)。其中,脑电图技术可直接从头皮采集电活动信号,反映神经元群体的同步放电情况,具有较高的时间分辨率、合理的空间分辨率以及较低的部署成本(Chakladar等人,2023;Zhou等人,2022)。研究表明,脑电图与认知负荷之间存在高度相关性(Zanetti等人,2022),能够有效反映负荷水平的波动(Jamil等人,2021)。因此,脑电图被视为衡量空中交通管制员负荷水平的理想生物标志物,而从生理信号中自动判定认知负荷的过程被称为认知负荷解码。在基于脑机接口的实际应用场景中,认知负荷解码系统需具备低延迟和极简校准的特点,这样才能在运行过程中迅速触发基于负荷感知的自动化措施。然而,脑电图本身的信噪比较低,极易受到干扰。尤其是空中交通管制员在操作过程中经常发出语音指令,相关的肌电活动会在脑电图中引入随时间、个体差异以及操作场景变化的干扰信号,使得这些干扰信号难以被一致地建模或消除(Wei等人,2018)。由于脑电图数据采集本身就需要耗费大量时间(Zhou等人,2022;Chen等人,2021),若在每次数据采集前都进行针对特定个体和特定场景的校准,不仅不切实际,还会给数据收集工作带来巨大负担。因此,为空中交通管制员开发一种通用的、可跨个体和跨场景应用的认知负荷解码模型显得尤为重要。

在以往专注于同一受试者或同一操作场景的脑电图认知负荷解码研究中,已有许多为传统职业环境设计的机器学习方法被应用于该领域,并取得了不错的性能表现(Liu等人,2022;Yedukondalu和Sharma,2022)。近期,深度学习方法在类似的封闭式测试环境中也取得了优异的结果(Zhou等人,2025;Gupta等人,2021;Zhang等人,2019)。不过,这些方法往往难以泛化到跨个体和跨场景的认知负荷解码任务,尤其是在空中交通管制领域——那里的负荷可能短时间内急剧上升,而且在进行指令传达时,脑电图数据还常常会受到语音噪声的干扰。这一限制主要源于以下三方面问题:一是个体间差异显著,二是不同领域的数据分布存在差异,三是空中交通管制任务的特殊运作特性。

在跨个体和跨场景的脑电图负荷评估中,不同个体之间的电压幅度和激活水平存在较大差异,这限制了模型对陌生管制员的泛化能力。与此同时,由疲劳、压力等与认知负荷无关的因素引起的个体内部变化,也会进一步干扰脑电图信号,影响其时间稳定性(Roy等人,2022)。为了解决领域差异问题,人们提出了对抗性领域泛化技术和深度领域适配技术,试图通过领域对齐来学习共享表征(Zhou等人,2023)。然而,这类方法可能会过度抑制领域特有的结构,从而降低模型的区分能力并降低分类精度。此外,它们通常需要足够大且多样的源领域数据才能学习出稳定的不变特征(Hu等人,2025);否则,所学特征可能会被表面的领域特征主导,导致在新个体或新场景下性能不佳。

虽然传统的机器学习方法实现和训练相对简单,但由于其依赖于手工设计的特征提取方法和统计分类器,因此在处理非线性且易受噪声影响的脑电图信号时存在局限性,尤其是在面对复杂的操作干扰时。相比之下,深度学习能够实现端到端的表征学习,减少了对手动特征工程和浅层统计决策边界的依赖,这也推动了更多深度学习模型被用于基于脑电图的认知负荷分类任务(Zeng等人,2018;Jin等人,2024)。与此同时,对比学习作为一种自监督学习范式,通过优化样本间的相似性关系来学习具有区分性和泛化能力的表征,从而减少对昂贵标注数据的依赖。这一特性对于含有噪声且非平稳性的生理时间序列尤为适用,其在基于脑电图的认知负荷解码任务中也已展现出良好效果(Song等人,2023;Shen等人,2023;Cheng等人,2020)。

尽管取得了上述进展,但在实际操作环境中,空中交通管制员的认知负荷解码仍然容易受到不同个体和不同操作场景下数据分布同时发生变化的影响。如何利用对比学习得到的多领域脑电图表征,在这种复杂环境下实现稳健的认知负荷解码,目前仍是一个亟待研究且极具挑战性的课题。

正是出于这些考虑,本研究将空中交通管制员的认知负荷解码问题视为一个涉及同时考虑个体差异和场景差异的泛化问题,并提出了一种用于空中交通管制中基于脑电图的认知负荷解码的双移对比对齐学习网络(DSCAL-Net)。本研究的主要贡献如下:
(a) 提出了DSCAL-Net这一双移对比对齐学习网络,专门用于空中交通管制中的脑电图认知负荷解码,通过由HySE、FPS和DSCA模块组成的集成架构,实现对个体差异和场景差异的同步处理。
(b) 设计了异构时空编码模块(HySE),该模块结合了可变形卷积分支和自适应图结构分支,能够捕捉互补的局部时频特性与全局通道间依赖关系,从而提升模型在面对双重数据分布变化时的鲁棒性。
(c) 通过分解式投影稳定模块(FPS)与双移对比对齐模块(DSCA)的协同作用,利用分解式投影头和多目标监督对比学习方法,共同构建不受受试者及场景影响的表征,同时保持负荷区分能力以及符合神经生理特性的空间、频谱和连接模式,进而提升模型在不同条件下的泛化能力。

本文的其余部分结构如下:第2节介绍数据集与实验流程;第3节阐述所提出的DSCAL-Net模型;第4节介绍实验设置与结果;第5节讨论主要研究发现、对比评估结果以及方法上的局限性;最后,第6节对全文进行总结,并指出未来研究的方向。

2. 数据集
2.1 实验流程
认知负荷测试任务可大致分为以认知能力为导向的任务(如n-back测试、斯特恩伯格测试、心算任务等)(Wang等人,2016;Roy等人,2016;Zarjam等人,2015),以及以实际操作为导向的任务,如驾驶、飞行操作以及多属性任务组合测试(MATB)(Almogbel等人,2019;Dehais等人,2019;Fournier等人,1999;Prinzel等人,2003)。前者虽能精确控制任务难度,但缺乏现实意义;后者则更贴近实际操作流程,但难以设计出可重复的负荷水平,尤其对于那些高度专业化的空中交通管制工作而言。

为获得既具有现实意义又能与负荷标签精准对应的脑电图信号,我们设计了一套高保真的机场控制模拟系统,涵盖了机场地面操作和跑道相关操作的全部内容。这些操作场景包括起飞和降落流程,进一步细分为五个典型阶段:(1)飞机推回与引擎启动,(2)滑行出发或返回,(3)在跑道上等待与穿越跑道,(4)起飞与初始爬升,(5)着陆、滑行结束与离开跑道。实验中排除了异常或紧急情况,确保负荷变化主要由人为设计的操作步骤引起,而非偶然事件。图1展示了整个实验流程。

我们通过同时调整信息呈现方式与交通状况的复杂程度,设置了三种不同的负荷水平:低负荷、中等负荷和高负荷。在低负荷状态下,关键的文字信息(如航班识别码、滑行路线、跑道编号)会持续显示,同时会播放相应的语音指令,这样参与者只需付出较少的精力即可发出标准的飞行许可。在中等负荷状态下,仅提供语音指令,不允许使用任何外部记录设备,参与者必须依靠听觉工作记忆来记住多架飞机的信息并形成回应。在高负荷状态下,信息仍然仅以语音形式呈现,但场景中会涉及多架可能存在冲突或轨迹交叉的飞机,参与者需要持续监控、检测冲突并做出调度决策。因此,这三种状态可分别理解为依赖外部辅助工具的操作(低负荷)、依靠内部记忆的操作(中等负荷),以及在更高复杂度场景下还需解决冲突的操作(高负荷)。

下载:下载高分辨率图像(1MB)
下载:下载全尺寸图像
图1.实验设计与任务流程。(a)整体实验流程包含三个工作负荷等级(低、中、高),以及主观问卷调查(NASA–TLX和Samn–Perelli量表)。(b)按等级设计的实验结构,每位参与者需完成20次试验。(c)高工作负荷等级下的试验示例,展示了ATC机场控制模拟界面、实时脑电图记录以及NeuroHUB脑电设备。为确保模型能够准确捕捉与认知工作负荷相关的脑电特征,而非无关的环境噪声,本研究采用了严格的实验控制方案。实验中的场景变化主要聚焦于任务引发的差异,具体表现为信息呈现方式及交通复杂度的调整。为体现模拟的动态特性同时保持统计一致性,每个等级下的20次试验的交通参数均以范围形式设定。各类量化配置及相应的ATC特定资源需求详见表1。如前所述,为聚焦内在工作负荷变化,实验排除了异常或紧急情况。每位参与者需按随机顺序完成三个工作负荷等级的测试,每个等级包含20次试验。在每次试验中,系统会先展示10秒的当前地面及跑道交通状况,随后通过语音提示说明目标飞机及其运行信息。参与者需按下回车键发起许可申请,系统会记录其反应时间与指令持续时间。相邻试验之间有5秒的休息间隔。在开始各工作负荷等级测试之前,还会记录1分钟的闭眼静息状态脑电图,作为基准数据。各等级测试之间允许短暂休息,以减轻疲劳感。表1列出了三种工作负荷场景的量化配置参数,其中交通参数为20次试验中每次的标准化设置值。

工作负荷等级 | 每次试验的飞机数量 | 信息交互方式 | 冲突情况 | ATC资源需求
---|---|---|---|---
低 | 3–5架 | 带文字标签的雷达显示+语音提示 | 无 | 监控与常规操作:操作员依靠雷达标签识别目标飞机,并发出标准许可指令。
中 | 3–5架 | 无文字标签的雷达显示+语音提示 | 无 | 信息记忆与空间定位:操作员需在脑海中记住飞机信息,并在雷达界面上进行动态空间定位。
高 | 3–5架 | 无文字标签的雷达显示+语音提示 | 1–2次 | 冲突预测与解决:在信息记忆的基础上,操作员需持续进行冲突检测、排序及决策处理。

在正式数据收集之前,还进行了预测试,让参与者熟悉ATC模拟环境及操作要求。预测试在操作流程、界面设计和工作负荷设置方面与正式实验完全一致,只是试验次数仅为正式实验的一半(即每种工作负荷等级下10次试验)。这一准备阶段的主要目的是消除因不熟悉系统界面和操作流程而产生的额外认知负担。通过确保参与者在正式脑电图采集前已充分适应,我们降低了初始学习带来的影响,使得记录到的生理反应能准确反映ATC任务本身的认知需求。此外,在此阶段还会收集参与者的主观工作负荷与疲劳程度评分,以便后续分析其初始适应状态。

2.2 受试者

研究团队使用G*Power 3.1软件进行了事前功效分析,设定显著性水平α=0.05,期望功效为0.80,据此得出15名参与者即可满足工作负荷研究中的被试内比较需求(Liu等人,2025年)。为降低因记录误差导致的数据丢失风险,最终招募了27名健康志愿者。在本研究中,有21名空中交通管理专业学生(17名男性,4名女性;平均年龄22.17±1.30岁;平均身高177.24±3.07厘米;均为右利手)参与了用于训练和评估所提模型的模拟机场控制任务。此外,还有6名持证的一线机场管制员(6名男性;平均年龄31.23±2.98岁;平均从业经验7.51±2.27年;均持有有效的机场控制资质,正在一线岗位工作;平均身高171.20±5.71厘米;均为右利手)的脑电图数据被用于第5.4节所述的持续工作负荷监测案例研究。为保证任务的实际应用价值,参与研究的学生的选拔标准严格限定为已完成核心专业课程的人员。他们在实验前已修完包括机场控制在内的所有核心专业课程。所有参与者视力或听力均正常或经过矫正,无神经系统或精神疾病史,也未长期服用精神类药物。他们接受了标准化培训并进行了多次练习,直至熟悉任务流程。

2.3 脑电图采集与预处理

脑电图数据通过NeuroHUB系统从64个电极通道采集,电极布置遵循国际10–10系统,覆盖额叶、顶叶、颞叶和枕叶区域(Yu等人,2023年;Li等人,2021年)。其中4个通道用于记录眼电图,1个通道用于记录心电图,剩余59个头皮电极用于数据分析。参考电极放置在头部后部,接地电极则位于额头正中位置。信号采样率为1000赫兹,电极阻抗需控制在10千欧以下。预处理工作在MATLAB R2024a环境下使用EEGLAB软件完成(Delorme和Makeig,2004年),主要包括以下步骤:•对脑电信号进行1到45赫兹的带通滤波处理;•通过独立成分分析去除与眨眼、眼球运动及肌肉活动相关的信号成分。为减少空地通信过程中的语音干扰,我们特别针对那些在额颞区域出现高频宽功率信号(20–45赫兹)、与颌部及面部肌肉活动相关的独立成分,以及与舌头运动相关的信号成分进行了去除处理;•将脑电信号与事件日志对应起来,并将其分割成标注有工作负荷状态的时段;•将采样率降为250赫兹,以在保留与任务相关信息的同时降低计算成本。在模型训练阶段,连续脑电图数据会被进一步分割成间隔1秒的3秒长窗口,然后分解为δ、θ、α、β、γ五个标准频段,最后根据需要补充或截断,使每个试验对应的窗口数量保持固定,具体细节见第3.3节。

方法

为实现能够在主体和场景同时发生变化的情况下,对空中交通管制员的认知工作负荷进行精准识别,我们提出了双转变对比对齐学习网络(DSCAL-Net)。该框架旨在充分利用多主体、多场景脑电数据的多样性,同时学习出在不同转变情况下仍保持稳定、且有助于决策制定的工作负荷相关表征。具体而言,DSCAL-Net分为四个阶段运作。第一阶段,一个具备双转变感知能力的样本生成器会将连续的多主体、多场景脑电数据分割成固定长度的窗口,再结合主体、场景和工作负荷标签,构建出能够编码主体不变性、场景不变性以及双重转变关联的监督邻域。第二阶段,异构时空编码(HySE)模块采用双分支编码结构,其中一个分支为可变形卷积神经网络,用于捕捉电极邻域内的局部时间-频谱动态特征;另一个分支为自适应图神经网络,用于建模各电极之间的大规模同步关系,最终生成多频段、多尺度的嵌入向量。第三阶段,分解投影稳定化(FPS)模块会将这个共享嵌入向量映射到一组互补的对比子空间中,通过分离主体相关、场景相关以及共同的工作负荷结构,从而规范表征学习过程,使其在面对不同转变时仍能保持稳定性。第四阶段,双转变对比对齐(DSCA)模块会在这些分解后的子空间上定义多目标监督对比损失函数,共同优化各子空间之间的相似度;与此同时,一个在双转变子空间上训练过的轻量级多层感知器分类器则会负责进行三级认知工作负荷分类。在实际应用中,仅需要使用HySE编码器、FPS模块以及双转变分类器即可完成ATCO工作负荷的识别。DSCAL-Net的整体架构如图2所示。下载:下载高分辨率图像(788KB)下载:下载全尺寸图像图2. 所提出的用于空中交通管制领域脑电图基认知工作负荷识别的双转变对比对齐学习网络(DSCAL-Net)的整体架构。(该图已进行相应调整,以确保与正文中的符号表述一致。)

3.1 具备双转变感知能力的样本生成器

DSCAL-Net的核心目标之一,就是学习出那种在主体和场景同时发生变化时仍能保持稳定,同时又能对认知工作负荷的变化保持敏感性的脑电图表征。为此,样本生成器不仅会为后续的编码器提供分块处理的脑电图数据,还会将这些数据整理成结构化的监督邻域,从而明确编码主体不变性、场景不变性以及双重转变关联。通过这种方式,双转变相关信息被直接嵌入到数据层面,而非仅在损失函数设计时才被考虑进去。设某次试验的连续脑电图数据为E∈RC×T,其中C代表电极通道数,T代表时间点数量。这些脑电信号会被分割成长度为K、步长固定的重叠窗口,从而形成一系列窗口化样本{xi}i=1N,其中每个xi∈RC×K。每个窗口都会被赋予一个工作负荷标签yi∈{0,1,2}(分别对应低、中、高负荷),以及一个主体标识vi∈{1,…,Nv}和一个场景标识si∈{1,…,Ns}。在训练过程中,会将数据按照大小为B的批量进行分组,这些数据可以表示为一个张量X∈RB×C×K,同时还会对应有标签向量y、v和s。对于批量中的每个样本索引i∈{1,…,B},我们会定义三个正样本集合,用来编码不同的不变性特征:主体不变性集合、场景不变性集合以及双重转变集合。主体不变性集合包含那些与样本i具有相同工作负荷和场景的不同主体的窗口数据,以此体现在不同操作条件下不同管制员之间的稳定性。场景不变性集合则包含同一主体在不同场景下执行相同工作负荷时的窗口数据,用于体现对交通状况及操作流程差异的适应性。双重转变集合则将所有具有相同工作负荷标签的窗口数据归为一组,无论其所属主体或场景如何,该集合的作用是帮助构建出对两种转变都具有强适应性的高级工作负荷表征。从形式上来看,这三个集合分别为:(1)Ps(i)={j≠i|yj=yi∧sj=si∧vj≠vi},Pc(i)={j≠i|yj=yi∧vj=vi∧sj≠si},Pd(i)={j≠i|yj=yi}。这三个正样本集合为后续的对比表征学习阶段提供了互补的监督信号:Ps(i)强调不同主体之间的数据一致性,Pc(i)强调不同场景之间的数据一致性,而Pd(i)则有助于构建出能够同时整合两种转变信息的、具有强稳定性的工作负荷表征。对于每一个锚定样本i,负样本则由批量中不符合上述条件的其他窗口数据构成。通过在批量层面直接融入主体和场景结构,这种具备双转变感知能力的样本生成方式,相比将领域特征视为一个单一的、无差别的因素,能为学习出更可靠的 work负荷表征提供更有价值的基础。为避免方程(1)中过于严格的约束条件在批量规模有限(B=16)的情况下导致正样本集合为空,从而使后续的对比损失无法计算,我们采用了自定义的动态正交网格批量采样器,替代了简单的随机采样方法。具体而言,为了构建一个包含16个样本的批量,该采样器会首先动态随机选择目标工作负荷类别,然后再随机选择4个不同的主体和4种不同的操作场景。之后,系统会为这4×4=16种主体-场景组合各检索一个有效的脑电图窗口,从而构成整个批量。在这种结构化的采样方式下,每一个锚定样本都必然拥有3个符合Ps条件的正样本、3个符合Pc条件的正样本,以及15个符合Pd条件的正样本。此外,由于每次批量中的主体和场景组合都是通过随机方式选取的,因此模型在多个训练周期中会不断接触到不同的负样本情境,从而有效避免过度拟合到特定的群体特征上。在极少数情况下,如果由于数据丢失的原因(例如在独立成分分析预处理阶段有大量数据被排除),某个特定的主体-场景组合无法找到对应数据,那么在损失计算过程中会启用动态掩码机制:如果某个领域q的匹配数量|Pq(i)|为0,那么该锚定样本i就会被逻辑上屏蔽,不会纳入批量平均值的分母计算中。这样一来,损失函数就能保持数值上的稳定性,准确反映实际的数据分布情况,同时避免出现人为凑数的匹配结果或无效的对数运算。在构建这些监督邻域时,明确“相同状态”的判定标准至关重要。在本研究中,同一任务块内不同时间点采集的样本,只要其所对应的工作负荷标签yi相同,就会被视为处于相同状态。这一判定标准是基于管理整体交通复杂性所需的持续宏观层面的认知需求(如持续的空间定位能力及工作记忆能力),而非基于短暂的微观行为表现(如短时间的言语交流或沉默观察)。因此,样本生成器所构建的正样本集合,能够捕捉到尽管时间行为表面上有差异,但本质上的认知状态却保持一致的样本。

3.2 异构时空编码(HySE)模块

异构时空编码(HySE)模块采用双分支编码结构,对分频段的脑电图窗口数据进行加工,最终生成统一的多频段时空表征。样本生成器输出的批量窗口化脑电图数据可以用X∈RB×C×K来表示,其中B代表批量大小,C代表电极数量,K代表每个窗口的时间点数量。通过对脑电信号进行带通滤波处理,可以得到标准的频段b∈{δ,θ,α,β,γ},进而得到对应各个频段的信号X(b)∈RB×C×K。3.2.1. 具有拓扑感知的变形CNN分支
对于每个频带b和时间步t,窗口i中的样本会被映射到二维头皮地形图Fi(b)(?,t)上,该地形图能够保持电极的空间排列。变形卷积层会对Fi(b)(?,t)进行处理,使其采样位置能够适应因被试和场景不同而导致的与工作负荷相关的活动空间分布变化。标准3×3卷积核中的网格偏移集合用G表示,p0则表示特征图上的核中心。对于G中的每个偏移pk,一个小的偏移预测网络goff(b)会根据当前特征图估计出动态空间偏移Δpk(b)(t),其计算公式为(2)Δpk(b)(t)=tanh(goff(b)(Fi(b)(?,t)))k,其中tanh激活函数可以限制偏移量大小,避免出现过大的位移。随后,频带b处的变形卷积响应可通过以下公式计算:(3)ycnn(b)(p0,t)=∑pk∈Gw(b)(pk)Fi(b)(p0+pk+Δpk(b)(t)),这里的w(b)(pk)是可学习的核权重。这一操作使得CNN分支能够在捕捉局部邻域信息的同时,动态扩展其感受野,以覆盖当前被试和场景下与工作负荷相关的活动区域。将所有位置和时间步的响应结果叠加起来,再通过1×1卷积来控制通道维度,最终得到按频带划分的CNN特征:(4)Ycnn(b)∈RB×Dc×K,其中Dc是压缩后CNN表示中的通道数,每个时间切片都编码了具有拓扑感知的局部空间模式。

3.2.2. 自适应功能连接性GNN分支
自适应GNN分支旨在捕捉电极之间的全局功能连接模式。对于每个频带b,首先对X(b)沿时间轴进行一维卷积处理并随后进行归一化,从而得到每个电极p的时间依赖型节点特征fp(b)(t)∈RDp。将时间t处的节点特征收集起来后,可以得到矩阵(5)M(b)(t)=[f1(b)(t),f2(b)(t),…,fC(b)(t)]?∈RC×Dp。接着利用图注意力机制构建动态邻接矩阵。对于每对电极p和q,基于注意力的连接强度αpq(b)(t)可通过以下公式计算:(6)αpq(b)(t)=exp((a(b))?σ(W(b)[fp(b)(t)∥fq(b)(t)]))∑q′exp((a(b))?σ(W(b)[fp(b)(t)∥fq′(b)(t)])),其中a(b)和W(b)是可学习参数,σ(?)为非线性激活函数,[?∥?]表示向量拼接。这些系数αpq(b)(t)共同决定了一个随时间和频带变化的邻接矩阵α(b)(t)∈RC×C,该矩阵会根据当前的工作负荷状态动态调整电极间的相互权重。图传播从初始节点特征H(0)(t)=M(b)(t)开始,经过L层处理:(7)H(?+1)(t)=σ(α(b)(t)H(?)(t)W(?)),其中?=0,…,L?1,W(?)表示第?层的可学习权重矩阵。这一过程整合了多跳邻居的信息,最终得到更新后的节点表示H(L)(t)∈RC×De,这些表示编码了具有频带特性的全局同步模式。将每个时间步的特征在窗口内叠加并重新排列维度后,即可得到GNN分支的输出:(8)Ygnn(b)∈RB×De×K。在实验中,De被设置为与Dc相等,这样每个频带的CNN和GNN特征就具有相同的通道维度,可以直接融合。虽然多头注意力机制理论上可以捕捉多种不同的关系子空间,但在此GNN分支中我们刻意只使用单个注意力头(h=1)。由于并行的变形CNN分支已经能够提取丰富的局部空间动态信息,因此GNN分支的任务主要是捕捉主导的全局功能连接模式。单个注意力头就足以模拟这种主要的全局一致性。此外,将注意力机制限制为单个头还起到了结构正则化的作用,它能够防止模型过度参数化,降低模型过度拟合于特定被试或特定场景下的脑电图噪声的风险,从而在双切换条件下提升模型的泛化能力,同时保持计算效率。

3.2.3. 分支间与频带间融合
HySE模块的最后一步是将两个分支在所有频带上捕获的互补的局部信息和全局信息整合起来。对于每个频带b,首先计算CNN输出和GNN输出在元素层面的之和与差,然后再沿着通道维度进行拼接:(9)U(b)=Concat(Ycnn(b)+Ygnn(b),Ycnn(b)?Ygnn(b))。随后对U(b)应用1×1卷积,得到融合后的频带级表示:(10)Z(b)=Conv1×1(U(b))∈RB×Dz×K,其中Dz表示融合后的统一通道维度。通过将所有频带融合后的特征拼接起来,就可以形成多频带的时空表示:(11)Z=Concatb(Z(b))∈RB×D×K,这里的D是跨频带聚合后的总通道数。接着在每个窗口上应用时间统计池化层,比如均值-方差池化层,从而得到简洁的窗口级嵌入:(12)hi=Poolt(Zi)∈RDh,该嵌入作为后续DSCAL-Net中分解投影和双切换对比对齐模块的输入。至关重要的是,方程(11)中定义的基于拼接的融合策略确保了模型不会对五个频率带采用统一的归纳加权方式。从神经生理学的角度来看,认知工作负荷主要表现为特定频带中的异步调节(例如额叶的θ波同步和顶叶的α波去同步)。因此,如果在所有频带上强制采用统一加权,从生理学角度来说并不是最优选择。通过沿着通道维度拼接具有频带特性的特征Z(b),而非对它们进行平均,该架构能够保留独立的频率表示,从而使后续的密集层能够进行数据驱动的特征选择。

3.3. 分解投影稳定化(FPS)模块
异构时空编码(HySE)模块为每个窗口i生成一个紧凑的表示hi∈RDh,该表示整合了多频带、多通道的时空信息。尽管hi已经包含了局部和全局模式,但它仍然混杂着特定于被试、特定于场景以及真正与工作负荷相关的因素。为此引入了分解投影稳定化(FPS)模块,该模块旨在将这种表示明确分解为三个对比子空间,分别针对被试导向、场景导向和双切换对齐需求,并在这些子空间的几何结构发生分布变化时保持稳定。为保持符号一致性,窗口级嵌入记为ri=hi∈RDr,其中Dr=Dh。在进入投影头之前,会对HySE特征进行逐通道归一化处理,并应用基于注意力的时间池化层,这样就能让ri更突出与工作负荷相关的时间点,同时抑制短暂的噪声。当这些投影头处理经过拼接的多频带表示ri时,它们同时也起到了隐式的跨频带加权作用。在训练过程中,下游的对比目标会引导网络自动为那些对应于高度区分工作负荷的频带的输入通道赋予更大的权重,同时抑制那些不太相关的频率。这种数据驱动的选择方式能够严格依据认知工作负荷的固有神经生理模式来实现多频带整合,无需人工设计权重系数。

3.3.1. 被试-场景不变投影
FPS首先构建两个分解投影头,用以获得被试不变和场景不变的嵌入。每个投影头都由两层带ReLU激活函数的多层感知机(MLP)构成,之后再进行?2归一化处理,将嵌入映射到单位超球面上,这有助于对比学习。对于样本i,被试导向的嵌入esi和场景导向的嵌入eci可通过以下公式得到:(13)esi=Norm(Ws(2)σ(Ws(1)ri+bs(1))+bs(2)),(14)eci=Norm(Wc(2)σ(Wc(1)ri+bc(1))+bc(2)),这里σ(?)表示修正线性单元(ReLU),Ws(1)∈Rm×Dr和Ws(2)∈Rd×m分别是被试导向投影头的第一层和第二层的权重,bs(1)∈Rm和bs(2)∈Rd是对应的偏置项,Norm(?)则表示?2归一化。场景导向投影头的矩阵Wc(1)∈Rm×Dr、Wc(2)∈Rd×m以及偏置项bc(1)∈Rm、bc(2)∈Rd也是类似定义的。将一个小批量中的所有嵌入堆叠起来后,可以得到(15)Es=[es1;…;esB]∈RB×d,Ec=[ec1;…;ecB]∈RB×d,这两个向量分别被用于被试导向和场景导向的对比任务。通过这种方式,FPS将共享的时空表示分解为两个具备领域意识的子空间,而非依赖于一个相互交织的单一嵌入。

3.3.2. 双切换表示
为了构建一种既能同时对被试和场景的变化保持不变,又能保留工作负荷区分能力的统一双切换表示,FPS在经过拼接的领域特定嵌入之上又引入了第三个投影头。对于样本i,向量(16)zi=[esi;eci]∈R2d整合了来自被试导向和场景导向子空间的信息。随后双切换嵌入edi可通过以下公式计算得出:(17)edi=Norm(Wd(2)σ(Wd(1)zi+bd(1))+bd(2)),其中Wd(1)∈Rm×2d、Wd(2)∈Rd×m以及bd(1)∈Rm、bd(2)∈Rd是双切换投影头的参数。小批量中所有嵌入结果会被堆叠为(18)Ed=[ed1;…;edB]∈RB×d。通过构建三个经过?2归一化处理的、分别针对被试一致性、场景一致性和双重切换鲁棒性设计的子空间,FPS模块为双切换对比对齐(DSCA)模块提供了结构稳定的几何框架,在这个框架中,被试导向、场景导向和双切换目标可以同时得到优化,而不会融合为一个相互交织的单一表示。这种分解式设计提升了模型在不同条件下的泛化能力,所生成的工作负荷表示也比仅使用单个投影头得到的表示更为稳健和富有信息量。这种分解式架构的稳健性源自两种结构正则化机制。首先,双切换投影头并非可以直接访问原始的HySE表示ri,而是需要从拼接后的子空间向量中生成ed,这就形成了必要的信息瓶颈。如果双切换投影头直接处理ri,网络可能会利用一些表面的领域特定噪声(比如个体的解剖特征或特定场景下的伪迹)来形成虚假的相关性,从而绕过真正的不变性学习过程。分层的拼接结构确保了ed完全是由已经被提炼出具有被试或场景不变性的特征构成的,因此在最初的投影阶段就能有效排除无关的领域噪声。其次,被试不变投影头和场景不变投影头在结构上具有对称性,因此不会产生冗余的表示。尽管这两个投影头拥有相同的架构和输入ri,但它们的参数是由来自下游DSCA模块的正交梯度信号来更新的。由于被试导向和场景导向的对比损失是基于互斥标准定义正样本对(被试间匹配与场景间匹配),因此优化过程会强制这两个并行分支收敛到各自独立、非冗余的特征子流形上。

3.4. 双切换对比对齐(DSCA)模块
FPS模块为每个窗口i输出三种类型的归一化嵌入:用于被试不变结构的esi,用于场景不变结构的eci,以及用于融合后的双切换表示的edi。双切换对比对齐(DSCA)模块将为每种嵌入类型分配独立的对比空间,并依据3.1节中定义的领域意识正样本集,制定出一组耦合的监督对比目标。与使用单一通用对比损失不同,DSCA能够沿着三个协调的轴分别对齐被试、场景和双切换结构。对于任一通用领域索引q∈{s,c,d},对应的嵌入记为eqi,正样本集记为Pq(i),温度参数记为τq>0。在NT-Xent准则的基础上,域q中样本i的监督对比损失可定义为(19)?q(i)=?1|Pq(i)|∑j∈Pq(i)logexp(sim(eqi,eqj)/τq)∑k≠iexp(sim(eqi,eqk)/τq),其中sim(?,?)表示余弦相似度。在被试不变空间中,Ps(i)包含那些具有相同工作负荷和场景但来自不同被试的窗口;在场景不变空间中,Pc(i)包含来自同一被试和相同工作负荷但在不同场景下的窗口;而在双切换空间中,Pd(i)则汇集了所有具有相同工作负荷标签的窗口,无论其被试和场景如何。在所有情况下,小批量中不满足相应条件的窗口则被视为隐式的负样本。在批次层面,可以通过对有效正样本的平均值来获得领域特定的损失值:(20)Ls=1B∑i=1B?s(i),Lc=1B∑i=1B?c(i),Ld=1B∑i=1B?d(i),这里的B表示批次大小。整体的对比目标则是将这三个组成部分综合起来:(21)LDSCA=λ(Ls+Lc)+Ld,其中单一的平衡系数λ用于控制被试级和场景级对齐的相对重要性,而双切换项则被赋予固定的权重1。最小化LDSCA能够促使具有相同工作负荷标签的样本在各个领域特定空间内形成紧密的簇,同时确保不同工作负荷水平之间的分离,以及维持被试、场景和双切换结构之间的一致性。尤为关键的是,这种多目标对比机制从根本上避免了模型过度拟合于短暂出现的噪声。在相同的高工作负荷状态下,有些窗口不可避免地会捕捉到短暂的语音伪迹(比如在主动的空中地面通信过程中),而其他窗口则捕捉到的是安静的认知处理过程。通过数学手段迫使这些处于相同状态但表现各异的表示在共享的潜在空间中对齐,对比目标就能够有效地过滤掉噪声。由于短暂的语音伪迹并不会在所有处于相同状态的表示中都一致存在,因此网络无法将其作为共享的几何基础来最小化损失。相反,编码器不得不主动排除这些特殊的伪迹,提炼出认知工作负荷所对应的持久、内在的皮质神经特征。在实验中,为了使三个目标之间的梯度尺度保持一致,温度参数都被设置为一个共同的值τs=τc=τd,而λ的作用则会在消融实验中进行研究。在完成DSCA预训练之后,HySE编码器和FPS投影头会被冻结。随后会在es、ec和ed的基础上训练三个浅层的两层MLP分类器,这些分类器用于基于交叉熵损失进行三级工作负荷分类。连接到es和ec的分类器分别用于评估跨被试和跨场景的泛化能力,而在实际应用中,则会使用双切换嵌入ed及其对应的分类器,来实现在同时存在被试和场景变化时的连续工作负荷预测。

4. 结果
4.1. 工作负荷水平的脑电图分析
为了确认这三个任务块确实对应着彼此可清晰区分的不同工作负荷水平,我们对NASA–TLX工作负荷评分、Samn–Perelli疲劳评级以及任务表现进行了分析。分析结果如图3所示。为了从统计学上验证工作负荷操纵的有效性,我们专门针对正式实验数据进行了单因素重复测量方差分析(ANOVA)。研究结果表明,工作负荷条件对主观工作负荷感和疲劳程度均有极显著的主效应(整体主效应p<0.001)。经过Bonferroni校正后的后续成对比较进一步证实,随着工作负荷的递增,这些评分均显著上升(低负荷与中等负荷之间,以及中等负荷与高负荷之间;所有校正后p值均<0.001)。相应地,反应准确性也出现了显著下降。这些趋势表明,参与者在三种不同条件下的认知需求存在系统性差异,且所设定的工作负荷水平在行为层面是有效的。我们进一步分析了不同频率带和工作负荷水平下的功率谱密度特征。图4展示了不同工作负荷水平下德尔塔波、θ波、α波、β波和γ波的功率谱密度分布情况。在三种泛化协议下,DSCAL-Net在六种频带配置下的识别性能。准确率、精确率和F1分数以百分比表示,std为准确率的标准差。频带设置:跨场景、跨主体、双域、空单元。准确率、标准差、精确率、F1分数分别列示。五频带融合时,DSCAL-Net的准确率为97.11%,优于最佳基准模型86.53%,高出6.50个百分点;在N=5个场景组合的统计测试中,这一差异的95%置信区间为[0.95,12.05],效应量r=0.87。在θ和α频带下,该网络的准确率分别为95.44%和95.26%,而最佳竞争方法的准确率仅为86.84%和87.98%,表明即使仅依赖单频带信息,异构时空编码与双移对比对齐方法依然有效。在五频带融合设置下,Wilcoxon检验显示,经过Holm校正后,DSCAL-Net的性能显著优于大多数基准模型(padj<0.001),仅有一项比较未达到显著性水平(如准确率的padj=0.100,宏观F1的padj=0.067),这说明该竞争模型的性能差距可能取决于特定场景。在稳定性方面,DSCAL-Net在不同场景下的预测方差也最低,六种频带配置下的平均标准差为0.98%,而最稳定的基准模型仍为2.11%,降低了50%以上。五频带融合时,DSCAL-Net的标准差为0.71%,明显低于最佳基准模型BCJDA的1.53%,表明该模型不仅提升了平均准确率,还在不同机场场景下提供了更为稳定的性能。

5.2 跨主体泛化
跨主体协议的难度更大,因为在训练阶段测试控制器是完全未知的,且个体间存在较大差异。从图7的跨主体行和表6的跨主体列可以看出,DSCAL-Net在所有频带配置下均表现出优势。五频带融合时,其准确率为75.33%,而最佳基准模型AdaptEEG的准确率为67.25%,两者相差8.08个百分点。在N=21个主体组合的严格统计测试中,这一差异的95%置信区间为[?0.85,17.01],效应量r=0.42。尽管经过Holm校正后,这一数值差异并未达到严格统计显著性(准确率:padj=0.287;宏观F1:padj=0.241),但DSCAL-Net仍显著优于其他五个基准模型(padj<0.05)。标准差分析进一步证明了所学表征的实用稳健性,所有频带下DSCAL-Net的标准差最低,平均值为7.75%,而最稳定的基准模型EEGMeNet的平均标准差为8.93%,相对降低了约13.2%。五频带融合时,DSCAL-Net的标准差为6.03%,低于SCDA的7.65%。这些结果表明,异构时空编码与分解投影稳定化的结合,能够生成既具有区分度又稳定的主体不变工作负荷表征,即便在跨主体协议这种极具挑战性的环境中也是如此。

5.3 双域泛化
双域协议是最贴近实际应用场景的,因为训练和测试时的控制器身份及操作场景都会发生变化。在这种联合变化情况下,DSCAL-Net的表现最为突出。如图7的双域行和表6的双域列所示,它在所有频带配置下均持续优于所有基准模型。六种频带平均下来,DSCAL-Net的准确率为84.96%,而最佳基准模型的准确率为78.57%,提升了6.39个百分点。五频带融合时,其准确率为89.65%,最佳基准模型AdaptEEG的准确率为80.96%,绝对提升幅度为8.69个百分点,相对提升约10.7%。在N=105组主体-场景组合的测试中,这一差异的95%置信区间为[6.24,11.14],效应量r=0.78。在准确率和宏观F1指标上,经过Holm校正后,与所有基准模型的对比均具有统计显著性(padj<0.001),这表明当主体和场景同时发生变化时,所提出的双移对比对齐方法尤为有效。在稳定性方面,DSCAL-Net在所有频带下的整体标准差为1.04%,低于最佳基准模型AdaptEEG的1.26%,相对降低了约17.5%。五频带融合时,其标准差为0.87%,低于所有竞争模型(最佳基准模型AdaptEEG的标准差为1.14%)。在θ和α频带下,DSCAL-Net的标准差分别为0.98%和0.98%,同样低于最佳基准模型。这些发现表明,DSCAL-Net学到的双域嵌入能够在真实的跨域应用环境中,同时提升区分度并降低预测方差。

总体而言,在三种泛化协议和六种频带配置下,DSCAL-Net始终展现出强大的解码性能和显著提升的稳定性。在五频带融合模式下,其在跨场景、跨主体和双域协议下的准确率相比最佳基准模型分别提升了约7.2%、12.0%和10.7%。这一趋势进一步证明了所提出的异构时空编码器、分解投影头以及双移对比对齐方法在支持空中交通管制领域可靠认知工作负荷监测方面的有效性。除了量化优势外,DSCAL-Net在面对联合变化时的优越性还源于其能够隐式地对语音诱发的伪迹进行特征级分离。在实际的空中交通管制工作中,存在一种固有的关联:处理更复杂的交通状况必然要求控制器通过无线电频繁发出指令,这就导致在高工作负荷条件下产生更多与语音相关的伪迹(如面部肌肉活动和舌动)。传统的监督学习模型极易过度拟合这些噪声,错误地将伪迹的强度当作主要预测特征,而非真正的脑电活动。DSCAL-Net则通过其双域对比对齐机制有效避免了这一问题。由于个体解剖结构与发声习惯的不同,语音诱发的伪迹在主体间存在极大差异。通过迫使编码器将来自不同主体和场景的同类工作负荷样本映射到共享的、与领域无关的潜在空间中,对比目标会从数学上惩罚这些变化极大、具有个体特性的成分。为使这些表征在不同领域之间实现对齐,网络必须主动剔除具有主体特性的语音伪迹,提取出真正具有内在稳定性的认知工作负荷神经生理模式。这一机制使得DSCAL-Net相较于那些仅依靠信号级物理滤波的常规基准模型具有显著优势。

图8展示了基于DSCAL-Net的六名持证空中交通管制员的模拟在线认知工作负荷监测结果。5.4 连续工作负荷识别
为评估DSCAL-Net在连续工作负荷监测中的适用性,我们进行了模拟在线研究,使用从六名持证在岗空中交通管制员那里记录的脑电信号,这些数据来自包含多个不同工作负荷等级和持续时间阶段的连续机场控制过程。脑电信号按照2.3节的方法进行了预处理。重要的是,整个系统的部署采用零校准方式:在模拟数据集上训练的HySE编码器、FPS投影头以及双域分类器保持不变,直接对六名管制员的实际操作记录进行解码,无需针对特定主体或场景进行微调。对于流式推理,每段连续脑电记录被分割成多个不重叠的3秒时间段,按时间顺序依次处理。对于以时间t为中心的窗口,双域分类器会输出三个工作负荷类别的后验概率,即p(t)=[plow(t),pmid(t),phigh(t)]。为得到便于监测和决策支持的紧凑一维轨迹,我们将p(t)转换为标量形式的工作负荷指数,其中低、中、高工作负荷类别分别对应0、1、2三个数值,公式为(23)ω(t)=0?plow(t)+1?pmid(t)+2?phigh(t)。得到的ω(t)值再通过一维低通滤波器进行平滑处理,以消除孤立波动,同时保留工作负荷的渐进变化。为便于可视化,我们设定0.5和1.5两个阈值,将轨迹划分为低、中、高三个工作负荷区间。图8展示了六名管制员的监测结果。在所有管制员的数据中,后验概率都集中在相应的场景区间内,生成的ω(t)曲线呈现出明显的平台状特征,相邻级别之间过渡平滑。由于3秒的时间窗口以及后续的平滑处理,区间边界处可能存在轻微的时间延迟。总体而言,六段不同操作记录中均呈现出的稳定轨迹表明,所学的双域表征能够在主体和场景同时发生变化的情况下,实现稳定、连续的工作负荷监测,无需为每位管制员单独校准参数。

5.5 T-SNE分析
除了总体指标外,我们还研究了DSCAL-Net是否能在双移条件下学习到具有结构化特征且具有神经生理学意义的认知工作负荷表征。首先,我们使用t分布随机邻域嵌入技术对跨主体和跨场景协议下的双域嵌入进行了可视化展示。在图9中,浅蓝色、浅金色和浅洋红色分别代表低、中、高工作负荷类别的源域样本,而亮蓝色、亮金色和亮洋红色则表示对应的目标域样本。在原始PSD特征空间中,不同类别之间存在较大重叠,源域和目标域的样本也形成零散的簇。经过DSCAL-Net编码后,相同工作负荷级别的样本会聚集成紧密且分离良好的簇,而同一类别的源域与目标域样本则会紧密交织在一起。仅在相邻类别的边界附近存在少量重叠,这反映了工作负荷变化初期短时间段的固有模糊性。这些t-SNE可视化结果表明,双域嵌入同时实现了跨域对齐与类别分隔,这与其在各种测试协议中展现出的强大泛化能力是一致的。

5.6 局限性与未来工作
尽管本研究为基于连续脑电信号的认知工作负荷解码在双分布变化场景下的应用提供了有价值的计算框架与概念验证,但仍需明确指出其在外部有效性方面的若干局限性。首先,实验数据主要来自一组从事高保真模拟任务的空中交通管理专业学生,而非在真实环境中工作的持证空中交通管制员。若要将这类新的脑机接口实验框架应用于实际的空中交通管制工作,就必须严格遵守相关的国家航空安全法规。这些法规明确禁止将初步的实验验证框架直接引入实际操作控制室,要求不得对在岗管制员造成任何干扰,以避免潜在的航空安全风险。因此,在严格的、高保真度的模拟环境中建立可靠的算法基础(如DSCAL-Net)并非妥协,而是未来将该技术安全应用于实际工作岗位之前的必要验证步骤。此外,目前的高精度多通道脑电设备尚未能够在信号质量与便携性之间实现最佳平衡,无法满足在岗管制员的实际需求,因此现阶段直接将其应用于实际空中交通管制环境并不现实。其次,当前的研究参与者中存在明显的性别失衡现象(共23名男性,4名女性)。虽然这种构成是在招募过程中无意中形成的,并非刻意的选择偏差,但它可能影响所学脑电表征的普遍适用性。由于脑电特征与认知工作负荷反应可能存在性别差异,以男性为主的样本可能会限制该框架在跨性别场景中的适用性。第三,虽然本研究为了严格控制脑电工作负荷特征的实验变量,仅研究了任务引起的场景变化,但真实的空中交通管制环境还涉及更多环境因素,如天气变化和不同的塔台布局。此外,依赖主观报告来标注工作负荷也存在一定的局限性。尽管如此,在严格的、高保真度的模拟环境中对DSCAL-Net进行验证,仍是一种合理且实用的初步评估方法。未来的研究需要通过多种途径全面解决这些现有局限性。首先,为提升所提出框架的生态有效性,未来的研究应致力于将集成式空地通信耳机与高度便携的干电极可穿戴脑机接口设备相结合,逐步在具有代表性的人口结构的专业群体中,于实际操作环境中进行实证验证。其次,后续研究应探讨复杂环境因素的影响,并结合多种连续生理指标(如高频瞳孔测量、心率变异性)来建立多模态的客观参考标准。最后,探索处理数据不平衡问题及提升模型可解释性的先进策略,将进一步增强该模型在更大规模多中心数据集中的稳健性及应用价值。

6. 结论
在本研究中,我们提出了DSCAL-Net,这是一种用于空中交通管制领域基于脑电图的认知工作负荷解码的双阶段对比对齐学习网络。DSCAL-Net整合了异构的时空编码器、分解投影模块以及多域对比学习策略,以此学习与主体无关、与场景无关以及跨域的表示形式,从而应对现实多层级空中交通管制工作负荷场景中控制器与操作场景之间出现的联合分布偏移问题。通过对机场控制场景下的脑电图数据进行的大量实验,包括对持证管制员数据的模拟在线分析,结果表明DSCAL-Net在跨场景、跨主体及跨域任务中的准确率和预测稳定性方面均显著优于各类常用基准模型。进一步的消融实验和可视化分析表明,所设计的编码器-投影器-损失函数结构能够有效捕获多样且符合工作负荷特征的表示形式,从而在不牺牲区分度的同时缓解双重分布偏移问题。总体而言,这些结果凸显了DSCAL-Net作为在关键安全型空中交通管制操作中实现工作负荷感知型决策支持的结构化方法基础的重要价值。虽然当前研究已建立了较为稳健的算法基础,但要将该框架真正应用于实际操作,仍需在专业人员参与的实际工作环境中进行严格的后续验证。

CRediT作者贡献说明
邵泉:写作——审稿与编辑,写作——初稿撰写,可视化,方法论,研究设计,形式分析,数据整理,概念构建。张宇:写作——审稿与编辑,写作——初稿撰写,可视化,方法论,研究设计,形式分析,数据整理,概念构建。张江浩:指导监督,软件工具,资源协调,项目管理,方法论,研究设计,资金获取,形式分析,概念构建。李哲:写作——初稿撰写,概念构建。

伦理声明
在本研究中,脑电图数据是通过完全无创的方式从航空运输管理专业的学生以及持证空中交通管制员那里获取的。根据学校规定,此类风险极低的无创研究无需获得机构伦理委员会的正式批准。不过,两组参与者都详细了解了研究的目的和流程,并在参与之前签署了书面知情同意书。为保障隐私,所有数据在分析前均已完全匿名化。实验过程严格遵循《赫尔辛基宣言》中规定的伦理原则。

邵泉|张宇|张江浩|李哲
中国南京航空航天大学民航学院,南京211106
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号