综述:用于情境感知的生理传感技术:基于理论的综合性综述,探讨了多模态及无监督方法在视觉搜索与人机自主协作中的应用

《Frontiers in Neuroergonomics》:Physiological sensing for situational awareness: a theory-driven integrative review of multimodal and unsupervised approaches for visual search and human–autonomy teaming

【字体: 大 中 小 】 时间:2026年04月29日 来源:Frontiers in Neuroergonomics 1.9

编辑推荐:

  摘要 情境感知(SA)对于在视觉要求高、安全至关重要的任务以及人机协作(HAT)中的表现至关重要,然而现有的测量方法仍然有限。直接探测方法(如SAGAT或SART)会干扰任务流程,而基于表现的指标则只能捕捉结果,而无法反映感知、理解和预测等潜在的认知过程。本文提出了一种理论驱

  摘要
情境感知(SA)对于在视觉要求高、安全至关重要的任务以及人机协作(HAT)中的表现至关重要,然而现有的测量方法仍然有限。直接探测方法(如SAGAT或SART)会干扰任务流程,而基于表现的指标则只能捕捉结果,而无法反映感知、理解和预测等潜在的认知过程。本文提出了一种理论驱动的综合性综述,探讨了用于估计SA的生理传感方法。生理传感提供了一种互补的、连续的、客观的替代方案,有证据表明神经(EEG)、眼部(眼动追踪和瞳孔测量)和自主系统(ECG和EDA)信号各自反映了SA的不同组成部分。该综述综合了这些模式的研究成果,重点关注两个关键领域:视觉搜索任务(操作员必须检测、分类和评估潜在威胁)和人机协作(有效协调依赖于共享的SA、信任和透明度)。除了传统的基于特征的流程外,我们还研究了多模态融合和深度学习的最新进展,强调了无监督和自我监督表示学习的作用。这些方法利用大量未标记的生理数据来揭示潜在的跨模态结构,减少对稀疏真实标签的依赖,并提高可扩展性和生态有效性。通过整合不同传感模式和计算框架的证据,本文概述了当前生理SA估计的现状,并确定了在视觉搜索和人机协作中进行连续实时监测的关键研究方向。

1 引言
情境感知(SA)是指个体对特定时间和空间内环境元素的感知、对其意义的理解以及将其状态预测到不久的未来的能力(Endsley, 1995)。Endsley的三层模型——感知、理解和预测——已成为从航空和军事操作到医疗保健和人机交互等多个领域的主导理论框架。第一层(感知)涉及检测和识别环境中的相关线索;第二层(理解)包括整合这些线索以形成对当前情况的理解;第三层(预测)关注预测未来状态以指导决策。因此,SA是一个动态的、多阶段的认知结构,在需要快速准确解释不断变化的信息时至关重要。
SA仍然是航空、监视和驾驶等动态任务中有效表现的核心组成部分。在视觉要求高的环境中,操作员必须迅速检测潜在目标,将其分类为友方或敌方,并在不确定性、分心和时间压力下评估威胁程度。这些阶段中的任何错误都可能影响任务结果。除了单个操作员之外,SA在人机协作(HAT)中同样关键,因为人类和自主代理必须发展对环境的共同理解,交换意图并协调未来的行动。在这种情况下,操作员不仅需要保持自己的意识,还需要预测自主行为并调整信任度,因为共享SA的失败可能导致注意力分配不当、协调失败和任务效果下降。因此,生理传感被探索为估计个体操作员以及自主队友SA的一种方法。这类研究与神经人体工程学研究一致,表明实时神经生理测量(例如EEG参与度和工作负荷指数)可以追踪任务执行过程中的动态认知状态(Berka等人,2007年),并可能为适应性人机系统提供基础,这些系统可以推断操作员状态并调整信息呈现或任务要求。通过提供操作员认知状态的实时指标,生理监测使自主代理能够调整其行为,例如修改信息流、警报时机或自主程度,从而帮助维持共享的SA并支持操作员。

与Endsley的三层框架的广泛采用同时,大量研究认为SA不仅仅是内部个体的认知产物。分布式认知视角(Hutchins, 1995)将SA视为由人、工具和环境结构相互作用产生的系统级属性。从这个角度来看,感知和理解既受外部工件、界面和协调模式的影响,也受内部心理模型的影响。相关地,团队认知框架强调,在协作或人机协作环境中,SA不仅仅是个体意识状态的总和,还包括代理对共同目标的互补、重叠或协调的理解程度(Cooke等人,2013年;Salas等人,2015年)。因此,即使每个个体操作员都保持高水平的个体SA,共享意图、沟通或心理模型对齐的失败也可能降低性能。这些观点并不取代Endsley的感知-理解-预测层次结构,而是强调了其在多代理、工具丰富环境中的局限性,并指出了需要包括生理传感在内的SA评估方法,这些方法不仅可以捕捉内部认知动态,还可以捕捉分布式人机系统内的互动。

传统的SA评估方法包括直接探测方法(如情境感知全球评估技术(SAGAT)、情境感知评分技术(SART)或情境现状评估方法(SPAM),以及间接的性能指标(如准确性、响应时间和错误率)。尽管这些方法提供了有用信息,但它们都有明显的局限性:探测方法只能提供离散的快照并干扰任务流程,而性能指标反映的是最终结果,而非感知、理解和预测的演变内部状态。这些限制促使人们使用生理传感,因为它可以捕捉连续的、客观的认知和情感过程指标,而不会干扰任务执行。最近的研究表明,脑电图(EEG)可以揭示注意力和目标检测的瞬态神经标志,眼动追踪和瞳孔测量可以指示注视分配和努力程度,心血管和皮肤电反应可以反映工作负荷和唤醒状态。这些模式共同提供了对SA三个经典层次的互补视角。然而,联合分析它们具有挑战性:信号在采样率、噪声特性和时间动态方面存在差异,传统的基于特征的分类器往往难以捕捉非线性互动。深度学习的进步提供了一个有希望的解决方案。卷积神经网络(CNNs和RNNs)、变换器和跨模态注意力机制等架构可以直接从最小处理的数据中学习时空表示,同时自适应地加权不同模式和时间段。然而,一个持续的瓶颈仍然存在:高质量SA真实标签的稀缺。直接探测方法产生的标签很少,而在操作环境中大规模收集这些标签既昂贵又具有破坏性。这些现实促使人们整合无监督和自我监督学习,后者可以利用丰富的未标记生理数据来发现潜在的多模态表示,并在标记数据最少的情况下支持下游SA估计。随着基于学习的方法在SA估计中变得越来越重要,系统行为和可解释性的问题也变得更加重要。从认知工程的角度来看,稳定的学习动态对于系统的透明度、可预测性和操作员的信任至关重要。内部目标变化不规律的系统可能难以被人类用户解释、预测或适当依赖。通过强调对学习行为的分析(例如训练期间不同损失组分的互动),本文有助于更清楚地理解复杂学习系统如何收敛以及它们的内部动态如何影响下游的人类决策和系统监督。

因此,本文的目的是三方面的,并且超越了描述性综合。重要的是,生理信号不应仅仅被视为传感器测量结果,而应被视为支持情境感知的认知机制的可观察相关因素。神经信号(如EEG)反映了与一级SA相关的快速感知区分和注意力更新过程,而眼部指标提供了感知搜索和信息采样期间视觉注意力分配的行为证据。自主系统信号(包括心率变异性和皮肤电反应)在更长的时间尺度上演变,提供了认知工作负荷、信息整合和预测控制过程的间接指标,这些过程有助于二级和三级SA。从这个角度来看,生理传感在认知理论和计算建模之间架起了桥梁:生理信号捕捉了感知、理解和预测的动态,而机器学习模型提供了将这些信号整合为操作员意识连续估计的机制。

除了总结特定模式的发现外,我们的目标是通过整合生理证据与当代的多模态和自我监督学习方法来填补文献中的空白。这种综合提供了一个统一的概念和计算框架,用于解释SA,使本文不同于之前仅关注生理测量或机器学习技术的调查。首先,我们综合了与视觉要求高任务相关的EEG、眼部和自主系统测量的发现。其次,我们将这一视角扩展到人机协作(HAT)中的SA,其中生理传感可能支持适应性协作和信任校准。第三,我们强调了方法学趋势,特别是从基于特征的流程向多模态、无监督和自我监督学习方法的转变,并确定了在视觉搜索和协作交互环境中开发连续、可解释和实时SA监测的关键挑战。为了阐明生理传感、机器学习推理和自主系统响应在操作环境中的互动方式,图1提出了一个基于生理感知的情境感知估计的概念框架。该框架展示了如何通过多模态推理流程将反映感知、认知整合和预测的生理信号转换为能够支持适应性人机交互的情境感知操作估计。它还展示了将生理和行为信号获取与多模态融合、SA推理和自主系统响应连接起来的端到端工作流程。

图1 基于生理感知的情境感知估计的概念框架。生理和行为信号通过预处理、特征提取、多模态融合和机器学习推理来估计带有不确定性的情境感知。该框架还展示了反馈循环,其中自主系统响应影响操作员行为和任务背景。

为了支持透明和系统的评审过程,第2节描述了本综述中使用的文献搜索和研究选择程序。后续章节综合了关于生理传感模式、多模态融合方法和基于学习的SA估计方法的证据,提供了生理传感、机器学习模型和自主系统如何在复杂操作环境中支持连续情境感知监测的集成视图。

2 文献搜索和选择方法
文献搜索和研究选择遵循了受PRISMA评审指南(Page等人,2021年)启发的结构化程序。该方法描述了查阅的数据库、使用的搜索查询以及用于识别使用生理传感估计SA的出版物的纳入和排除标准,特别关注涉及多模态生理信号和机器学习方法的研究。

2.1 搜索策略
文献搜索在人类因素、神经科学和工程研究中常用的几个科学数据库中进行,包括IEEE Xplore、Scopus、Web of Science和PubMed。搜索时间为2025年1月至2026年2月,检索了选定数据库中可用的早期年份的出版物。搜索策略结合了与情境感知、生理传感和机器学习相关的关键词。典型的搜索查询包括组合术语,如“情境感知”或“SA”、“生理传感”或“生理监测”,以及特定的传感模式,如脑电图(EEG)、眼动追踪、心率变异性、皮肤电活动(EDA)和瞳孔扩张。额外的关键词涉及与情境感知密切相关的认知结构,如“认知工作负荷”和“认知状态”,以及计算方法,如“机器学习”、“深度学习”和“多模态融合”。使用布尔运算符组合这些关键词,以检索研究生理指标与SA相关的认知过程的研究,以及研究估计这些状态的计算方法的研究。

为了提供该领域研究发展的额外背景,对检索到的文献进行了轻量级的文献计量学检查。使用从Scopus和Web of Science获得的出版物元数据来检查研究的时间分布和关键研究主题的普遍性。分析表明,大约从2016年开始,涉及生理传感和机器学习方法的SA相关出版物显著增加,这与多模态传感和深度学习方法在神经人体工程学和人机交互研究中的更广泛采用相吻合。关键词共现模式进一步表明,最近的工作越来越多地将生理传感模式(如EEG、眼动追踪和自主测量)与多模态融合和表示学习方法结合起来。这种文献计量学概述仅用于为该领域的研究趋势提供背景;本文中详细介绍的综合重点是通过下面描述的筛选过程确定的具有代表性和方法学影响力的研究。

2.2 纳入和排除标准
如果研究发表在同行评审的期刊或会议论文集中,用英语撰写,并涉及情境感知、认知状态估计或相关结构,则被视为符合纳入标准。符合条件的研究还需要结合生理感知方法,如脑电图(EEG)、心电图(ECG)、皮肤电活动、眼动追踪或瞳孔测量。既考虑了实证研究和方法论贡献,也考虑了提供关于生理方法在情境感知(SA)估计方面相关见解的综述文章。如果研究不涉及生理感知,或者仅关注没有生理指标的行为表现测量,则被排除在外。与情境感知无关的认知结构相关文章也被排除。此外,简短的摘要、社论和非同行评审的报告也不被纳入此次综述。

2.3 筛选和选择过程
初步的数据库搜索产生了大量的出版物。首先对标题和摘要进行筛选,以识别可能与生理感知和情境感知相关的研究。在第二阶段,检查全文以确定这些研究是否符合纳入标准,并为本文的综述提供有意义的见解。除了数据库搜索外,还通过回溯和前向引用追踪,从关键文章和最近的综述论文的参考列表中识别出其他相关研究。这一过程有助于确保包括该领域的基础性和高引用率的作品。

2.4 最终审查的文献集
经过筛选过程后,保留了一部分出版物进行详细分析和综合。这些研究涵盖了多种生理感知方法、实验范式和用于估计与情境感知相关的认知状态的机器学习方法。本次综述的目标不是全面覆盖所有可用出版物,而是综合神经人机工程学、人类因素和计算建模社区中的代表性且有影响力的研究。因此,最终的文献集反映了方法论的多样性以及该领域最活跃的研究方向。图2展示了文献识别和筛选过程的示意图。

3. 从系统综述中综合关于情境感知生理测量的证据
尽管前一节描述了如何识别研究,但本次综合是围绕情境感知的认知结构组织的,而不仅仅是围绕感知技术本身。具体来说,该综述将生理信号与情境感知的三个认知层次——感知、理解和预测——联系起来进行解释。通过围绕这些认知过程来构建综述,超越了单纯描述感知技术的范畴,而是提供了生理指标如何与情境感知的动态形成相关的概念性解释。通过搜索程序识别的研究采用了理论驱动的整合性综述方法进行综合,强调概念性和方法论的见解,而不是对个别效应大小的定量汇总。本文不呈现新的实验数据,而是整合和解释先前发表研究中的发现,以提供关于生理感知方法在情境感知估计方面的结构化概述。目标是整合三个交叉研究领域的证据:(i)情境感知的生理相关性;(ii)用于认知状态估计的多模态融合和机器学习方法;(iii)新兴的无监督和自监督表示学习框架。为了支持这一综合,分析主要基于人类因素、认知工程、神经科学和生物医学信号处理领域的最新系统综述和方法论调查。通过将这些发现重新组织在一个统一的框架内,综述突出了跨模态的规律性,识别了在不同应用领域中持续存在的方法论差距,并将基于学习的建模进展与更广泛的认知工程问题(如可解释性、信任和决策支持)联系起来。通过这种方式,本文通过将积累的实证证据转化为与设计相关的见解和认知工程及决策系统的未来研究方向,补充了之前的系统研究工作。

为了将我们的贡献置于更广泛的研究背景中,我们对之前研究生理测量与情境感知关系的工作进行了详细回顾。该综述综合了探索了多种模态的研究,从神经信号(例如EEG/ERP)到心率、皮肤电活动和呼吸等外围指标,旨在评估这些信号如何影响感知、理解和预测。通过系统地组织现有发现,我们突出了这些模态的潜力以及当前方法的局限性。这些见解激发了下一节中提出的结构化映射,并阐明了多模态融合的整合视角的必要性。几项系统综述评估了生理感知在情境感知方面的现状。迄今为止最全面的努力是Zhang等人(2023年)的研究,他们最初筛选了1,178篇记录,最终综合了25项主要研究,涵盖了医疗保健、建筑、交通/驾驶、过程控制等关键安全领域。他们的综述确定了三个一致的主题:(1)眼动指标(如注视模式、停留时间和注视分配)与直接情境感知探针(如SAGAT和SART)显示出最可靠的关联;(2)EEG指标(包括任务休息前的绝对α波、α波前额不对称性和频带功率比)提供了有希望但仍然有限的证据,因为研究数量较少且方法论存在异质性;(3)外围指标(如心率变异性(HRV)和皮肤电活动(EDA)对工作负荷和压力敏感,但在其情境感知特异性方面结果不一。其他针对性的综述也得出了类似的观察结果。例如,Mahanama等人(2022年)的报告表明,眼动指标能够一致地跟踪动态视觉任务中的感知和理解水平,而心血管反应则更紧密地捕捉与预测或预期相关的全局工作负荷波动。Baldwin等人(2017年)的证据表明,单独的生理或行为模态很少能够对认知状态或情境感知具有高预测能力,而多模态融合则提供了更好的鲁棒性和精确性。Shaffer和Ginsberg(2017年)对心率变异性指标的方法论综述强调了情境、记录协议和生理混淆因素对可解释性的影响。Zhang等人(2023年)的更广泛的系统综合指出,只有少数研究将生理信号与经过验证的情境感知指标(如SAGAT或SPAM)结合起来,这限制了可解释性和跨研究的可比性。样本量通常较小,有时少于20名参与者,这阻碍了统计功效和数据密集型机器学习方法的可行性。任务范式也各不相同(例如模拟飞行、驾驶、医疗保健和过程控制),引入了特定领域的混淆因素,阻碍了标准化特征提取。

尽管存在这些限制,但仍出现了一些跨领域的机会。眼动追踪,在某些情况下还有瞳孔测量,代表了在航空、监控、人机交互和车辆操作等领域评估一级和二级情境感知的一些最有效的行为和生理信号(Zhang等人,2023年;Baldwin等人,2017年)。这些测量在模拟器和训练环境中显示出与情境感知的可靠相关性,尽管它们在实地环境中的部署及其在不同操作环境中的一致性仍然是活跃的研究领域。脑电图(EEG),包括事件相关电位和频谱指标,提供了独特的时间精度和直接访问感知决策过程的能力,尽管其实际应用需要仔细去除伪迹,并且通常需要大量的受试者试验才能获得可靠的估计(Hogervorst等人,2014年;Festa等人,2025年)。外围自主指标,如心率和心率变异性(HR/HRV)、皮肤电活动(EDA)和呼吸,提供了关于唤醒和工作负荷的稳健指标,并且相对容易在操作环境中收集。然而,这些信号通常在与中枢神经或眼动指标结合解释时最具信息量(Shaffer和Ginsberg,2017年)。

本视觉搜索导向的综述通过将特定模态的证据与三级情境感知模型联系起来,遵循了这一轨迹。总体而言,这些系统综述揭示了当前生理方法在情境感知方面的潜力和碎片化。每种模态都捕捉了感知、理解或预测的独特方面,但没有一种能够单独完整地表示操作者的感知状态演变。这种碎片化激发了人们对多模态整合的兴趣,利用互补信号来提高敏感性、特异性和鲁棒性。此外,特别是深度学习在内的机器学习进展,现在能够自动发现传统基于特征的流程无法捕捉到的跨模态模式。因此,下一节将探讨如何应用多模态融合和现代学习架构将这些不同的生理指标统一为连贯的、数据驱动的情境感知估计框架。

从认知工程的角度来看,生理情境感知(SA)估计的价值不在于分类准确性本身,而在于推断出的情境感知状态如何影响下游的决策制定、界面适应和人机自主性协调。生理指标提供了关于感知、整合和预测过程的概率性、时变估计,这些过程直接影响操作者在不确定性下选择、安排和执行决策的能力。当整合到决策支持系统中时,情境感知估计可以指导自适应界面策略,使信息呈现与操作者的当前认知状态保持一致。例如,感知情境感知下降的指标(如注意力集中或P300反应减弱)可以触发视觉重组、提示突出或多模态警报,而高认知负荷或理解力下降的标志(如持续的额叶θ波或HRV降低)可能促使信息节流、非关键信息的延迟或低级任务的自动化。在预测层面,预测性生理特征可以支持预测性适应,例如在警觉性丧失之前或对未来任务需求反应延迟之前进行早期干预。

至关重要的是,生理情境感知估计引入了新的故障模式,这些模式必须在安全关键系统中明确处理。误报,即错误地推断出低情境感知,可能导致不必要的自动化干预、警报疲劳或操作者信任的侵蚀。相反,漏报则可能在真正的感知中断期间错过干预。其他故障模式来自传感器退化、个体差异、情境混淆(例如与任务需求无关的压力)以及模型对实验室条件的过度拟合。这些风险强调了将生理情境感知估计视为决策支持信号的重要性,而不是绝对真实值,并需要将其与不确定性量化、跨模态冗余和保守的适应策略相结合。从设计角度来看,有效的整合要求:(1)以概率或置信度加权的形式将情境感知估计传达给自主性和界面层;(2)适应应该是分级且可逆的,而不是二元的;(3)操作者能够清楚地了解系统行为变化的原因和时间。可解释的模型和透明的适应逻辑支持心理模型的一致性,使操作者能够预测系统响应并适当调整信任。通过这种方式,生理情境感知估计不仅成为检测认知状态的机制,还成为以保持能动性、支持稳健决策和减轻复杂社会技术系统中级联故障的方式。

3.1 比较生理情境感知测量的分析维度
为了满足更深入的分析结构需求,可以沿着一组互补的维度组织所审查的研究,这些维度捕捉了生理信号如何贡献于情境感知。这些维度定义了可测量的变量,如信号延迟、提取层次和时间整合窗口,从而允许跨模态进行系统比较。第一个重要的区别涉及信号的时间尺度。生理模态在时间分辨率和延迟方面存在显著差异:EEG和眼动信号以毫秒级别运行,因此非常适合捕捉与一级情境感知相关的快速感知过程,而心血管和皮肤电信号则在更长的时间尺度上演变,对于与二级和三级相关的持续认知整合和预测过程更具信息性。第二个维度涉及可观察性和处理要求。一些指标是直接可观察的,如注视位置或心率,而其他指标则需要基于事件或事后的处理,如ERP成分(如P300)。这一区别对于实时适用性至关重要,因为依赖于刺激对齐或试验平均的信号不太适合连续的情境感知估计。另一个关键维度涉及生理信号对情境感知层次的特异性。眼动指标倾向于与感知注意力有直接关联,而自主信号通常反映更广泛的构造,如工作负荷或唤醒,需要上下文解释才能推断其与理解或预测的关系。此外,不同模态在鲁棒性和生态有效性上也有所不同。神经信号(如EEG)提供了关于认知过程的丰富信息,但对运动伪迹和环境噪声敏感,而心血管信号通常更稳健,但对特定认知机制的特异性较低。最终,不同方法在实时应用方面的适用性各不相同。眼动追踪和心率可以以较低的延迟持续计算,而基于ERP的测量方法通常需要事件对齐和平均处理,这限制了它们在操作环境中的直接应用。综合来看,这些维度在各项研究中显示出一致的模式:快速且直接可观察的信号在感知层面的注意力(SA)中占主导地位,而较慢且更综合的生理反应则有助于理解和预测。这种结构化的视角为后续章节中介绍的操作和计算框架奠定了基础。

4 多模态融合与机器学习
如第3节所述,单独考虑时,生理测量方法很少能提供完整的注意力状态图景。脑电图(EEG)可以反映快速的感知或决策相关处理过程,眼动追踪提供空间注意力标记,而心血管或皮肤电活动则反映较慢的自主神经系统唤醒状态。由于这些信号捕捉到了感知-理解-预测框架中部分独立的方面,将它们结合起来可以提高预测注意力状态变化的敏感性和特异性(Hogervorst等人,2014年;Baldwin等人,2017年;Wilson和Russell,2003a年)。

在人机协作(HAT)场景中,随着责任和信息流在人类与自主代理之间的分配,维持操作员的注意力状态变得越来越具有挑战性。生理传感提供了一种推断操作员即时认知状态的手段,融合模型可以结合多种生理通道(如眼动、EEG或心血管测量数据),以提高个体注意力状态估计的稳健性。因此,本综述的重点是操作员为中心的融合方法。然而,同样的融合原理可以在未来的工作中扩展,以纳入额外的上下文信号,例如来自自主队友的系统状态信息。这样的扩展将能够构建更全面的联合模型,以估计共享或团队层面的注意力状态,尽管这超出了本综述的范围。最近的系统评价一致指出了注意力状态估计的两个主要方法论趋势:(1)多模态生理传感与传统机器学习的结合;(2)深度学习在从原始或最小处理信号中进行自动表示学习方面的日益应用。这些趋势标志着从单通道、理论驱动的指标向多模态、数据驱动模型的明显演变,后者能够连续且实时地估计注意力状态。多模态生理传感的一个核心动机是,与注意力状态相关的认知状态(例如工作负荷)无法通过任何单一信号完全确定,但可以通过结合互补的神经、视觉和自主神经系统测量结果来更稳健地推断出来(Hogervorst等人,2014年)。

4.1 经典融合策略:组合部分视图
早期的工作通常遵循两阶段流程来从生理数据中估计注意力状态。在这些方法中,研究人员首先从各个信号模态中提取手工设计的特征,例如从眼动追踪中提取注视持续时间和扫视频率,从EEG中提取频带功率,或从心脏数据中提取心率变异性(HRV)指标。然后训练一个单独的机器学习分类器(如SVM、k-NN或决策树),将这些工程化特征映射到预定义的注意力状态水平。在本综述采用的框架内,这些早期方法对应于手动指定的特征提取阶段,随后进入监督融合模型,这代表了融合谱系的低端,其中特征构建是明确设计的而不是通过学习获得的。这些系统中的融合通常在特征层面进行,即将每种模态的工程化特征连接成一个表示;或者在决策层面进行,通过结合来自特定模态分类器的后验概率或投票来进行(Hogervorst等人,2014年;Yang等人,2023年;Jia等人,2024年;Qian等人,2024a年;Smith等人,2025年)。特征层面的融合具有紧凑性和更简单的训练流程,但可能会受到时间分辨率不匹配和噪声模态影响的限制。相比之下,决策层面的融合提高了对模态故障的鲁棒性,并允许进行特定模态的建模,但如果后验概率是通过基于采样的方法(如MCMC)而不是基于梯度的优化得出的,则计算成本可能会增加。尽管存在这些权衡,这两种策略仍然具有吸引力,因为它们是可解释的,需要较小的训练集,并允许明确检查每种模态对注意力状态估计的贡献。最近的调查进一步扩展了这些分类法,为生物医学信号的多模态融合策略提供了更完整的描述(Stahlschmidt等人,2022年)。

4.2 用于多模态情境感知估计的深度学习架构
最近,深度学习方法开始重塑多模态注意力状态预测。卷积神经网络(CNN)和循环神经网络(RNN),包括长短期记忆(LSTM)和门控循环单元(GRU)模型,可以直接从原始或最小处理的信号中学习时空模式,从而减少了对手工设计特征的需求。CNN通过应用卷积核来检测空间定位的模式,而LSTM和GRU架构则通过门控记忆单元专门建模时间动态,从而在时间步骤中保留或更新信息(Schirrmeister等人,2017年;Bashivan等人,2015年;Chen等人,2024a年;Xu等人,2025年)。多模态架构通过几种互补策略整合异构输入。早期的融合CNN/RNN模型从同步的时间-频率图(如EEG频谱图与瞳孔直径或心率时间序列)中联合学习跨模态表示,并在真实的监控和监视任务中展示了改进的注意力状态相关波动检测能力(Zheng等人,2019年;Yin等人,2021年)。注意力机制和基于变压器的架构通过允许网络自适应地加权不同的模态和时间段,进一步增强了多模态建模,突出每个预测窗口中最有信息量的通道(Vaswani等人,2017年;Xu等人,2025年)。此外,基于图和注意力的神经网络,如双半球差异RNN(Li等人,2021年)和3D卷积-注意力模型(Liu等人,2022年),展示了深度架构捕捉复杂时空依赖性和EEG通道间区域不对称性的能力。尽管这些方法目前主要在单一模态内操作,但它们的图灵启发式和基于注意力的结构为未来整合异构生理传感器的多模态扩展提供了自然的基础。

总之,最近的工作展示了从单通道、理论驱动的分析到能够实时连续估计注意力状态的多模态、数据驱动模型的明显方法论进展(Chen等人,2024b年)。深度学习架构,如卷积和循环神经网络,在相关工作领域(包括工作负荷检测、疲劳监测和情感识别)中表现出强劲的性能,新兴研究也报告了在动态和高需求任务中对注意力状态估计的类似改进(Jia等人,2024年;Smith等人,2025年)。然而,这些进展仍然受到高质量标记数据稀缺性的限制,以及在没有中断任务执行的情况下获取连续注意力状态真实值的难度。在人机协作场景中,这种限制更加明显,因为共享或分布式注意力状态的概念需要将人类操作员的生理和行为指标与自主队友的系统状态信息对齐。这种同步和标记本质上具有挑战性,使得难以获得反映团队层面注意力状态而非个人视角的可靠注释。

4.3 向无监督和自我监督建模发展
正如最近的研究所强调的(Zong等人,2023年),这些挑战激发了对无监督和自我监督学习(SSL)方法的兴趣,这些方法可以利用大量未标记的生理和行为数据来揭示潜在的跨模态表示。一些公开的多模态生理数据集已成为注意力状态相关研究中情感、工作负荷和警觉性相关任务的 facto 基准。代表性示例包括DEAP(EEG + 外周生理)、MAHNOB-HCI(EEG、ECG、眼动追踪、视频)、AMIGOS(EEG、ECG、GSR、视频)、DREAMER(EEG + ECG)和WESAD(可穿戴胸部/手腕ECG、EDA、BVP、呼吸、加速度计)。尽管这些语料库为监督和多模态融合方法提供了有价值的测试平台,但它们在受试者数量上仍然有限,依赖于实验室诱导协议,并且很少包含经过验证的注意力状态探针——这些限制直接加剧了注意力状态建模中“标签稀缺”的问题。在这些数据集上,监督流程仍然是主要方法,但当标记数据稀疏时,它们容易过拟合。半监督和迁移学习策略通过重用标记语料库(例如在一个数据集上进行预训练并在另一个数据集上进行微调)来减轻标签要求,尽管它们的有效性在很大程度上取决于领域相似性和一致的预处理。相比之下,无监督和自我监督的预训练方法,包括自动编码器、变分自动编码器(VAE)、对比表示学习和预测编码目标,已经显示出从大量未标记数据中学习稳健、可重用的生理表示的能力。这些方法可以在没有明确注意力状态标签的情况下发现跨模态的低维潜在结构,可能捕捉到难以直接标注的认知因素(例如警觉性、理解负荷和与预测相关的预期动态)。最近的综述进一步强调了多模态融合和表示学习框架的重要性,特别是无监督和自我监督方法,对于生物医学和神经生理信号来说,它们能够实现跨模态特征发现并减少对大量标记数据的依赖(Stahlschmidt等人,2022年)。最近的实证工作进一步证明了这些好处。例如MATS2L(Goetz等人,2023年)这样的模态不可知框架可以从异构生理通道中提取共享表示;多尺度时间对比预测编码在低标签情况下对EEG时间序列表现出强大的性能(Xu等人,2023年);跨受试者的对比学习方法在运动想象EEG中提高了跨个体和会话的迁移能力(Li等人,2024年)。这些研究表明,SSL方法对于生物医学和神经生理信号具有巨大的潜力,能够实现跨模态特征发现并减少对广泛标记数据的依赖。总之,这些发现表明SSL方法可以显著减少对高质量注意力状态标签的依赖,支持跨受试者的泛化,并推动了为注意力状态研究量身定制的标准化生理SSL基准的发展。

无监督建模在操作环境中特别相关,因为在这些环境中,真实值探针可能会干扰正在进行的任务并危及安全,数据分布在操作员、设备或任务阶段之间发生变化,隐私限制也限制了详细行为标签的可用性。通过捕获数据本身的结构,无监督和自我监督框架可以促进跨受试者的迁移,实现罕见事件的异常检测,并减少对昂贵手动注释的需求。因此,结合无监督特征提取与轻量级监督微调的混合流程(例如few-shot学习或semi-supervised校准)是朝着实时、可部署的注意力状态监控迈出的自然下一步。

4.4 当前的挑战和机遇
尽管取得了令人鼓舞的进展,但在多模态生理模型的开发中仍存在一些限制。下面我们将详细探讨主要挑战并概述解决这些挑战的研究方向。

4.4.1 数据稀缺性和生态多样性有限
大多数注意力状态数据集的参与者少于30人,包含的记录时间较短,并依赖于受控的实验室范式,这限制了模型的泛化能力(Hogervorst等人,2014年;Stahlschmidt等人,2022年)。补救措施包括:(1)标签效率高的自我监督预训练(第4节),这在几个最近的生理基准测试中提高了低标签情况下的性能(Goetz等人,2023年;Xu等人,2023年;Li等人,2024年);(2)跨数据集预训练和领域适应,以减轻任务和生理条件之间的分布变化(Ganin等人,2016年;Wang等人,2024年);(3)使用生成或基于生理学的模型进行合成增强,这可以扩展合理信号的范围,并在一些EEG应用中显示出益处,尽管需要仔细验证以确保生理真实性并避免伪影(Hartmann等人,2018年;Neifar等人,2025年)。一个重要的长期机会是创建具有标准化协议和共享元数据的大规模多模态注意力状态基准(Delorme,2023年)。

4.4.2 任务、传感器和标记协议缺乏标准化
预处理流程、传感器配置、采样率和注意力状态真实值定义的多样性使得跨研究比较变得复杂(Zhang等人,2023年)。可行的解决方案包括:(1)为EEG、眼动和自主神经系统信号提供统一的预处理工具包和可复制的流程(Pedroni等人,2019年;Delorme,2023年);(2)包含关于任务结构、传感器放置和标记的上下文元数据的数据集发布(Koelstra等人,2012年;Healey和Picard,2003年);(3)具有连续注意力状态估计共同评估指标的社区基准。为注意力状态标签制定标准化的本体,与感知、理解和预测保持一致,将进一步提高可重复性和互操作性(Endsley,1995年)。

4.4.3 用于安全关键决策支持的可解释建模
深度和无监督模型能够实现单次试验预测和实时适应,但它们引入了与透明度、正则化和稳定性相关的挑战(Samek等人,2017年)。对于与注意力状态相关的视觉搜索和目标检测任务,现有证据表明,最有效的架构是那些在时空表示学习与可解释性之间取得平衡的架构,即:(1)用于结构化时间信号(如EEG和眼动动态)的卷积和循环网络;(2)当必须整合异构模态时使用的基于变压器的多模态编码器;(3)减少标签需求同时保持区分结构的这些模型的自我监督变体。这些架构在最近的生理-认知状态研究中被反复采用(Goetz等人,2023年;Xu等人,2023年;Li等人,2024年),而基于物理的神经网络(PINNs)由于需要明确的控制方程——这些约束对于注意力分配或视觉情境感知(SA)等认知过程来说难以形式化——因此在目标检测中的应用较少。尽管如此,PINNs在解释由物理动力学控制的生理系统中的潜在状态方面仍然具有价值(Raissi等人,2019年;Karniadakis等人,2021年;Ahmadi等人,2025年;Willard等人,2022年)。因此,混合策略提供了一个实用的折中方案:使用为目标检测优化的深度编码器与可解释的浅层分类器相结合,或者使用事后解释方法,如注意力可视化和Shapley值分配(Lundberg和Lee,2017年)。当嵌入的动力学能够真实反映潜在的生理机制时,这样的方法可以产生既高效又在机制上可解释的模型(Rudy等人,2017年;Luo等人,2025年)。

4.4.4 可解释性、学习动力学和操作员心理模型
虽然前一段重点讨论了实现可解释性的架构和方法论方法,但本节将重点转移到人类操作员如何理解学习动力学和潜在表示,以及它们如何与情境感知的认知模型相一致。在安全关键的认知系统中,可解释性不仅仅是模型架构的属性,还取决于学习动力学如何与操作员的感知、理解和预测的心理模型相匹配。从情境感知(SA)的角度来看,可解释的表示之所以有价值,是因为它们对应于认知上有意义的信息处理阶段,并且随着时间的推移以可预测的方式演变。如果学习系统在训练或适应过程中的内部目标或主要损失成分波动不定,就可能会产生人类操作员难以预测、解释或信任的输出。可解释的多模态表示可以明确映射到SA的三个典型层次上。在感知层次,暴露空间或时间注意力权重的模型(例如,对视觉区域、EEG通道或时间窗口的显著性)与操作员对线索检测和注意力分配的直观理解相一致。例如,在视觉搜索任务中强调边缘注视忽略的注意力图可以为检测到的感知SA损失提供认知上可理解的解释。在理解层次,反映持续工作记忆负荷、跨模态整合或冲突监控的潜在状态与操作员从多个信息源构建意义的内部努力相对应。在预测层次,与预期控制或不确定性跟踪相关的缓慢演变的潜在变量可以解释为操作员预见未来任务状态并相应规划的能力。学习动力学在维持这种可解释性方面起着关键作用。当不同的目标(如重建损失、对比对齐和监督校准)结合在一起时,它们在训练时间内的相对影响决定了学习表示中强调哪些认知过程。稳定的收敛模式,其中早期学习优先考虑感知结构,后期阶段则完善整合和预测特征,更符合人类对渐进式SA形成的概念。相比之下,损失项之间不稳定或振荡性的主导可能会产生在感知和更高层次抽象之间不可预测变化的表示,从而削弱透明度和复杂化信任校准。考虑一个假设的自适应无人机界面,它依赖于多模态的自我监督SA估计器。如果该模型始终将低SA归因于减少的视觉扫描(感知层次缺陷),界面可能会通过突出显示遗漏区域或增加视觉显著性来进行适应。然而,如果同一模型间歇性地将低SA归因于预期失败(预测层次缺陷)而没有明确的上下文线索,操作员可能会认为系统的干预是任意的或与他们的经验不符。在这种情况下,可解释性不仅仅是关于暴露内部变量,而是关于确保模型推断与操作员的合理认知解释相一致。

这些考虑激发了结合表达性表示学习和基于认知的约束的混合建模策略。例如,强制感知和预测潜在状态之间的时间分离的架构、与SA层次对齐的层次化损失,或者明确引用感知、理解或预测的事后解释。这样的方法支持开发在整个训练和部署过程中学习行为保持可理解性的系统,从而增强人类-自主团队合作中的透明度、可预测性和信任。

4.4.5 数据安全、隐私和跨机构可扩展性
生理和行为信号包含敏感的认知和健康相关信息。除了加密和访问控制之外,还需要保护隐私的机器学习框架来支持大规模的多模态SA研究。联邦学习允许在不共享原始数据的情况下进行分布式模型训练(McMahan等人,2017年),支持医疗成像等领域多机构间的合作(Sheller等人,2020年)。将联邦方法扩展到机构贡献异构模态的场景仍然是活跃的研究方向。补充技术,如差分隐私、安全聚合和同态加密,可以在训练期间进一步保护梯度和模型更新(Truex等人,2019年)。这些框架共同指出了实现大规模保护隐私的跨机构SA建模的可行路径。

4.4.6 个体间变异性和跨受试者转移
个体之间、设备设置和操作条件下的生理反应存在显著差异,这限制了模型的泛化能力(Wang等人,2023年)。补救措施包括受试者不变的表示学习、对抗性对齐(Ganin等人,2016年)以及通过少量样本或半监督适应进行轻量级个性化(Zhao等人,2020年)。基于Transformer和图结构的多模态架构通过受试者嵌入或上下文条件化规范化提供了额外的机会。

总之,虽然深度和自我监督模型能够实现单次试验预测和实时适应,但在推进标准化、可解释性、隐私和跨机构可扩展性方面仍有许多有意义的机会。解决这些挑战对于将多模态生理SA估计从受控实验室范式过渡到现实世界中鲁棒、透明且伦理上可部署的系统至关重要。

4.5 对人类-自主团队合作的综合与影响
多模态融合为估计、监控和增强人类-自主团队合作(HAT)中的情境感知提供了一个原则性的框架。在回顾的文献中,出现了一个共同的模式:SA最好不是通过任何单一通道来预测的,而是通过生理、行为和系统状态信息之间的协同作用来预测的。这一观察结果与当代HAT设置中的操作需求一致,在这些设置中,操作员必须在与自主队友协调的同时解释复杂的环境。

4.5.1 在自动驾驶和无人机控制中的操作相关性
在部分自动化的驾驶中,多模态融合模型可以结合眼部指标(反映视觉注意力)、EEG警觉性指标和车辆状态遥测数据来预测监控中的失误或对自动化的过度信任。这样的系统可以触发自适应界面,例如在低SA状态下增加听觉警报,或者在操作员负担过重时调节自主性水平。同样,在无人机操作中,融合EEG、心率变异性、眼动追踪和任务状态变量可以实时检测到注意力隧道效应、空间意识的丧失或传感器数据整合的困难。自主代理可以修改信息流,优先处理任务线索,或在人机团队之间重新分配任务。这些例子表明,多模态融合不仅是一种方法论上的进步,也是维护现实世界HAT环境中共享SA的实用机制。

4.5.2 连接机器学习子部分
尽管前面的小节分别讨论了监督学习、自我监督融合和可解释建模,但它们共同展示了一个连贯的进展。当存在高质量标签时,监督模型提供了强大的性能,但可转移性有限。无监督和自我监督方法缓解了标签稀缺的问题,并实现了跨数据集的预训练,从而提高了泛化能力。然后,可解释和基于物理的架构解决了高后果HAT领域中的安全和透明度要求。这种从准确性到可扩展性再到可解释性的进展突显了现代SA建模的分层性质:没有单一方法足够,但它们的组合形成了从数据采集到实时决策支持的集成流程。

4.5.3 朝着集成融合框架的方向发展
未来的统一方向是开发端到端的多模态融合模型,这些模型结合了每种方法的优势:针对任务特性的监督微调、为了标签效率的自我监督表示学习,以及为了可解释性的机制性约束。实际部署还需要嵌入式不确定性量化、轻量级个性化以及保护隐私的学习策略,以支持跨机构的可扩展训练。

4.5.4 对未来HAT系统的影响
当这些多模态融合方法在操作环境中实施时,它们提供了三个关键好处:(1)实时估计操作员和团队层面的SA,实现自适应自主性;(2)提高对环境变化和个体差异的鲁棒性;(3)通过可解释的反馈提高透明度和信任校准。这些能力直接解决了自动驾驶、无人机群操作和分布式指挥控制系统中的新兴挑战,在这些系统中,保持共享SA对于安全和任务成功至关重要。

5 从生理信号中操作化情境感知
尽管生理传感提供了关于与情境感知(SA)相关的认知过程的丰富信息,但将这些信号转化为可测量和可操作的指标仍然是一个关键挑战。为了解决这一限制,我们引入了一个操作框架,该框架通过可测量的变量、时间约束和适合实时估计的决策逻辑将生理特征与SA层次联系起来。

5.1 SA层次的可测量指标
生理信号必须通过可观察或可计算的特征来表达,这些特征可以连续提取。对于感知(第1层SA),快速的神经和眼部反应提供了主要指标。例如,EEG频谱特征(如alpha抑制)和事件相关反应(如P300)反映了与显著刺激的注意力参与,而眼动追踪指标(如注视概率、首次注视时间和对任务相关区域的注视集中度)提供了感知分配的直接证据。对于理解(第2层SA),指标反映了持续的认知整合。这些包括EEG中的前额theta活动、眼动追踪中的结构化扫描路径模式以及心率变异性(HRV)的减少,这些都与增加的认知工作负荷和信息处理需求相关。预测(第3层SA)可以通过预期和预测的生理动力学来实现。这些包括前额theta活动的时间调制、预期事件之前的HRV变化以及关键任务转换之前的皮肤电反应。与感知不同,预测需要整合时间背景,因此本质上依赖于更长的观察窗口和预测建模。

5.2 操作阈值和决策逻辑
为了实现实际应用,生理指标必须与阈值或决策规则相关联。例如,当任务相关区域的注视概率在给定时间窗口内超过定义的阈值,并结合神经参与的证据(如alpha抑制)时,可以推断出感知SA。同样,理解层面的SA可以与持续的前额theta活动和中间时间窗口内的稳定扫描路径组织相关联。操作SA估计可以以概率形式制定。多模态特征可以结合起来估计每个SA层次的可能性:
P(SAt∣xt)=f(xEEG,xeye,xauto)

5.3 实时约束和信号选择
对于操作SA估计来说,实时可行性是一个关键考虑因素。并非所有生理测量都同样适合连续监控。事件相关电位(ERPs),如P300,需要刺激对齐,通常需要试验平均,这限制了它们在实时系统中的直接适用性。相比之下,频谱EEG特征、注视指标和心率测量可以连续计算,具有低延迟,因此更适合在线SA估计。这种区别促使使用混合方法,其中基于事件的神经标记用于离线验证或校准,而连续特征支持实时推断。滑动窗口分析提供了一个实用的解决方案,不同的时间窗口对应不同的SA层次(例如,短窗口用于感知,较长窗口用于理解和预测)。

5.4 情境感知动态的层次化和预测模型
操作SA估计不仅可以依赖于固定的阈值,还可以以概率形式制定,从而允许明确建模不确定性。多模态特征可以结合起来估计每个SA层次的可能性;感知(第1层)为理解(第2层)提供输入,后者又支持预测(第3层)。因此,生理反应在不同阶段演变,反映了从快速检测到整合和预测的进步。快速且直接可观察的信号,如注视分配和EEG频谱反应,主要反映了早期的感知过程。这些信号为后续整合提供了基础,而较慢和更持久的生理动态,如前额theta活动和心率变异性,反映了理解层面的处理。预测则源于这些信号的时间整合,结合了依赖更长观察窗口的预测控制和预测机制。这种层次关系可以表示为时间过程:
SAt=f(L1t,L2t,L3t)
其中每个层次都是根据特定模态的特征及其时间演变来估计的。特别是预测需要预测建模。机器学习模型,如循环神经网络或时间变换器,可以捕捉随时间的依赖性,并从过去的生理动态中推断出面向未来的认知状态。这使得不仅可以估计当前的SA,还可以估计其可能的演变。这种层次化和动态的视角阐明了一个事实:生理指标并不完全对应于单一的情境感知(SA)层次,而是在情境感知形成的不同阶段以不同的方式发挥作用。它还为比较不同研究的结果提供了结构化的基础,因为差异通常可以通过时间尺度、任务要求以及所测量的情境感知阶段的变化来解释。

5.5 举例应用
在无人机监控场景中,对目标区域的注视减少结合神经活动的减弱可能表明感知层面的情境感知能力下降,从而需要增强视觉线索。脑电图(EEG)和心率变异性(HRV)显示持续的高认知负荷可能表明存在理解困难,这可能需要信息过滤或自动化支持。在任务转换前的预期生理模式,如HRV或皮肤电活动的变化,可能预示着预测能力的下降,从而可以在性能下降之前进行早期干预。这一操作框架将生理感知与实时情境感知估计联系起来,解决了描述性方法的关键局限性,并使得与自适应人机系统的集成成为可能。这个例子展示了所提出的框架如何应用于监控、驾驶和人机交互等操作领域,在这些领域中,持续监测操作员的状态可以支持适应性决策,提高系统的安全性和性能。

5.6 贡献总结
本节不仅对以往的工作进行了描述性的汇总,还引入了一个关于生理情境感知(SA)估计的结构化和操作化框架。首先,它定义了与每个SA层次相关的可测量生理指标,这些指标基于可观察的特征和时间特性。其次,它提出了一个操作框架,将这些指标与决策逻辑和概率推理联系起来,明确考虑了实时约束和信号选择。第三,它引入了一个层次化和预测性的SA动态模型,在该模型中,感知、理解和预测被建模为由多模态生理证据支持的连续过程。这些贡献共同提供了一个连贯且可测试的框架,将生理感知、认知建模和实时人机交互联系起来,从而解决了以往文献主要集中在模态级别描述而缺乏操作整合的关键问题。

6 生理感知模式及其对情境感知的贡献
在本节中,通过感知-理解-预测框架的视角来解释生理感知模式,以阐明可观察的生理信号如何与构成情境感知的潜在认知机制相关联。基于第3节总结的证据和第4节讨论的多模态整合策略,本节综合了生理感知模式如何在任务执行过程中提供用于估计情境感知(SA)的信号。每种模式都捕捉了支持三种典型SA层次的认知过程的互补方面:感知(检测和关注线索)、理解(整合信息以形成意义)和预测(预测未来状态)。然而,生理信号很少完全对应于单一的SA层次。例如,EEG标志物如P300反映了感知更新,而振荡指数如中额叶θ波与工作记忆、认知控制和预期处理相关(Polich, 2007; Cavanagh and Frank, 2014)。因此,生理模式应被解释为提供SA过程的重叠和互补指标,而不是单独测量个别SA层次。图3提供了代表性的生理感知通道如何映射到SA的感知、理解和预测层次的概念性概览,以及这些信号如何通过多模态推理机制进行整合以支持决策制定的方法。以下小节总结了用于SA评估的主要生理感知模式,强调了它们的潜在机制、与三个情境感知层次的相关性以及它们的方法学优势和局限性。

图3 生理模式与其最强烈支持的情境感知(SA)层次相对应。该图说明了代表性的感知通道如何贡献于图1中介绍的更广泛的生理SA估计流程中的感知、理解和预测过程。实线箭头表示向多模态融合和决策支持机制的层次化信息流,而虚线弧线表示生理信号对更高层次SA推理的间接或情境影响。

6.1 脑电图/事件相关电位
脑电图测量头皮记录的神经活动,提供了与感知、注意力和认知控制相关的大脑过程的直接窗口。SA研究中常用的EEG指标包括事件相关电位(ERPs)、α和θ频段的频谱功率以及额叶中线θ波活动。例如,P300成分代表在刺激后大约250-500毫秒出现的EEG信号正偏移,通常与刺激检测和注意力分配相关。在情境感知的背景下,EEG标志物与多个SA层次相关。P300或P3b幅度反映了感知检测和注意力捕获,α波抑制和额叶θ波通常与工作记忆负荷和认知整合相关,而持续的额叶θ波与主动监控和预期控制过程有关。EEG具有非常高的时间分辨率,并能直接访问支持SA的神经过程,尽管它对运动伪影敏感,通常需要仔细的预处理和受试者内校准。当与眼动追踪或自主信号等互补模式结合使用时,EEG可以为复杂任务期间的认知状态提供更丰富的多模态表示。

6.2 眼动追踪和瞳孔测量
眼动追踪和瞳孔测量提供了视觉注意力和认知努力的行为和生理指标。典型的指标包括注视持续时间、扫视模式、扫描路径结构以及瞳孔直径的变化。这些信号提供了对情境感知不同组成部分的洞察。注视概率和首次注视时间表明了注意力的分配位置,因此提供了感知层面SA的指标。扫描路径的结构反映了在理解环境过程中空间和情境线索的整合方式。此外,瞳孔扩张通常与认知努力相关,并在预期任务需求时增加。眼动追踪提供了对显性视觉注意力的直接测量,并在许多操作领域中显示出与SA表现的高度相关性。然而,它主要反映的是显性而非隐性注意力过程。在多模态SA估计框架中,眼动指标通常与神经或自主信号结合使用,以提高鲁棒性和情境解释能力。

6.3 心血管信号(ECG/PPG, HR, HRV)
心血管测量提供了与工作负荷、压力和警觉性相关的自主神经系统反应的信息。这些信号通常来自心电图(ECG)或光电容积描记(PPG),从中可以计算心率(HR)、心跳间隔和心率变异性(HRV),包括时间和频率域的数据。与神经或眼动指标相比,心血管信号的时间动态较慢。因此,它们对快速感知检测过程的敏感性较低,但在信息整合期间提供了有用的持续认知努力和工作负荷的指标。HR和HRV的变化也与警觉性波动和未来任务事件的预期有关。心血管信号在操作环境中相对容易收集,并且对适度运动具有鲁棒性。然而,由于它们反映了聚合的自主活动,其解释可能受到身体状况、情绪因素和环境条件的影响。因此,心血管信号通常在多模态融合框架中与更快的神经或行为指标结合解释。

6.4 皮肤电活动/皮肤电反应
皮肤电活动测量与交感神经系统激活相关的皮肤电导变化。通常分析两个主要成分:基础皮肤电导水平(SCL),反映基线唤醒的缓慢变化;以及相位皮肤电导反应(SCRs),捕捉对显著刺激的瞬时反应。在情境感知的背景下,相位SCRs通常被解释为对意外或意外环境线索的定向反应,因此可能与感知层面的SA相关。基础唤醒水平提供了情境理解期间持续参与和认知-情绪工作负荷的指标。此外,预期SCRs可能在预期的关键事件之前发生,表明其与预测和预期过程有关。EDA对情绪和注意力状态非常敏感,尽管其信号可能受到压力、体温调节和环境条件等因素的影响。在多模态SA监测系统中,皮肤电信号通常通过提供关于唤醒和情感参与的额外信息来补充神经和眼动指标。

6.5 呼吸、EMG和其他外围通道
其他外围生理信号,包括呼吸和肌电图(EMG),可以在任务执行期间提供关于认知和情感状态的补充信息。呼吸信号捕捉呼吸频率、变异性和胸腔扩张的变化,这些变化通常随着持续的工作负荷和认知努力而变化。面部EMG活动可以反映对刺激的微妙情感反应,并可能提供对环境线索的即时反应指标。在某些警觉性任务中,观察到呼吸减速或节奏性调整先于计划中的反应,这表明可能与预期过程有关。尽管这些外围信号单独使用时对估计情境感知的特异性较低,但当与神经、眼动和自主信号结合在多模态生理模型中时,它们可以提供有用的情境信息。

6.6 生理指标的跨模态综合
这些模式涵盖了参与SA的多个时间尺度和认知子过程。为了提供这些关系的结构化和分析性概述,表1总结了主要生理感知模式如何贡献于情境感知的不同组成部分。除了将模式映射到SA层次外,该表还引入了关键的分析维度,包括时间尺度、可观察性、可解释性和实时适用性。这些维度使得跨模式进行系统比较成为可能,并明确了它们在操作SA估计框架中的各自作用和限制。

表1 模式 时间尺度 可解释性 可观察性 实时适用性 主要SA贡献
感知 P300/ERPs 毫秒 中等(需要预处理;强主体特异性) 基于事件的(ERP),派生的(频谱特征) 中等(频谱),低(ERP需要事件对齐) P300—检测显著刺激(Polich, 2007; Wickens, 2008) θ/α—认知负荷和整合(Klimesch, 1999) 额叶θ波—预期控制(Cavanagh and Frank, 2014)
眼动追踪/瞳孔测量 毫秒(注视);秒(瞳孔) 注视时高;瞳孔时中等(努力/唤醒推断) 直接(注视),派生的(扫描路径,瞳孔指标) 高
注视模式—空间注意力分配(Holmqvist et al., 2011) 扫描路径揭示了情境特征的整合(Land, 2009) 在预期准备期间瞳孔扩张增加(Math?t, 2018)
心血管(ECG/PPG, HR, HRV) 秒到分钟(慢自主动态) 中等(依赖于情境;受身体状况影响) 直接(HR),派生的(HRV指标) 高(HR),中等(HRV需要窗口化) 有限的线索检测敏感性(Mehler et al., 2012) HR/HRV跟踪持续的工作负荷和压力(Mehler et al., 2012) HRV变化反映警觉性和预期(Park and Thayer, 2014)
EDA/GSR 秒(相位);分钟(基础) 中等-低(对情绪和环境因素敏感) 直接(SCL),基于事件的(SCR) 中等
SCR峰值—对显著事件的定向反应(Sokolov, 1963) 基础唤醒反映了持续的参与(Howells et al., 2010) 预期SCR可能在预期的关键事件之前发生(Bach et al., 2010)
呼吸/EMG 秒(中等响应速度) 中等(作为情境共模态有用) 直接(呼吸频率,EMG幅度) 高
EMG捕捉即时情感反应(‘t Hart et al., 2018) 呼吸频率随持续认知负荷增加(Grassmann et al., 2016) 呼吸节奏调整先于计划中的反应(Miyamoto et al., 2022)

生理模式映射到三个情境感知(SA)层次,使用与图3相同的颜色调色板。彩色单元格突出显示了与每种模式最相关的SA层次,而其他单元格表示次要或情境贡献。绿色 = 最强的感知联系;黄色 = 最强的理解;橙色 = 最强的预测。颜色强度突出显示了每种模式最强烈支持的SA层次。

除了模态级别机制之外,还重要的是研究这些信号在实证研究中的具体应用。因此,表2综合了多个任务领域的代表性实验,包括视觉搜索和警觉性、驾驶和导航、操作模拟和虚拟现实以及认知控制范式。该组织强调了任务需求如何影响与情境意识不同方面相关的生理特征。表2列出了各项研究的主要发现和使用的测量方法。

| 研究模式 | 测量方法 | 研究层次 | 主要发现 |
|------------------|------------------|-------------|--------------------------------------------------------|
| 视觉搜索/警觉性(Wilson和Russell 2003b) | EEG、ECG/HRV | L2–L3 | 随着任务时间的延长,α波抑制和HRV降低,表明情境意识下降。 |
| 雷达检测(Brookings等人1996) | EEG | L1–L2 | 前额θ波和β波与工作负荷和注意力投入相关。 |
| 朋友/敌人分类(Baldwin和Penaranda 2012) | EEG、眼动追踪 | L1–L2 | 注视动态与感知更新的EEG指标相关。 |
| UAV跟踪(Singh等人2021) | EEG、HRV | | 行为日志显示HRV下降预示注意力疲劳和线索检测能力减弱。 |
| 驾驶/导航(Riley等人2004) | EEG、ECG/HRV | SAGAT | θ波增加和HRV降低表明过载和预测能力下降。 |
| 海事导航(Li等人2025) | EEG、HRV、EDAS | L3 | 在不确定性下,情境意识下降反映在EEG和自主神经系统指标中。 |
| 路上驾驶(Brookhuis和de Waard 2010) | HRV、EDAS | L2–L3 | 自主神经系统变化反映持续负荷和情境意识下降。 |
| 自动驾驶(Heikoop等人2018) | EEG、眼动追踪 | L1–L2 | 枕叶α波和眨眼指标表明注意力分散。 |
| 共享控制(Zhang等人2022) | EEG、EDA | L2–L3 | 多模态融合比单一模式更有效地预测情境意识。 |
| 操作/模拟/VR(Dorneich等人2012) | EEG、HRV | L2–L3 | 情境意识下降与工作负荷增加和HRV降低同时发生。 |
| 航空模拟(Qian等人2024b) | EEG、ECG、眼动追踪 | L1–L2 | 融合方法在感知/理解跟踪方面优于单一模式。 |
| ATC自动化(Aric等人2016) | EEG、ECG | L2–L3 | EEG驱动的自动化有助于维持情境意识。 |
| 认知控制/工作记忆(Parasuraman等人2009) | EEG、HRV | L2 | 前额θ波和HRV下降反映工作负荷驱动的情境意识波动。 |
| 双任务处理(Matthews等人2015) | EEG、EDA | L2 | θ波和EDA与过载及理解水平下降相关。 |
| 时间压力(Jung等人2018) | EEG、ECG | L3 | 压力相关的EEG/HRV变化预示预测准确性降低。 |

值得注意的是,表1中分析的维度揭示了生理信号用于情境意识估计时的系统性差异。快速且直接可观测的信号(如注视和EEG频谱特征)更适合实时估计感知层面的情境意识,而较慢或衍生的信号(如HRV或皮肤电反应)则提供了更稳健的持续认知整合和预期能力的指标,但需要更长的时间窗口和情境解释。表2总结的研究中存在几个方法学差异:首先,任务范式差异很大,从受控的视觉搜索实验到复杂的操作模拟和导航任务不等;其次,大多数研究的样本量相对较小,通常少于30名参与者,这限制了统计功效并限制了数据密集型机器学习方法的应用;第三,不同生理模式的时间分辨率、可观测性和抗噪声能力存在显著差异,直接影响它们用于实时情境意识估计的适用性。这些差异部分解释了研究结果的差异性,并突显了需要更标准化的实验协议和评估框架。

在这些范式中出现了两个一致的模式:首先,大多数研究依赖多模态生理感知,因为单个生理通道只能捕捉到操作员意识的部分方面;其次,很少有研究明确区分不同生理模式如何映射到特定的情境意识水平。这些观察结果强调了在结构化、任务依赖的框架内解释生理信号的重要性。例如,心率变异性、α波抑制或瞳孔扩张等相同的生理指标可能根据操作需求反映不同的认知或情感过程。因此,生理模式对情境意识的贡献不应相同,而应根据(1)它们与特定情境意识水平的理论关系,(2)它们的时间动态和可观测性,以及(3)它们在任务情境中的实时适用性来加权。这种基于任务的加权为开发既可解释又在操作上有意义的多模态情境意识指标提供了原则性基础。最近的研究进一步证实了这些模式,表明多模态生理融合在航空(Qian等人2024b)、导航(Li等人2025)和人机交互界面(Smith等人2025)中提高了对情境意识下降的敏感性。

在人机自主团队(HAT)环境中收集生理数据不仅涉及伦理和隐私问题,还涉及任务关键的安全考虑。由于自主代理、可穿戴传感器和网络化决策支持系统构成了一个共享的网络物理生态系统,任何破坏这一系统的敌对行为者都可能获取军事操作员的敏感生理数据。这些数据包含关于疲劳、压力、警觉性和认知准备状态的信息,如果被截获或操纵,可能会损害操作完整性,甚至对人员构成直接风险。因此,保护多模态生理数据的方法必须同时考虑隐私保护和抗攻击能力。生理数据的采集和分析,特别是整合了神经、视觉和自主系统信号的多模态记录,引入了复杂的伦理、法律和隐私挑战。这些数据流可能暴露超出任务表现的认知和情感方面的敏感信息,从而增加意外推断或误用的风险。在这个领域进行负责任的研究需要严格遵守伦理准则,并在数据生命周期的每个阶段进行透明管理。知情同意必须明确描述收集的生理数据的性质、可能从中得出的推断以及保密限制。数据应进行匿名处理,并存储在具有可验证审计追踪的加密访问控制服务器上。当使用无线采集系统或基于云的分析时,必须实施TLS或WPA3等安全传输标准,以防止拦截、欺骗或篡改。管理同步生理数据流的软件框架(如Lab Streaming Layer)应符合机构的网络安全政策,并保持严格的版本控制以确保可重复性。对于HAT系统而言,保护操作员与自主代理之间的通信渠道至关重要;操纵生理遥测数据的攻击可能会扭曲情境意识估计或以不可预测的方式影响自主系统的行为。

操作或防御应用需要更高的伦理警惕性。在这种情况下,生理监测可能与决策权、隐私权和监控伦理相交。由于基于生理数据训练的深度学习模型可能影响与情境评估、信任校准甚至参与标准相关的决策,它们的设计和部署必须保持透明、可审计和受人监督。人为干预的原则至关重要:自动化情境意识系统应增强而非替代负责任的人类判断。

尽管在方法论上取得了显著进展,但当前生理情境意识研究仍存在几个限制。数据稀缺仍然是一个根本障碍。大多数已发布的数据集只包含几十名参与者,记录时间短,任务类型或环境条件的多样性有限。因此,模型往往过度拟合于特定的实验范式,无法在不同情境中泛化。此外,真实情况的估计仍然是一个挑战。SAGAT或SPAM等工具提供的标签稀疏且不连续,难以与连续的生理信号对齐,阻碍了时间模型的训练和验证。这种不匹配凸显了需要半监督和弱监督学习框架的需求,这些框架能够在保留可解释性的同时利用未标记的数据。个体间在应对工作负荷、警觉性和压力方面的生理反应存在很大差异,这些差异进一步增加了泛化的复杂性。领域适应和迁移学习技术可能有助于缓解这些问题,但其潜力尚未在情境意识建模中得到系统探索。模型透明度也是一个关键挑战。尽管深度架构功能强大,但大多不透明,难以将潜在特征与可解释的生理机制联系起来。结合基于注意力的可视化、梯度归因或物理信息约束可能有助于阐明学习到的表示如何对应于认知过程。最后一个限制是生态有效性。许多实验协议依赖于简化的实验室模拟,无法完全捕捉现实世界操作的不确定性、多任务处理和环境变化。将评估扩展到噪声、运动和动态团队协作普遍存在的现场条件对于确保鲁棒性和操作相关性至关重要。此外,大多数研究关注单个操作员而非分布式团队。人机自主团队中的共享和集体情境意识建模仍然是一个未探索的领域,需要新的框架将多模态生理数据与通信动态、信任和协作行为联系起来。

总之,本综述回顾了从单一模态、手工方法到集成多模态和表示学习框架的生理情境意识估计的演变。通过将EEG、视觉和自主系统信号结合到深度和自我监督架构中,研究人员开始捕捉定义情境意识认知结构的感知、理解和预测的互补动态。这些发展表明了一种向连续、不显式和适应性估计的范式转变,能够支持视觉搜索任务和人机自主团队(HAT)中的决策制定。未来的进展将依赖于多个方面的共同努力:多模态同步必须成为标准做法,确保神经、视觉和自主系统数据与行为和情境指标在时间上对齐;标签高效的学习,特别是在大型生理数据集上的自我监督预训练和针对性微调,为克服小型标记数据集的局限性提供了可扩展的路径;同样重要的是将可解释性直接嵌入模型架构中。注意力机制、基于物理的约束和事后可视化工具可以使学习到的表示透明且具有生理意义,从而在操作员和人类因素研究人员之间建立信任。伦理和隐私考虑必须与技术创新同步发展。透明记录数据来源、算法决策规则和模型更新对于维护问责制至关重要,特别是在安全关键或防御环境中。最终,从受控实验室任务发展到生态有效的实时环境将决定这些模型是否能够真正作为适应性合作伙伴而不是被动观察者发挥作用。

总之,当多模态生理感知与原则性的机器学习设计和严格的伦理管理相结合时,为理解和增强智能和自主系统时代的人类情境意识提供了变革性的途径。除了总结感知模式外,本综述还强调生理情境意识估计应被视为一个认知建模问题,其中生理信号作为感知、整合和预期过程的可见指标。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号