煤矿人机协作的情境意识识别：一种结合数据增强与双向交叉注意力的多模态融合方法

《International Journal of Industrial Ergonomics》：Situational awareness recognition for coal mine human–machine collaboration: A multimodal fusion approach with data augmentation and bidirectional cross-attention

　　

## 摘要

在信息复杂且动态变化的智能采煤环境中，操作员的情境意识（SA）是确保安全和效率的关键认知因素。为实现对SA水平的科学评估，本研究提出了一种基于多模态特征的可解释识别模型。研究收集了眼动追踪、脑电图、任务表现和负荷数据，并采用基于熵的方法对SA进行量化。通过比较多种单模态分类器，确定了最稳定的基线模型，最终选定了多层感知器（MLP）。在此基线基础上，构建了一个双向交叉注意力多模态模型，通过多模态特征融合实现了高精度SA识别。采用基于SHAP的可解释性分析识别关键特征，并将其映射到三阶段SA框架中，为识别机制提供了明确的洞察。结果表明，多模态融合将模型准确率提升至86%以上，其中经数据增强优化的人机协同多模态模型表现最佳（88.1%）。SHAP分析揭示，关键特征对应于SA形成过程中涉及的不同认知阶段。随着自动化程度的提高，SA识别逐渐从依赖行为表现特征转向生理和认知特征。本研究为智能采煤作业中操作员培训和基于特征的风险干预提供了启示。

## 引言

在复杂的工业人机协同系统中，操作员面临着海量、多维且动态变化的界面信息。他们感知、理解和预判当前及未来情境的能力——即情境意识（SA）——已成为影响系统安全和运行效果的基本认知因素。统计数据显示，人为因素占工业安全事故的70%–90%（Endsley, 2007; Hu等, 2023），SA下降被确认为主要诱因之一（Fang等, 2025）。在航空、智能驾驶和智能采煤等低编制协同环境中，SA减弱会削弱操作员对系统状态变化的检测、解读和预判能力，从而放大潜在安全风险（Endsley, 2024）。因此，准确感知和识别操作员的SA水平已成为降低人为错误、提升系统安全性和可靠性的迫切需求（Li等, 2025）。

这一需求反映了人为错误管理范式的根本转变——从传统的"反应式安全管理"转向"主动预防"。传统的事故预防方法侧重于可见的行为偏差和事后干预，而忽视了复杂任务中实时认知加工的特有性质。随着认知可靠性分析（Hollnagel, 1998）的出现和认知科学的进步，研究日益呼吁将风险控制从行为结果前移至认知过程的早期检测和干预（Ding等, 2025; Wu等, 2023）。作为个体在动态环境中感知、理解和预判能力的核心指标，SA在早期风险干预和潜在认知问题识别中发挥着关键作用（Naderpour等, 2014）。在此背景下，实现操作员SA水平的有效感知和识别不仅是核心理论挑战，也是提升人员可靠性和整体系统安全的关键途径。

现有研究通常将SA测量方法分为三类：主观测量、行为测量和生理测量。主观方法通过问卷或评分量表评估参与者对自身SA水平的主观感知，其中最常用的是情境意识评分技术（SART），它要求参与者在任务完成后根据自身体验对注意需求、注意供给和任务情境理解进行评分。尽管该方法简单高效且经过实证验证，但其结果容易受到参与者记忆局限和主观偏差的影响（Kaber等, 2006; Endsley, 2021a）。鉴于主观测量的局限性，行为测量被进一步引入以评估参与者的SA。行为测量依赖客观测量程序，通过分析参与者对情境相关问题的反应或任务表现（如效率、准确率和反应时间）来推导其SA水平。代表性方法包括情境意识全局评估技术（SAGAT）和情境即时评估方法（SPAM）：SAGAT在冻结时刻暂停任务并询问参与者关于情境的相关信息，记录回答准确率和反应时间以客观评估SA；SPAM则无需暂停任务，在任务执行过程中向参与者提出任务相关问题，并根据回答内容和时间评估其SA（Endsley等, 1998; Endsley, 2021a）。与主观方法相比，行为测量较为客观，已在智能驾驶（Lai等, 2026; Kim和Yoon, 2025; Tan和Zhang, 2025）和航空航天领域（Feng等, 2022; Yu和Dattel, 2025）得到广泛应用。然而，行为测量无法完全捕捉认知过程的动态特性，且围绕高SA是否是良好表现的必要但不充分条件这一争论仍未解决。因此，仅依靠主观或行为数据不足以全面评估SA。相比之下，生理测量通过获取眼动追踪（ET）、脑电图（EEG）和皮肤电导等信号来评估SA，具有较强的实时性和客观性。然而，传统方法缺乏对任务情境的整体理解，难以全面评估操作员的SA水平（Endsley, 2021a, Endsley, 2021b）。随着认知加工研究的进展，生理信号不再被视为仅仅是外部指标，而是底层认知机制的反映，能够揭示SA的动态变化。例如，眼动指标可表征注意分配和视觉搜索行为（Hasanzadeh等, 2016; Le等, 2026），EEG节律反映认知负荷（Ghasimi和Shamekhi, 2024; Hassan等, 2025）。基于这一视角，多模态数据融合已成为突出的研究趋势。通过整合来自ET、EEG及其他来源的互补信息，结合机器学习方法的多模态方法能够实现更全面、更鲁棒的SA建模（Yang等, 2023; Avetisyan等, 2026）。

尽管取得了这些进展，但在方法和应用方面仍存在显著差距。在方法层面，虽然许多近期研究已成功将多模态指标与先进的机器学习或深度学习算法结合以提高SA水平识别性能（D'Aniello等, 2024; Kang等, 2024; Yao等, 2026; Xu等, 2026），但相对较少关注多模态特征的贡献模式在不同人机协同模式或自动化水平下是否保持稳定。现有研究主要聚焦于提高分类性能，而对协同情境变化如何影响SA的认知、生理和行为特征提供了有限的洞察。因此，在不同协同条件下基于多模态特征识别SA水平的动态机制仍理解不足。从应用角度来看，智能采煤的快速发展从根本上改变了作业模式，从传统地下面对面工作转向远程地面人机协同（Wang等, 2018）。这一新作业范式对操作员的SA提出了更高要求。然而，聚焦于智能采煤环境中SA水平识别的研究仍然稀缺。鉴于煤矿灾害的突发性和破坏性，迫切需要开发结合先进算法与多模态指标、针对该特定情境的SA水平识别模型，从而深入了解操作员的认知状态并降低人为错误相关风险。

鉴于这些研究差距，本研究旨在为智能采煤界面的操作员开发SA水平识别模型。为此，设计并开展了一项人机协同任务实验。采用主观、行为和生理测量方法共同收集多模态数据，从中提取相关特征并分析其与SA的关联。这种方法验证了所收集数据在支持SA模型开发方面的有效性和适用性，并弥补了现有研究在特征全面性方面的不足。随后，利用多模态特征构建了SA水平识别模型。比较了传统机器学习算法（SVM、RF、KNN、LR）、集成方法（GBDT、XGBoost、AdaBoost、CatBoost）和深度学习模型（BP和MLP）的性能，以确定最适合复杂多模态数据的建模方法并提升识别准确率。此外，应用基于SHAP的可解释性分析揭示影响SA水平的关键特征，并将其映射到Endsley的三级SA模型。该分析还阐明了人机协同模式如何调节特征贡献并影响SA水平识别性能，从而为分阶段、有针对性的风险干预策略提供理论支持。

本文其余部分组织如下。第2节阐述方法论。第3节进行深入讨论。最后，第4节总结研究结论。

## 方法论

本节描述了研究的整体方法论。首先介绍实验设计和数据采集程序，随后进行数据预处理和SA标签构建。接下来，开发并评估所提出的SA水平识别模型，并进行模型可解释性分析以确定对SA水平识别做出贡献的关键因素。

## 讨论

本研究旨在为智能采煤作业中的操作员开发基于多模态特征的SA水平识别模型，从而支持智能采矿环境中人机协同的可靠性研究。采用单因素三水平被试内实验设计，通过智能煤矿操作界面引发参与者不同水平的SA。SA采用SART和SAGAT量表进行测量，并……

## 结论

本研究设计了一项智能煤矿界面实验，在不同程度的人机协同下引发不同的SA水平，并构建了整合任务负荷（TL）、眼动追踪（ET）、脑电图（EEG）和任务表现（TP）等多模态特征的SA水平识别模型。基于实验数据和模型训练结果，得出以下结论：

(1) 基于MLP的多模态模型能够有效识别SA水平。通过综合考虑主观测量（NASA-TLX）和客观特征……

## CRediT作者贡献声明

Xiaofang Yuan：资金获取、项目管理、资源、监督、初稿撰写。Yi Ding：形式分析、方法论、可视化、初稿撰写。Linhui Sun：资金获取、监督、审稿与编辑。Xin Jiang：数据整理、调查、软件。Ke Gao：数据整理、调查、软件。

## 手稿准备过程中生成式人工智能和AI辅助技术的声明

在准备本研究期间，作者使用了ChatGPT-5.3以支持英语语言编辑。作者对输出结果进行了审阅和编辑，并对已发表文章的内容承担全部责任。

## 利益冲突声明

作者声明，他们不存在已知的与本文所述工作可能产生影响的财务利益或个人关系。

Xiaofang Yuan | Yi Ding | Linhui Sun | Xin Jiang | Ke Gao
西安科技大学管理学院，陕西西安，710054，中国