任务敏感的fNIRS–眼动追踪互补性用于自适应智能系统：一种归因-充分性诊断框架

《Expert Systems with Applications》：Task-sensitive fNIRS–eye-tracking complementarity for adaptive intelligent systems: An attribution–sufficiency diagnostic framework

　　

# 摘要

静态特征融合被广泛应用于多模态生理传感领域，但自适应智能系统需要诊断性证据，以判断功能近红外光谱（fNIRS）与眼动追踪之间的互补性是否随任务情境而变化、每种模态能否单独维持任务层面的性能，以及所得诊断结果是否依赖于特征表示方式。本研究提出了一种归因—充分性诊断框架，用于独立于受试者的认知任务情境识别。该框架将融合性能、模态归因、单模态充分性、空间粒度以及辅助脑—眼时间对齐分别进行剖析。研究采集了49名参与者在执行工作记忆、空间推理、逻辑推理、执行功能和视觉注意任务期间的同步fNIRS与眼动追踪数据。在5折GroupKFold评估下，融合模型达到了0.837的准确率、0.851的宏平均F1值和0.847的平衡准确率，优于单模态和眼动基线，差异由参与者聚类推理支持。类别条件SHAP归因揭示了任务敏感的模态特征：眼动追踪特征在工作记忆和空间推理中占主导，而fNIRS的归因在逻辑推理、执行功能和视觉注意中高于工作记忆和空间推理。归因主导并不意味着同一模态能够单独维持融合后的任务层面性能：对于工作记忆，仅眼动追踪的F1值低于融合F1值（0.659 vs. 0.961），产生了最大的融合增益。空间诊断显示，去除枕叶通道或留一ROI消融后，融合平均性能未下降，而ROI级别压缩则降低了性能并减弱了任务敏感的归因分化。辅助时间对齐分析揭示了归因模式相似的情境之间存在不同的特征。这些发现支持在部署前对多模态传感中的模态保留、贡献优先级和空间特征粒度进行评估。

# 引言

自适应智能系统越来越多地利用生理信号来支持对用户认知状态和任务情境的可解释、情境敏感决策（Fairclough, 2009; Fairclough和Gilleade, 2014; Y. Wang等人, 2025; Xu、Wang、Li等人, 2026; Zander & Kothe, 2011）。现有研究主要将这一目标操作化为认知负荷估计，在任务难度调节和实时适应场景中积累了成熟的证据（Afergan等人, 2014; Kosch等人, 2023; Yuksel等人, 2016）。然而，认知负荷估计与认知任务情境识别并非信息等价（Dehais等人, 2020; Wickens, 2008）。不同任务可能施加相似的负荷，但在不同任务情境下需要不同的界面响应和干预时机。此外，由于认知策略、注意分配和体验到的处理需求等方面的个体差异，个体对同一名义任务可能表现出不同的反应。生理传感能够捕获这些个体反应模式，并提供与界面所定义的任务情境互补的信息。在自适应智能和神经自适应系统中，识别目标因此可以定义为一种任务嵌入的认知情境，它整合了认知需求、界面结构、响应单元、视觉组织以及行为节奏（Dehais等人, 2020; Fairclough, 2009; Mühl等人, 2014）。跨任务分类证据表明这一区别并非无关紧要，因为在一个任务上训练的机器学习器在迁移到其他任务类型时往往会性能下降（Baldwin和Penaranda, 2012; Ke等人, 2015; Pu?ica等人, 2025）。

捕获这种任务嵌入的认知情境需要能够反映内部认知加工和可观察行为动态的传感模态。功能近红外光谱和眼动追踪在信息和时间两个层面提供了互补的信息。fNIRS能够捕获任务相关的血流动力学变化，由于其对运动的相对耐受性，非常适合生态效度较高的场景（Pinti等人, 2020; Solovey等人, 2009; Treacy Solovey等人, 2015）。对于任务情境识别，其较慢且空间分辨的表征与眼动追踪捕获的较快的视觉运动和瞳孔动态形成互补。眼动追踪信号具有毫秒级的时间分辨率，能够以高敏感度捕获注意分配、视觉探索策略和瞳孔动态对认知需求的反应（Duchowski等人, 2018; Fridman等人, 2018; Joshi和Gold, 2020; Just和Carpenter, 1976; Van der Wel和Van Steenbergen, 2018）。这两类信号的联合使用已在多个认知任务情境中证明了互补价值（Khan、Asadi、Zhang等人, 2024; Lin等人, 2025; X. Yu等人, 2025; Zammouri等人, 2024），联合性能通常超过任何单一模态，在认知负荷、决策支持和多模态生理传感应用中尤为如此（Broadbent等人, 2023; [AuthorError]等人, 2022; Huang等人, 2024; ??bilir等人, 2019; Khan、Asadi、Qazani等人, 2024; Qu等人, 2024; Yeung等人, 2021）。同步记录fNIRS和瞳孔计的研究进一步表明，两种信号之间的时间关系可能提供超越静态单模态摘要的脑—眼时间对齐附加信息（Yeung等人, 2021）。然而，现有证据仍然集中在任务内融合比较或单任务设计中，当智能传感模型需要在未见过的参与者中区分定性不同的任务情境时，关于多模态生理互补性是否保持稳定的跨任务证据仍然有限。近期多模态生理研究主要通过改进表示和融合来推进，包括跨受试者fNIRS—眼动追踪识别、基于注意的多模态融合以及层次化时空建模（Li等人, 2025; P. Wang等人, 2025; Wang等人, 2026; K. Yu等人, 2025; X. Yu等人, 2025）。可解释的生理建模也使用SHAP或相关基于特征的解释方法来识别有影响力的输入并刻画拟合模型的行为（Shibu等人, 2023）。相关的多模态可解释性方法分别考察了模态使用和跨模态交互（Parcalabescu和Frank, 2023; Wenderoth等人, 2025）。生物医学图像、视觉语音和信号识别领域的研究工作进一步展示了将显式设计的表示与深度分类器结合使用的方法（El Ogri、Jaouad、Benslimane和Hjouji, 2026; El Ogri、Jaouad、Benslimane、Hjouji等人, 2026; El Ogri等人, 2026; Sahmoudi等人, 2026）。这些研究为表示学习、多模态预测和模态使用分析提供了互补的方法。本研究关注的问题更为聚焦：在独立于参与者的评估下，生理融合模型内的类别条件归因是否与独立的任务层面预测性能相对应，这一关系是否随任务情境而变化，以及当fNIRS表示方式被改变时这一关系是否得以保持。

这一空白对自适应智能系统具有重要影响，因为多模态融合通常仅以总体性能增益来评估，而可部署的传感则需要更精确地了解每种模态如何贡献于决策结构。在许多生理识别研究中，互补性通过融合表示与单模态表示之间的总体比较来评估（Kim和Hong, 2024; Xu等人, 2025）。此类评估可以确定融合是否改善了平均分类性能，但无法确定某一模态是否单独充分、仅在融合中才有条件性地有用，或者是否依赖于其特征表示的空间粒度。仅凭总体融合增益因此无法为自适应传感设计中的模态保留、贡献优先级和表示粒度决策提供充分指导。

本研究通过一种在独立于受试者验证条件下运行的多模态传感可解释诊断框架来解决这一问题。方法上的贡献不在于新的融合算子、分类器或归因算法，而在于在共同的独立于参与者的评估框架中赋予既有分析工具各自不同的证据角色。该框架联合检验模型内归因是否与单模态类别边界充分性相对应、这一关系是否随任务情境而变化、以及当fNIRS表示被改变时所得诊断模式是否得以保持。因此，识别性能、模态归因、单模态性能和空间表示敏感性被视为不同的证据，而非总体融合性能的互换性后果。辅助时间诊断刻画了任务特定的脑—眼对齐，但不被视为预测充分性的主要证据。

梯度提升树被用作识别骨干，能够在独立于参与者的验证协议下进行类别条件SHAP归因和任务层面融合增益分析（Lundberg等人, 2020; Lundberg和Lee, 2017）。在该框架内，模型内归因、独立模态充分性和表示敏感性在任务情境间联合评估，而不假设归因份额最大的模态能够替代多模态融合。核心目标是确定fNIRS—眼动追踪在自适应智能传感中的互补性属于稳定的传感器对属性，还是需要任务情境特定诊断评估的任务敏感决策结构。规定了三个主要诊断目标。首先，在独立于参与者的条件下评估融合生理特征对超越单模态模型和低维眼动基线的任务嵌入认知情境的识别能力。其次，将融合模型内的模态归因与单模态性能进行比较，以确定归因主导是否对应于类别边界充分性，还是两者代表了多模态决策结构的截然不同的诊断属性。第三，评估空间表示敏感性，以确定fNIRS相关的预测模式是否依赖于通道级别而非ROI平均的表示方式。脑—眼时间对齐作为辅助分析来考察，以刻画静态归因特征未捕获的任务特定时间组织。综合而言，这些分析将多模态生理融合从总体性能比较转变为一种诊断框架，用于在自适应智能传感前瞻性部署之前评估模态保留、贡献优先级和空间特征粒度选择。

# 各节摘要

**方法**：上述诊断目标通过任务情境采集、多模态特征构建、参与者级验证和归因—充分性分析加以实现。

**结果**：结果围绕四个诊断组件组织：独立于参与者的识别与基线对照、归因—充分性诊断、空间表示敏感性和辅助脑—眼时间对齐诊断。综合而言，这些分析检验了fNIRS—眼动追踪互补性在任务情境间是稳定的还是在决策边界、模态归因、空间表示和时间对齐间重新组织。

**讨论**：本研究考察了自适应智能传感中fNIRS—眼动追踪互补性应被视为稳定的传感器对属性还是任务敏感的决策结构。结果支持后一种解释。多模态融合改善了独立于参与者的任务情境识别，但主要发现是归因主导和单模态充分性构成了多模态决策结构的两个不同属性。它们的分离随

**结论**：本研究提出并评估了一种用于自适应智能系统中独立于参与者的fNIRS与眼动追踪传感的归因—充分性诊断框架。在本研究的任务集中，模型内归因与独立模态性能之间的关系随认知任务情境而变化，而空间和时间诊断识别了额外的表示和情境依赖结构。这些发现表明，多模态互补性更宜被看作

**CRediT作者贡献声明**
Lina Xu：概念构思、方法设计、形式分析、调查研究、数据管理、可视化、原始初稿撰写、审阅与编辑。Bojing Hou：调查研究、数据管理、形式分析、审阅与编辑。Yuqi Liang：调查研究、数据管理、审阅与编辑。Xiaofu Jin：方法设计、形式分析、审阅与编辑。Haotian Bai：调查研究、数据管理、审阅与编辑。Yuyang Wang：方法设计、审阅与编辑。

**致谢**
感谢所有参与实验的参与者。作者还感谢香港科技大学（广州）计算媒体与艺术学域提供的研究支持和实验室设施。

**资金**
本研究由广东省基础与应用基础研究基金（AGP2024M0022）资助。资助方未参与研究设计、数据收集、分析、解读、手稿撰写以及投稿决定。

**声明：手稿准备过程中使用生成式AI和AI辅助技术的情况**
在撰写本作品过程中，作者使用ChatGPT（OpenAI）进行语言编辑和可读性改进。在使用后

**未引用参考文献**
El Ogri等人, 2026; Khan等人, 2024; Khan等人, 2024; Wang等人, 2025; Xu等人, 2026; Xu等人, 2026; Yu等人, 2025。

**利益冲突声明**
作者声明不存在已知的可能影响本论文所报告工作的竞争性财务利益或个人关系。

**致谢**
作者感谢所有参与实验的参与者。作者还感谢香港科技大学（广州）计算媒体与艺术学域提供的研究支持和实验室设施。

Lina Xu | Bojing Hou | Yuqi Liang | Xiaofu Jin | Haotian Bai | Yuyang Wang | Luwen Yu