综述：基于多模态逆向强化学习的Stroop任务认知评估转化研究

这篇创新性研究通过整合脑电图（EEG）与眼动追踪技术，开发了逆向强化学习（IRL）框架，首次实现了Stroop任务中人类注意力分配策略的量化建模。研究揭示了EEG特征（如FFT频谱）如何提升模型对冲突条件（incongruent trials）下认知干扰的敏感性，为神经退行性疾病（如阿尔茨海默病、帕金森病）的早期诊断提供了新型计算神经标记物。

　　

认知评估的革命性突破：当Stroop任务遇见多模态逆向强化学习

Abstract

Stroop任务以其高认知负荷特性成为评估神经退行性疾病的重要工具。传统方法难以捕捉行为与神经活动的交互机制，而本研究开创性地将逆向强化学习（IRL）与多模态生理信号结合，通过EEG和眼动数据的融合建模，首次揭示了人类在颜色-词汇冲突中的隐藏决策策略。实验证明，整合EEG特征的IRL模型（IRL-EEG）在目标注视概率曲线下面积（TFP-AUC）等指标上显著优于传统图像驱动模型（IRL-Image），尤其在 incongruent 条件下表现出更强的神经敏感性。

1. Introduction

Stroop范式作为认知控制的黄金标准，其核心矛盾——当词汇语义与墨水颜色冲突时（如用红色印刷的"蓝"字），人类如何分配注意力并抑制干扰——直接关联前额叶皮层功能。神经退行性疾病患者（如阿尔茨海默病、帕金森病）在此任务中表现出的延迟反应和错误率升高，暗示其作为早期生物标志物的潜力。本研究突破性地将眼动数据（60Hz采样率）与64通道EEG（250Hz）同步采集，通过动态上下文信念（DCB）框架构建状态-动作空间，实现了从神经电活动到注视行为的端到端建模。

2. Related work

2.1 Stroop任务与神经退行性疾病

临床研究发现，帕金森患者在 incongruent 任务中前额叶θ波功率异常，而阿尔茨海默病患者的P300事件相关电位潜伏期延长。这些特征与眼动指标（如扫视延迟、注视时长）的联合分析，为疾病分期提供了新视角。

2.2 多模态数据融合

最新进展表明，EEG的毫秒级时间分辨率与眼动的空间精度存在互补优势。例如，在冲突监测阶段，前额叶γ波段振荡（30-80Hz）与注视转移的时序耦合，可能反映认知控制资源的动态调配。

2.3 逆向强化学习的创新应用

与传统强化学习不同，IRL通过生成对抗模仿学习（GAIL）算法，从人类注视序列中反推"奖励函数"。本研究扩展该框架，将Fz、FC3通道的FFT特征注入生成器网络，使模型能自主识别高认知负荷下的神经特征模式。

3. Materials and method

3.3 数据预处理

EEG信号经过0.2-32Hz带通滤波后，采用tsfresh库提取790维特征，ANOVA筛选出最具判别力的Fz通道θ/α功率比。眼动数据通过抑制返回（IoR）机制处理，将屏幕划分为640个兴趣区，保留前6个注视点进行分析。

3.4 扫视路径预测框架

核心创新在于DCB映射的构建：Detectron2分割的语义信息（11类颜色词+2个按钮）与高斯模糊（σ=2）的视觉特征融合，形成20×32维的信念状态空间。IRL-EEG模型通过PPO算法优化策略，其独特之处在于将EEG特征向量与视觉信念张量在生成器的全连接层耦合。

4. Experiments

在10名健康受试者的200次试验中，IRL-EEG展现出显著优势：

• 目标注视概率AUC提升29.2%（3.802 vs 2.942）
• 概率失配降低58.8%（0.358 vs 0.868）
• 序列评分提高15.9%（0.695 vs 0.600）
  特别值得注意的是，在 incongruent 条件下，模型对前额叶激活的模拟与真实EEG源定位结果高度一致（见图7）。

5. Discussion

这项研究首次证明，EEG-guided IRL能有效捕捉认知控制中的"微状态"转换。尽管Stroop任务的结构化特性限制了EEG的贡献度（相较算术任务下降约18%），但θ-γ耦合特征仍显著改善了模型对冲突敏感的预测能力。未来方向包括：开发基于瞳孔震荡的负荷评估模块，以及适用于色觉障碍患者的语音版Stroop范式。

CRediT authorship contribution statement

研究团队开创的多模态建模范式，为认知障碍的数字化诊断开辟了新途径。特别值得注意的是，该方法在帕金森病小鼠模型中已显示出跨物种适用性，暗示其作为转化医学工具的广阔前景。