基于时空双向长短期记忆模型的自然动态面部表情刺激分类解码：来自视觉功能磁共振成像数据的研究

《Cerebral Cortex》：Spatio-temporal bidirectional Long Short-Term Memory-based category decoding of natural dynamic facial expression stimuli from visual functional magnetic resonance imaging data

时空双向LSTM模型有效捕捉视觉皮层时空动态特征，从多时间点fMRI信号中显著提升面部表情解码准确率。

　　

摘要

面部表情的视觉感知解码是情感神经科学研究的关键焦点。建立视觉内容与信号之间的映射模型对于实现解码至关重要。大多数现有的视觉解码模型主要关注大脑对静态图像的反应，忽视了时间动态特征的建模。此外，这些模型将整个视觉皮层作为一个整体输入到模型中，而没有考虑到视觉信息通过自下而上和自上而下的机制在较低级和较高级视觉皮层之间双向流动，因此难以捕捉位于不同空间位置的视觉区域之间的双向信息。在这里，我们提出了一个基于时空双向长短期记忆的模型，用于从多时相功能性磁共振成像数据中解码三类面部表情。具体来说，我们使用了具有模拟时间序列能力的时空双向长短期记忆模块，以理解视觉皮层的时间依赖性；该模块的前向和后向功能可以模拟视觉皮层之间的双向信息流动，从而捕捉到双向空间信息。实验结果表明，使用5名参与者的多时相响应信号（重复时间（TR）1-6的贝塔估计值进行解码的平均准确率显著高于其他时间点的信号、单向连接以及公开可用的模型。这些结果表明，我们的模型能够捕捉到视觉皮层的时间依赖性和双向空间信息，从而提升了解码性能。