GRF-MMPS：一种基于图残差融合的情绪驱动决策网络，利用多模态生理信号

《Knowledge-Based Systems》：GRF-MMPS: An Emotion-driven Decision Network based on Graph Residual Fusion Using Multimodal Physiological Signals

多模态生理信号融合模型GRF-MMPS通过图残差融合和情绪驱动的多任务学习提升人类决策预测性能，实验显示其准确率、F1分数等指标较现有模型提升2.34%-16.23%。

　　

赵艳艳|王丹莉|高翔|王新源

中国科学院自动化研究所多模态人工智能系统国家重点实验室，北京，100190，中国

摘要

尽管基于生理信号的人类决策预测模型不断发展，但现有模型忽视了情绪对决策的显著影响，并且通常局限于单模态方法。为了解决这两个问题，我们提出了一种基于图残差融合的情感驱动决策网络（GRF-MMPS），利用多模态生理信号来实现人类决策的预测。首先，为了提取脑电图（EEG）信号的空间-时间-频率特征以及心电图（ECG）和皮肤电导反应（EDA）信号的时间-频率特征，分别设计了基于图卷积网络和卷积神经网络的特征提取模型。随后，为了解决当前多模态生理信号融合方法依赖简单拼接的局限性，我们提出了一种图残差融合模块。该模块层次化地融合了单模态、双模态和三模态特征，从而能够提取模内和模间特征。最后，为了有效地将情绪信息整合到决策预测中，我们开发了一个多任务学习模块，通过在情绪识别和决策预测任务之间共享参数来实现这种整合。比较实验结果表明，我们的决策预测模型达到了最先进（SOTA）的性能。具体来说，它在准确性上比最强的多模态生理信号融合基线模型高出2.34%，在精确度上高出1.22%，在召回率上高出2.14%，在F1分数上高出1.91%；在相同的四个指标上，它也比最弱的模型分别高出16.90%、13.72%、13.58%和16.23%。消融研究进一步强调了GRF-MMPS中每个模块的不可或缺性，突出了情绪整合在决策模型和多模态融合过程中的关键作用。我们论文的代码可在https://github.com/qimingzitainanla/GRF-MMPS免费获取。

引言

为了更好地理解和调节人类决策，基于生理信号的决策预测近年来已成为研究的重要焦点，因为它有潜力改进决策过程并提供更有效的干预措施。然而，当前的决策预测模型通常依赖于理性决策的假设[1]，而随着决策理论研究的进展[2]，[3]，这一假设正受到越来越多的挑战。

达马西奥的躯体标记假说强调了情绪在决策过程中的关键作用，认为决策过程中产生的情绪反应可以调节个体的决策行为[4]。基于这一理论，研究人员设计了各种心理实验，系统地研究情绪如何使用生理信号影响决策过程[5]。研究结果表明，情绪在不同类型的决策中显著影响判断和选择[6]。因此，将情绪因素纳入基于生理信号的决策预测模型成为决策研究的必要方向。

因此，一些研究人员已经进行了初步尝试。Golnar等人[7]利用EEG信号探索了颜色诱导的情绪对消费决策的影响。他们提取了EEG的功率特征，然后使用支持向量机（SVM）和线性判别分析（LDA）进行分类。同样，SVM-RFE算法和隐马尔可夫模型也被用来预测受情绪影响的决策[8]，[9]。然而，所有这些模型都基于EEG，仅关注大脑活动。与单模态EEG不同，多模态生理信号通过捕捉各种生理指标的相互作用，提供了对决策过程更全面的理解，从而更深入地洞察决策是如何受到影响的[10]。因此，很少有研究人员探索使用多模态生理信号影响的决策预测模型。

尽管现有研究介绍了一些有价值的模型，但目前的方法仍然存在一些挑战：（1）许多决策预测模型未能考虑情绪的影响。即使那些考虑情绪的模型也往往仅依赖于在不同情绪条件下收集的决策数据，而忽略了将情绪信息整合到模型框架中；（2）该领域仍然主要局限于单模态EEG模型，缺乏对多模态生理信号特征的充分整合；（3）大多数决策模型依赖于简单的机器学习方法，表现出较差的非线性表示能力。

鉴于决策模型中情绪信息整合不足的问题，我们采用了多任务学习方法，通过为情绪识别和决策预测任务共享网络参数。考虑到情绪的复杂相互作用，我们引入了一种软交叉熵损失计算方法，证明了其在提高决策预测模型性能方面的价值。

鉴于模型对单模态数据的局限性，我们在实验任务中收集了参与者的多模态信号。研究表明，心脏信号可以影响大脑的感觉处理（心脑一致性模式），这与情绪、压力、认知功能和表现有关[11]。此外，皮肤电导活动是自主交感神经激活的公认指标[12]，与情绪激活密切相关[13]。因此，我们在实验中选择了EEG、ECG和EDA信号。值得注意的是，为了更好地整合多模态特征，我们提出了一种称为图残差融合的新融合方法，层次化地提取不同模态之间的特征，以实现跨层次多模态语义特征的融合。

鉴于当前模型非线性表示能力较差的局限性，我们在模型构建中加入了局部-全局图学习、ECG-EDA映射学习等技术，有效地提高了决策预测模型的非线性能力。

本文的贡献如下：

•

我们通过同时记录参与者在不同情绪状态下进行决策任务时的EEG、ECG和EDA信号，构建了一个多模态数据集，捕捉了决策过程中生理信号之间的复杂相互作用。

•

我们提出了GRF-MMPS，这是一种新的情感决策预测模型，通过在情绪识别和决策预测任务之间共享参数来整合多模态信号中的情绪信息。这种方法有效地解决了现有决策预测模型的局限性，这些模型无法将情绪整合到其架构中，并且能够在模型训练后无需情绪标签即可无缝整合情绪特征。

•

我们提出了一种图残差融合（GRF）模块，该模块整合了单模态、双模态和三模态动态特征，从而提高了模型的整体预测性能。

•

广泛的实验证明了我们模型的最先进性能，并验证了每个模块的关键贡献，突出了多模态融合和情绪整合的重要价值。

相关工作

相关工作

本文将从两个方面介绍相关工作：基于生理信号的决策预测模型和基于多模态生理信号的深度学习模型。

方法

本文提出了一种基于图残差融合（GRF）的情感驱动决策网络，使用多模态生理信号（MMPS），如图1所示。GRF-MMPS模型包含五个主要模块：EEG特征提取模块、ECG特征提取模块、EDA特征提取模块、图残差融合模块和多任务学习模块。具体来说，EEG特征提取模块旨在捕捉时间-频率表示

模型实验

为了评估所提出的GRF-MMPS的性能，并验证多模态融合和情绪整合在决策预测中的重要性，我们设计了一个实验来研究情绪对决策的影响，并收集了相关的多模态生理信号数据。

EEG基线的比较实验结果

表3展示了基线模型与提出的GRF-MMPS之间的比较结果。实验结果表明，GRF-MMPS在所有评估指标上均达到了最佳性能，准确率、精确度、召回率和F1分数分别达到了77.93%、77.08%、77.37%和77.21%。与EEG模型相比，GRF-MMPS在四个指标上分别提高了3.75%、3.54%、3.9%和3.71%，进一步验证了其优越性

结论与未来工作

本文提出了基于多模态生理信号的GRF-MMPS决策预测模型。它通过五个集成模块预测受情绪影响的人类决策：EEG特征提取、ECG特征提取、EDA特征提取、图残差融合和多任务学习。具体来说，EEG特征提取模块采用了一种基于机制的图卷积神经网络来捕捉EEG信号的高级语义特征。

CRediT作者贡献声明

赵艳艳：写作——审稿与编辑，撰写——原始草稿，验证，方法论，调查，数据管理。王丹莉：写作——审稿与编辑，资源管理，项目协调，概念化。高翔：写作——审稿与编辑，数据管理。王新源：写作——审稿与编辑。

利益冲突声明

作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：

王丹莉报告称获得了国家自然科学基金的支持。王丹莉拥有专利#CN119045671B。如果还有其他作者，他们声明没有已知的可能会影响本文所述工作的财务利益或个人关系。

致谢

本研究得到了北京自然科学基金（项目编号L232098）、北京市自然科学基金及北京市教委科技计划重点项目（项目编号21JD0044）和国家自然科学基金（项目编号61872363）的支持。