《TRENDS IN FOOD SCIENCE & TECHNOLOGY》：An Audio-Visual Fusion Emotion Generation Model Based on Neuroanatomical Alignment
编辑推荐：
•神经解剖学对齐提高了情绪生成模型的可解释性。•提出了一种 AVF-BEL 网络架构以增强视听融合。•使用专门的视听情绪刺激数据来模拟输入。•设计情绪积极性参数以衡量架构的效率。引言情绪是人类生活的基础，作为沟通、适应和生存所必需的大脑复杂功能之一 [1], [2]。在人类交
- •
神经解剖学对齐提高了情绪生成模型的可解释性。
- •
提出了一种 AVF-BEL 网络架构以增强视听融合。
- •
使用专门的视听情绪刺激数据来模拟输入。
- •
设计情绪积极性参数以衡量架构的效率。
引言
情绪是人类生活的基础，作为沟通、适应和生存所必需的大脑复杂功能之一 [1], [2]。在人类交流中，情绪至关重要，代表了人类智能的一个关键方面 [3], [4]。情感分析在人工智能和自然语言处理领域获得了显著关注 [5]。情感计算结合了情绪识别和情感分析的研究，可以利用单模态或多模态数据。这些数据主要包括物理信息，如文本、音频、视觉和远程光电体积描记法信号 (rPPG) [6], [7]。
脑与情绪科学的研究可追溯至 1884 年，当时引入了第一个明确的情绪理论，即詹姆斯 - 兰格理论 [8]。根据该理论，情绪体验源于对身体生理变化的反应，而这些生理变化本身构成了情绪。在 20 世纪 30 年代，引入了帕佩茨回路理论，提出情绪体验是由扣带回皮层的活动以及来自其他皮层区域的间接活动塑造的 [9]。麦克林的研究表明，边缘系统的进化使动物能够体验和表达情绪，使它们摆脱了由脑干主导的刻板行为 [10]。博提出，前上颞回同时包含视觉和听觉区域，利用共享的神经代码进行情绪感知 [11], [12]。
丘脑、感觉皮层、前上颞回、杏仁核和眶额皮质都参与情绪学习和表达。这些结构共同组成了一条情绪回路，有效地处理来自不同模态感觉器官的信息，从而实现情绪的学习和表达。在人工智能快速发展的背景下，莫伦和巴尔克纽斯引入了脑情绪学习 (BEL) 模型 [13]，该模型旨在通过模拟杏仁核和眶额皮质之间的情绪处理，阐明哺乳动物大脑中情绪形成和学习的神经生理机制。随后，研究人员将 BEL 模型与人工神经网络相结合，在模式识别、智能控制和面部表情分类方面取得了重要应用 [14], [15], [16]。然而，关于大脑情绪学习和生成机制的研究仍然有限，特别是在改进 BEL 模型以更好地模拟人类情绪学习和生成方面，这对于推进情感计算至关重要。
本文提出了一种新型的神经解剖学对齐视听融合脑情绪学习与生成架构。传统 BEL 模型是一种受大脑情绪处理机制启发的人工智能框架，主要基于哺乳动物边缘系统的相互作用，特别是杏仁核和眶额皮质。然而，它采用简单的单模态方法来模拟感觉皮层功能，忽略了必要的神经机制。我们的仿生情绪通路比传统 BEL 模型更全面，因为它整合了视觉和听觉通路的功能，以实现高级的仿生特性和可解释性特征。
如图 1 所示，视觉和听觉情绪刺激分别通过视觉和听觉皮层模块处理为情绪信号。这些信号随后在大脑的情绪通路中 undergo 逐渐的情绪转化。该通路主要包括视觉皮层、初级听觉皮层、前上颞回、杏仁核和眶额皮质之间的情绪处理。它们共同促进大脑的情绪功能，将视觉和听觉刺激转化为情绪体验。我们的主要目标是对该通路进行仿生建模，旨在模拟其功能，同时确保仿生模块与大脑的神经结构紧密对齐。总之，我们的主要贡献是引入了一种新型的视听融合脑情绪学习模型。该模型设计有神经解剖学对齐，专为情感计算定制，以促进更轻量且更具可解释性的人工智能情绪生成。
章节摘要
脑情绪学习
脑中的情绪回路长期以来一直是神经生理学研究的核心焦点，因为了解情绪背后的机制对于混合智能背景下的人机交互和人工智能动机至关重要 [7], [17]。同样，模拟人脑中情绪通路的功能是人工智能 (AI) 和情感计算领域的重点研究领域，研究人员旨在复制
生物机制
在开发 AVF-BEL 框架时，我们的主要灵感源于四种神经科学脑结构：视觉通路、初级听觉皮层、前上颞回、情绪通路。具体而言，神经科学内的这四种神经结构形成了一条集成的情绪学习和生成通路。该通路结合感觉皮层接收的视觉和听觉刺激，塑造情绪体验。
如图 1 所示，所引用的情绪
实验数据集
本研究利用了一个在 OpenNEURO 平台公开可用的数据集（视觉和听觉脑区共享支持情绪感知的表征结构），该数据集研究视觉和听觉脑区之间共享的情绪感知结构表征，特别关注由情绪刺激产生的视听源文件 [11]。在这个多模态数据集中，情绪刺激是使用基于五个的动态模型生成的
结论
本研究提出的 AVF-BEL 模型旨在复制与情绪学习和生成相关的神经通路，特别关注视觉和听觉感知如何在大脑中整合并转化为情绪刺激。通过模拟情绪处理中涉及的生物神经机制，该模型寻求推进轻量级、神经解剖学对齐的情绪学习和生成方法的开发。该模型不仅
CRediT 作者贡献声明
王海东先生：写作 - 审查与编辑，监督，资金获取，概念化。迁山：写作 - 审查与编辑，写作 - 原稿，可视化，验证，软件，概念化。张建华：写作 - 审查与编辑，监督，数据整理。肖鹏飞：写作 - 审查与编辑，监督。刘傲：写作 - 审查与编辑。
利益冲突声明
作者声明，他们没有已知的竞争性经济利益或个人关系可能影响本论文报告的工作。
王海东先生 | 迁山 | 张建华 | 肖鹏飞 | 刘傲
