编辑推荐：
传统情感研究依赖简单静态刺激，难以捕捉情感复杂性、动态性和情境依赖性。为此，研究人员构建 REELMO 数据集，采集 161 名参与者观看 60 部电影的实时情感报告及 20 名参与者观看《Jojo Rabbit》的 fMRI 数据。该数据集为情感神经科学等领域提供新平台。
情感是人类体验的核心，但因其复杂性和情境依赖性，传统实验室研究面临挑战。现有研究多使用简单、静态且情境信息有限的刺激，如标准化图像集，或相对简短的电影片段来诱发典型情绪状态，这牺牲了情感的复杂性以换取标准化，难以捕捉情感状态的真实本质及其细微差别。例如，主观体验通常是复杂且多方面的，常包含混合情绪甚至矛盾情绪；情感体验随时间展开，具有动态模式和状态间的转换；情境在情感体验中也起着重要作用，给定刺激的意义和情感影响会因周围叙事和积累的情境信息而显著变化。这些因素使得实验室环境中收集的情感报告的生态效度受到质疑，在研究大脑中情感的产生位置和方式时，同样面临这些挑战。
为解决上述问题，意大利 IMT 高级研究学院（IMT School for Advanced Studies Lucca）的研究人员开展了相关研究，构建了 REELMO（实时情感对电影的反应）数据集。该研究成果发表在《Scientific Data》上。
研究人员主要采用了以下关键技术方法：招募 161 名意大利年轻成年人（80 名女性，平均年龄 26 岁）参与实验，其中 152 人参与行为实验，在实验室观看完整电影，实时标注情感，记录电影剧情梗概并评价对电影的总体喜爱程度；20 人（10 名女性，平均年龄 27 岁）在观看电影《Jojo Rabbit》时进行功能磁共振成像（fMRI）扫描，并回顾性报告情感和记录剧情梗概。实验中使用定制软件实时捕捉情感反应，采用 VGG-19、VGG-ish 等深度学习模型提取视觉和声学特征，利用 GPT-3 提取语义特征，fMRI 数据按标准化 BIDS 格式组织，并进行了包括切片定时校正、头部运动校正、空间配准等预处理。
研究结果
数据集构成与特点
REELMO 包含 637 次行为实验 session，152 名参与者观看 60 部 18 种类型的完整电影时使用 20 种情感标签提供的实时主观体验报告，总计 1060 小时注释。情感报告辅以一系列刺激描述，包括视觉和声学特征、用于提取语义内容的字幕、观影后记录的电影梗概、总体喜爱程度以及参与者的个性和特质共情。此外，针对电影《Jojo Rabbit》，提供了 20 人在两次 1 小时 fMRI session 中收集的大脑活动测量数据（总计 40 小时数据），神经影像数据和元数据按标准化 BIDS 格式组织。
情感标签与实验任务
使用的 20 种情感标签（8 种积极、9 种消极、3 种无明确效价）选自最近提出的情感分类法，涵盖情感光谱的不同语义集群。参与者在实验前通过训练熟悉任务，使用键盘在电影播放过程中实时选择情感标签并调整强度，可同时选择多种情感。
数据聚合与分析
对单参与者的情感报告进行聚合，生成电影的整体情感概况。以《Jojo Rabbit》为例，个体情感注释显示情感强度随时间的变化，组水平注释通过二值化个体数据并求和得到，反映参与者在特定时间点体验特定情感的共识程度。通过计算每部电影各情感的平均出现率，生成 20 元素向量，用文字云可视化，突出电影的情感基调，如《Jojo Rabbit》的温柔、娱乐、悲伤和同情。
对 60 部电影的情感矩阵进行余弦距离计算和层次聚类，揭示基于情感特征的五组电影聚类，分别以不同情感为主导。情感类别间的余弦距离和层次聚类显示基于效价的情感结构，积极和消极情感形成不同集群，内部有更细致的分组。
fMRI 数据分析
对《Jojo Rabbit》的 fMRI 数据进行了组间相关（ISC）和编码分析。ISC 分析显示大脑区域如颞上回、枕叶等的高同步性，效应大小与高质量数据集相当。编码分析评估情感报告和低水平声学、视觉特征解释大脑活动的能力，情感报告在腹内侧前额叶皮层（vmPFC）、杏仁核等情感处理相关区域解释了较高的方差，声学特征在双侧颞叶皮层等听觉区域有强关联，视觉特征在视觉和多感觉区域如距状沟、梭状回等有映射。
研究结论与意义
REELMO 数据集为情感研究和神经科学的发展提供了重要资源。它使研究人员能够研究低级感官信息如何影响情感感受，叙事结构和情境信息在塑造情感反应中的作用，复杂情感状态的共现，如混合效价状态的存在，利用高时间分辨率和连续特性研究情感时间计量学，探索心理特质如个性或共情在情感报告同步性中的作用，以及情感体验强度和性质与记忆或欣赏的关系等。通过为神经科学家提供高质量的 fMRI 数据集，这些问题还可以通过大脑功能的视角进行研究。此外，数据集的规模和丰富性使其适用于机器学习应用，包括情感计算和预测分析。REELMO 有望成为一个协作资源，通过研究社区的贡献不断发展，如添加外周生理测量或眼动数据，促进情感及其与认知和感知相互作用的研究。
