一项关于danmu的研究：通过同步脑电图（EEG）分析来检测音乐视频中的情感连贯性

《Computers in Human Behavior》：A study of danmu: Detecting emotional coherence in music videos through synchronized EEG analysis

在线音乐视频观众的情感一致性研究：基于EEG与danmu评论的多模态分析

　　

刘玉清|钟布|王嘉轩|宋尧

中国四川大学中国文化传承与全球传播融合实验室，成都，中国

摘要

评估观众对在线音乐视频的情绪反应需要一种新的方法，因为感知情绪与诱发情绪之间的连贯性尚未得到充分研究。本研究通过一个独特的多模态框架来探讨对音乐视频的感知情绪与诱发情绪之间的关系，该框架结合了脑电图（EEG）分析和自然语言处理技术，以研究“danmu”——即用户生成的、与特定播放时间同步的滚动字幕评论。利用时间同步的方法，我们的深度学习模型根据danmu的情感信息从EEG信号中预测连续的情绪分数。研究结果表明，在五个音乐视频中，EEG衍生的情绪曲线与danmu情感曲线之间的相似度超过了80%。通过对比音乐高潮时期的峰值情绪反应，我们发现了两者之间的差异，突显了多模态情感基调对神经生理和行为情绪轨迹对齐的重要影响。这项研究揭示了从EEG数据和danmu数据中得出的情绪曲线之间的连贯性——这种方法明显不同于传统的依赖自我报告或调查的方式。感知情绪与诱发情绪之间观察到的一定一致性，以及情绪效价和唤醒度对脑-行为同步性的影响，强调了音乐视频引发的情绪的共性。影响因素包括个体之间情绪体验和表达的多样性，以及音乐视频内在的节奏性，这两者都增强了情绪的激发。

引言

音乐视频已成为许多社交媒体用户在线娱乐的一部分，移动技术的普及极大地扩展了人们对数字音乐的访问范围（Liikkanen & Salovaara, 2015）。在互联网上，音乐视频已成为一种重要的类型，尤其是在YouTube和Bilibili等社交媒体平台上（Joiner et al., 2023）。研究一致表明，音乐视频能够通过语言、视觉和听觉线索的组合来传达情感（Pandeya et al., 2021）。这种情感传递发生在两个层面：1）制作阶段，表演者或作曲家将他们的感受融入作品中；2）接收阶段，观众接收并解读这些情感（Pannese et al., 2016）。因此，可以定义两种类型的情感：感知情绪：由来源传达的情感；以及诱发情绪：由来源引发的听众情绪反应（Fan et al., 2017）。

以往的研究表明，音乐视频所传达的感知情绪使听众能够感受到与来源及其他听众的共鸣（Zickfeld, 2018），这在一定程度上揭示了感知情绪对诱发情绪的影响。这表明，感知情绪与诱发情绪之间的潜在连贯性是音乐发挥其心理和社会功能并产生共鸣的原因（Song et al., 2016）。然而，这种对音乐视频引发的情感共性的广泛解释实际上忽略了情感反应所包含的生理过程和表达之间的细微差别（Gross, 2013）。另一方面，情绪是连续的感觉，而不仅仅是离散的，其范围从轻微的情感状态变化到极其强烈、具有变革性的体验（Soleymani et al., 2011）。目前尚不清楚感知情绪、诱发情绪和情绪表达之间的关系。

为了探讨音乐视频中的情绪如何连接、对齐并在动态中相互作用，我们研究了从众包数据中得出的情绪反应与其相应生理信号在时间上同步时的连贯性。这项研究基于三个假设：首先，音乐引发的情绪存在共性，使得众包数据能够反映个体的情绪体验；其次，人类大脑与行为之间存在密切关系，尽管它们时间同步的精确机制仍有待完全阐明；第三，外部感知情绪可能同时影响这种内部连贯性。

本研究通过分析大脑和行为表达中情绪反应的同步与不同步现象，开辟了新的研究方向。我们使用细粒度的、时间同步的EEG和danmu作为输入，通过深度学习和自然语言处理（NLP）技术分析了人们对音乐视频的情绪反应。这种分析使我们能够探讨感知情绪与诱发情绪之间的潜在关联，特别是它们之间的一致性或差异，以及之前被忽视的反应时间。此外，我们还分析了选定音乐视频样本的歌词（语义信息）和音频信号，以研究情绪谱对音乐视频高潮部分神经和行为差异的影响。因此，本研究的研究问题如下：

RQ1

用户的文字评论（danmu）和生理反应（通过EEG测量）在音乐视频的情绪反应中如何表现出连贯性？

RQ2

音乐视频中的感知情绪谱与诱发情绪反应的差异有何关联？

文献综述

对音乐的情绪反应包括主观体验、生理表现、生物反应和心理状态（Shahnaz & Hasan, 2016），反映了个体对外部刺激的行为态度及其相应的神经反应（L. Zhang et al., 2023）。根据Russell的情感循环模型，这些特征所传达的情绪可以使用包括效价和唤醒度在内的连续标签来表达（Han et al., 2022; Russell, 1980）。然而，人类情绪

方法

为了清晰地介绍我们的方法论，图2展示了实验设计和数据分析流程。该过程从三种模态的数据采集和预处理开始：EEG信号（大脑层面的反应）、danmu评论（行为层面的反应）以及音乐视频内容本身。处理后的EEG数据被输入深度学习模型以预测连续的情绪分数，而danmu评论则通过NLP进行分析以提取情感

结果

为了解决研究问题，我们采用了连贯性分析（RQ1）和差异分析（RQ2）来探讨对音乐视频的感知情绪与诱发情绪之间的复杂关系。

讨论

当前的研究探讨了音乐视频引发的大脑和行为中的情绪反应的同步性。我们采用了时间同步的长期情感数据分析方法，来研究大脑活动（EEG）与通过danmu评论表达的情绪之间的连贯性和差异。这种方法使我们能够分析EEG和danmu数据所传达的情绪价值，以及这些反应随时间变化的任何时间差异

结论

Danmu提供了一种新的方式来获取与音乐视频相关的情感。本研究探讨了音乐本质中的时间问题，并确认了从EEG和danmu数据中得出的情绪曲线之间的连贯性。与主要依赖自我报告或调查的先前方法不同，我们的方法将客观的生理数据与自发的、众包的行为表达相结合，提供了更动态和实时的情绪参与视角。

我们的

作者贡献声明

刘玉清：撰写——初稿，研究，概念化。钟布：撰写——审稿与编辑，监督，概念化。王嘉轩：方法论，形式分析，数据管理。宋尧：撰写——审稿与编辑，监督，概念化

关于可重复性声明：

论文中用于复制和重现研究结果的数据和其他材料（例如，编程或编码说明）将在发表后立即提供。

利益冲突声明：

作者声明在研究、作者身份和/或本文的发表方面不存在任何潜在的利益冲突

资助：

本工作得到了国家社会科学基金重大项目的支持[项目编号23&ZD212]

利益冲突声明

作者声明他们没有已知的利益冲突或个人关系可能影响本文所述的工作。