一种受认知科学启发的多模态框架，该框架结合了关联特征和金字塔图融合网络技术，用于人格预测

《Expert Systems with Applications》：A cognition-inspired multimodal framework with association features and pyramid graph fusion network for personality prediction

情感视频描述框架GLM-EER通过全局-局部记忆捕捉长时序与细微观态上下文，并利用动态损失加权机制优化情感表达，显著提升生成描述的情感准确性和事实流畅性。

　　

钟马|陈胜波|唐鹏杰|饶洪|王汉莉

井冈山大学电子与信息工程学院，中国吉安343009

摘要

情感视频描述旨在将视频转化为充满丰富情感语义的自然语言。然而，从稀疏采样的帧序列中编码的视觉特征可能无法捕捉到细粒度细节和抽象的情感信息。此外，传统的交叉熵损失依赖于整个词汇表的概率分布，缺乏针对情感词典预测的优化，这导致生成描述中的情感表达准确性受损。在这项工作中，我们提出了一个名为GLM-EER的新情感视频描述框架。具体来说，我们提出了一个全局-局部记忆（GLM）模块，使模型能够参考历史视频内容进行上下文分析，并学习跨时间维度的情感表示。此外，还设计了一个情感评估优化（EER）模块，通过实时评估当前真实情感句子的质量来动态调整交叉熵损失权重，其中语言流畅性和情感精确性的评估指标直接指导权重调整决策。在包括EmVidCap-S和EmVidCap在内的公共数据集上的实验表明，我们的方法显著优于当前流行的方法。消融研究和定性分析进一步证实，我们的框架能够准确且细腻地捕捉视频中的情感，生成情感真实的描述。

引言

视频描述旨在将视频转化为自然语言。作为多模态理解中的基本任务（Dehghani, Gritsenko, Arnab, Minderer, & Tay (2022); Wang et al. (2022b); Yang, Zhang, & Zou (2022); Yang, Zou, Liu, & Zhang (2021)），它具有重要的意义和挑战性。然而，大多数当前的方法主要关注通过识别视频中的视觉对象、它们的属性和关系来对其进行事实描述，然后将其转化为句子。因此，它们往往忽略了视频内容中传达的内在情感，导致生成的字幕显得枯燥且缺乏情感共鸣。为了提高生成描述的语义丰富性和吸引力，进一步探索情感信息至关重要（Chen et al. (2018); Uehara, Mori, Mukuta, & Harada (2022)）。这种日益增长的需求推动情感视频描述（EVD）任务成为关键的研究焦点（Song, Guo, Cheng, & Wang (2022); Song, Guo, Yang, Tang, & Wang (2024); Wang, Tang, Li, & Cheng (2022a)）。与传统视频描述不同，EVD任务不仅需要理解视频的事实内容，还需要识别其中传达的抽象情感，并将这些情感语义融入生成的描述中。

学习情感信息尤其具有挑战性，因为情感是通过动态过程表现出来的。在早期的EVD工作中，研究人员尝试使用固定语言风格（例如，负面/正面、浪漫/幽默）（Gan, Gan, He, Gao, & Deng (2017); Mathews, Xie, & He (2016)）来描述视觉内容。然而，这种固定风格的方法缺乏对动态环境和个性化表达的适应性，通常导致生成的字幕僵硬且同质化，无法灵活地与多样的视觉语义层次和用户的主观偏好相匹配。为了生成具有更丰富情感语义的描述，Wang等人（Wang et al. (2022a)引入了第一个专门用于EVD的数据集，并提出了一个名为基于事实转移的情感视频描述（FT）的新框架。他们的模型构建了两个字幕模块：一个用于事实信息捕获，另一个用于情感内容学习。在此基础上，CANet（Song et al. (2022)提出了一个统一的上下文注意力网络，利用视觉和文本注意力机制来捕获字幕生成的关键上下文。随后，Song等人（Song et al. (2024)通过VEIN扩展了他们的工作，开发了一个基于视觉的情感解释网络来捕捉视频中传达的情感。此外，DCGN（Ye, Chen, Li, Zhang, & Mao (2024)提出了一个双路径协作生成网络，该网络在生成情感字幕的同时动态感知视觉情感线索的演变。

在之前的EVD模型中，通常设计了一种情感损失来帮助模型生成准确的情感词汇，并将其与交叉熵损失加权求和，以鼓励模型生成事实与情感和谐的描述。例如，FT（Wang et al. (2022a)分两个阶段优化其事实字幕模块和情感字幕模块。在第一阶段，事实模块在更大规模的事实样本上使用事实损失进行预训练，而在第二阶段，情感模块通过情感损失进行优化。此外，CANet（Song et al. (2022)使用交叉熵损失进行训练，使模型能够生成真实句子，并使用对比损失来增强视觉和文本的上下文匹配。另外，VEIN（Song et al. (2024)从一般和情感方面设计了情感网络的优化目标。首先，采用交叉熵损失进行一般字幕训练。然后，情感指示损失最大化排名情感词汇的概率。此外，DCGN（Ye et al. (2024)利用以情感为中心的交叉熵损失，在情感词汇上添加了惩罚项，以确保生成的情感词汇的正确性。虽然使用情感损失可以帮助模型更专注于生成情感词汇，但其依赖于固定超参数来汇总情感和事实损失，不足以应对模型训练期间的复杂和变化，难以在情感和事实准确性之间实现动态平衡。

如图1所示，尽管现有方法在情感评估指标上取得了有希望的性能，但它们依赖于稀疏采样的帧序列，往往会丢失捕捉细粒度视觉细节和微妙情感的关键上下文信息，因为静态帧只能传达表面的情感线索，而复杂情感需要全面的上下文理解。面对这一限制，我们提出了一个模型，该模型利用历史视频数据构建强大的视觉-上下文关联，并采用情感加权优化策略来平衡事实内容和情感表示学习。具体来说，如图2所示，我们的全局-局部记忆和情感评估优化（GLM-EER）网络由两个核心模块组成：1）全局-局部记忆（GLM）模块，用于有效的上下文建模；2）情感评估优化（EER）模块，用于自适应的情感引导优化。

与通过稀疏帧采样构建多尺度特征的现有方法相比，我们的方法从密集采样的视频帧生成全局-局部上下文特征，以更好地保留关键视觉细节。对于上下文建模，我们设计了一个全局-局部记忆库，该库动态地将当前帧与存储的历史视觉信息关联起来，并仅选择性地保留具有区分性的内容。同时，查询记忆库通过可训练的Q-Former嵌入在每个时间步保持模型的潜在查询状态。对于自适应优化，我们的情感评估机制根据情感准确性和事实流畅性计算视频参考的分数，这些分数进一步用于动态加权交叉熵（XE）损失。EER模块为具有准确情感表达和连贯上下文描述的句子分配更高的权重，使模型能够优先学习高质量示例。

本研究的主要贡献总结如下：

•

我们提出了一种面向任务的全局-局部记忆（GLM）设计，用于情感视频描述，它同时建模了长期时间连续性和短期动态性，同时减少了时间冗余。

•

我们引入了情感评估优化（EER），这是一种动态损失加权机制，它在交叉熵训练中自适应地平衡了事实流畅性和情感正确性。

•

通过对EmVidCap和EmVidCap-S的定量消融和定性分析，我们提供了证据表明，表示层和优化层的改进是互补的并且相互加强的。

本文的其余部分组织如下。第2节简要介绍了视频描述的相关工作。然后第3节详细描述了所提出模型的基础和具体内容。第4节提供了实验、相关结果和讨论。第5节总结了这项工作并讨论了未来的发展方向。

部分片段

视频描述

视频描述通常旨在生成描述给定视频的自然且客观的句子。早期的方法包括基于模板的方法，这些方法通过使用有限的模板集来确保语法正确性（Kojima, Tamura, & Fukunaga (2002)）。然而，这些方法不够灵活，尤其是在处理大型词汇表时，往往难以实现语言多样性和表达力。受到CNN和RNN成功的启发，编码器-解码器框架变得广泛使用

提出的GLM-EER

情感视频描述生成的句子描述了给定视频，同时传达了情感表达。为了获得充分的视觉表示，我们提出了一个端到端的框架（图2），用于生成富含上下文语义的描述。通过对齐视觉和文本嵌入空间，我们利用BLIP-2中的Q-Former（Li et al. (2023)作为骨干，通过注意力动态捕获显著视觉信息。我们的模型包括三个关键组成部分：1）视觉

实现设置

我们使用预训练的EVA-CLIP ViT-g/14视觉变换器（Fang et al. (2023)作为视觉编码器，以及OPT-2.7B语言模型（Zhang et al. (2022)作为解码器。为了在训练期间最小化计算成本，这两个大型模型都保持冻结状态。训练和测试都使用32的批量大小。对于每个视频，最初采样64帧，并将其大小调整为224×224，进行中心裁剪。

在GLM处理流程中，时间冗余感知融合机制

结论

在这项工作中，我们提出了GLM-EER，这是一种新颖的情感视频描述框架。我们的方法整合了两个关键创新：（1）全局-局部记忆库，它捕获了长期的历史背景和细粒度的时间动态，使模型能够学习复杂的上下文表示；（2）情感评估优化（EER）模块，它评估当前情感描述的质量。EER模块根据

CRediT作者贡献声明

钟马：方法论、验证、写作——原始草稿。陈胜波：监督、写作——审阅与编辑。唐鹏杰：概念化、方法论、验证、监督、写作——原始草稿、写作——审阅与编辑。饶洪：监督、写作——审阅与编辑。王汉莉：监督、写作——审阅与编辑。

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。