基于压缩视频的多模态建模与交互技术在动态表情识别中的应用

《Knowledge-Based Systems》：Compressed video-driven multimodal modeling and interaction for dynamic expression recognition

　　谢伟成|张俊良|梁海健|沈琳琳|赖志辉|宋思阳|余子桐•我们提出了一种基于压缩视频的DFER框架，该框架直接在压缩域中运行，利用多模态时间建模和模态间交互。据我们所知，这是首批探索多模态时间建模与交互以识别压缩表情视频的研究之一。•我们设计了一种面向DFER的多模态交互注意力机制，通过采用非对称目标-源交互策略，对三种压缩视频模态之间的不一致性和互补性进行建模，从而编码时间线索和跨模态交互线索。•在Oulu-CASIA、AFEW和DFEW三个数据集上的大量实验结果表明，与现有的最先进方法相比，我们的多模态范式在WAR和UAR指标上更具优势。引言面部表情是人类表达情感和意图的最自然信号之一，能够增强人与人之间的情感联系。面部表情识别（FER）旨在从图像或视频中分类几种基本表情类别，包括“快乐”、“愤怒”、“厌恶”、“恐惧”、“悲伤”、“中性”和“惊讶”[1]。由于FER对于理解人类情感具有极其重要的意义，它在现实生活中有着广泛的应用，如人机交互、医疗诊断、课堂教学等[2]。表情视频包含丰富的情绪线索[3]，因为它还能捕捉静态图像无法呈现的时间动态。然而，随着视频内容的快速增长，存储需求也急剧上升，降低存储和传输成本已成为一个重要问题[4]。为了减少存储空间或在带宽有限的通信网络中实现大规模视频传输，视频通常会被转换为压缩格式（即压缩域）[5]。不过，大多数现有的动态面部表情识别（DFER）方法依赖于原始视频，它们没有考虑原始数据的存储负担，也没有利用压缩视频中的多模态线索，往往只使用单一模态[6]、[7]或分别处理这些模态[8]。这种忽视多模态信息的情况部分是由于难以理解表情的跨模态交互[9]。在视频的压缩域中，DFER面临的一个持续挑战是如何有效建模每种模态的时空动态表示。尽管视频序列包含有助于了解面部表情动态的时间信息，但许多基于CNN的方法[10]仅在对帧级别的视觉信息进行建模，而不涉及不同帧之间的视觉关系推理。基于序列的方法则通过长短期记忆（LSTM）[11]或3D卷积[12]来建模。然而，当模型参数规模不够大时，它们在描述微妙的表情动作方面表现仍然不佳。此外，使用光流来捕捉动态运动信息也很常见[8]、[13]，但逐帧获取光流非常耗时，这通常是识别模型的主要计算瓶颈。同时，视频的连续帧中包含许多无信息且重复的模式[6]，这些模式也可能掩盖有关动态面部表情的真实有意义信息。尽管有一些研究尝试探索压缩域（例如MIC [6]），但它们往往仅限于单一模态输入，如残差，并且缺乏明确的模态间协调或时间建模。相比之下，我们的方法同时利用I帧、运动矢量和残差，并引入结构化模块来捕捉模态间和模态内的依赖关系，以实现更全面的动态表情表示。具体而言，为了解决上述问题，我们利用为存储和传输视频而开发的压缩表示，而不是直接处理原始视频（见图1(b)）。我们从三个方面考虑使用表情视频的压缩表示。(i) 视频压缩（使用H.264、HEVC等）可以降低存储开销（例如，如图1(a)所示，视频压缩将DFEW的存储大小从17 GB降低到1.6 GB，存储开销降低了90.5%）。如图2所示，压缩视频只包含少量原始帧（即I帧），而与其他帧相关的线索则编码在运动矢量和残差中，这些数据所占空间远小于原始I帧。这样，压缩视频就隐含地提供了三种类型的模态信息：I帧表示视频的完整RGB图像，运动矢量类似于光流，表示连续帧之间的像素位移，而残差则表示原始帧的像素值与根据运动矢量估算的像素值之间的差异，这些通常被视为外观和运动边界的变化。因此，压缩表示可以去除许多无信息且重复的模式，突出原始视频的有意义信号[14]。(ii) 由于运动矢量能够表示来自不同身份但属于同一类别的表情的相似运动信号，例如不同的肤色和光照条件，因此它们可以减少身份和与表情无关的因素对表情识别的影响。(iii) 由于残差能够捕捉反映表情语义的关键表情部位（如嘴巴或眼睛）的细微变化，因此它们可以减轻FER任务中固有的大类内差异较大的影响。这些优点促使我们直接在视频表情的压缩域中进行处理（请参见图1）。然后，我们将这三种类型的信息表示，即I帧、运动矢量和残差，视为三种不同的模态，并通过多模态交互来进行特征表示学习。为了为压缩视频编码多模态特征，我们使用Transformer[19]来补充ResNet主干网络，这一选择是基于其在自然语言处理（NLP）[19]、视频[20]以及多模态领域[21]、[22]中强大的全局关系建模能力。在此基础上，我们为三种模态引入了模态并行的时间Transformer，使模型能够捕捉视频序列中的长期依赖关系，并以并行方式表示每种模态的时间特性。此外，我们还设计了多模态适应和交互模块，以学习互补的表示和模态间交互线索。特别是，最近的研究MIC [6]也在视频的压缩域中识别动态面部表情，但它仅使用单一模态（即残差），并且忽略了模态间的相关性。我们的方法通过充分利用多种模态的线索以及模态间的交互，提取了更丰富的信息，从而更准确、全面地表示表情。为便于比较，我们在表1中展示了我们的压缩视频驱动方法与现有方法的主要区别。可以看出，与现有方法相比，我们的方法充分利用了三种压缩视频模态的线索，而非仅仅依赖单一模态信息（如I帧或R帧）。除了每种模态的时间线索外，我们还考虑了模态间线索的互补性。因此，我们设计了模态并行的时间Transformer以及多模态适应和交互模块，以便更好地捕捉视频表情中的上下文信息和模态间互补性。我们的工作贡献总结如下：•我们提出了一种基于压缩视频的DFER框架，该框架直接在压缩域中运行，利用多模态时间建模和模态间交互。据我们所知，这是首批探索多模态时间建模与交互以识别压缩表情视频的研究之一。•我们设计了一种面向DFER的多模态交互注意力机制，通过采用非对称目标-源交互策略，对三种压缩视频模态之间的不一致性和互补性进行建模，从而编码时间线索和跨模态交互线索。•在Oulu-CASIA、AFEW和DFEW三个数据集上的大量实验结果表明，与现有的最先进方法相比，我们的多模态范式在WAR和UAR指标上更具优势。章节片段基于视频的FER对于基于视频的FER，尽管手工设计的特征方法[23]和STLMBP[24]表现出一定的有效性，但它们在特定场景中的适用性有限，且难以优化。目前，长短期记忆（LSTM）[25]和三维卷积（C3D）[26]这两种深度学习技术是这项任务中最常用的方法，这些方法通常从视频序列中提取时空面部信息，例如张等人[27]提出了双通道...提出的方法概述：如图3所示，我们的框架直接在压缩域中运行，包含三个分支，这些分支以压缩视频的三种模态作为输入，即I帧、运动矢量和残差。其中I帧代表完整的图像信息，运动矢量包含连续视频帧之间的运动信息，而残差则捕捉原始帧与基于参考帧和运动预测的帧之间的差异。数据集Oulu-CASIA：Oulu-CASIA [54]数据集包含了80名受试者的六种基本表情，包括“愤怒”、“厌恶”、“恐惧”、“快乐”、“悲伤”和“惊讶”。根据光照条件，每个视频可分为正常、弱光和暗光三部分。每部分包含480个序列，每个表情序列从中性状态开始，以情绪高峰结束。我们采用了与当前最先进方法相同的10折交叉验证策略。AFEW：AFEW [55]数据集是...结论与讨论为了避免大多数现有方法所依赖的原始视频的高存储需求，我们提出直接在压缩域中识别视频，以降低存储开销。此外，由于压缩视频中存在多种模态，包括I帧、运动矢量和残差，每种模态都能提供独特的面部表情信息，因此我们提出了一种结合模态并行时间建模和基于多模态交互的方法...CRediT作者贡献声明谢伟成：写作——审稿与编辑，写作——初稿，验证，监督，方法论，资金获取，正式分析，概念构思。张俊良：写作——审稿与编辑，写作——初稿，可视化，验证，方法论，正式分析，概念构思。梁海健：写作——初稿，可视化，验证，方法论，正式分析。沈琳琳：写作——审稿与编辑，监督，方法论，资金获取...利益冲突声明作者声明他们没有已知的可能影响本文所述工作的财务利益或个人关系。致谢作者感谢匿名审稿人的建设性建议。本研究得到了国家自然科学基金委员会的支持，项目编号为62276170、62576216、62576076、62306061；广东省科技计划的支持，项目编号为2023A1515010688；安徽省人形机器人重点实验室开放研究基金的支持，项目编号为JH-RX-2025-0103；以及广东省重点实验室的支持，项目编号为...