通过生成式语义锚点校正视听情感识别中的时空差异

《Information Fusion》：Rectifying Spatiotemporal Discrepancies for Audio-Visual Emotion Recognition via Generative Semantic Anchors

　　

•RSD框架解决了视听情绪识别中隐式时空异质性问题。•生成文本语义锚点为跨模态校正提供了稳定的参考。•半松弛最优传输沿共享时间线同步异步情绪序列。•秩受限随机对齐跨模态协调不一致的空间拓扑结构。•校正后的多模态表示显著增强了野外场景中的鲁棒情绪识别能力。引言视听情绪识别（AVER）旨在通过联合建模面部表情和语音信号来推断人类的情绪状态。与单模态方法相比，该方法提供了更丰富、更鲁棒的情绪理解，并支持广泛的应用领域[1]，如人机交互[2]、[3]、情感计算[4]、[5]以及社交机器人[6]。然而，由于模态间的固有异质性，AVER在有效对齐方面面临根本性挑战。从根本上说，这种异质性既包括显式特征错配，也包括隐式时空偏差。尽管现有研究在跨模态学习方面取得了显著进展，但这些工作主要聚焦于显式跨模态对齐。根据不同学习范式，现有方法可归类为监督学习、无监督学习和面向鲁棒性的多模态融合方法。监督学习方法利用密集标签引导来捕获复杂模式映射，可被视为在强监督信号下显式对齐多模态特征。例如，VIPINN[7]将领域特定的物理方程作为结构化先验来建模时空动态，而Graph-MDETR[8]利用编码组件共现先验的关系图来增强遮挡条件下的目标检测。然而，这些监督先验锚定于预定义物理或结构关系，无法适应视听流中情绪的流体语义演化。无监督学习方法旨在不依赖标注目标数据的情况下提取可迁移或域不变表示，本质上是以无标签方式跨域或跨模态寻求显式对齐。例如，SCMGIDTL[9]在图结构上传播信息以实现无监督机械故障诊断，但其对齐仅停留在分布层面，未能协调情绪语义的潜在时间和几何不一致性。面向鲁棒性的多模态融合方法专门聚焦于在噪声或不匹配条件下对齐和融合异质模态。在视听情绪识别中，M3-JEPA[10]采用联合嵌入预测架构将多模态特征映射到统一潜在空间以进行跨模态对齐，而MM-ORIENT[11]利用层次交互注意力实现解耦多模态特征之间的显式交互和对齐。尽管这些方法在各自范式内有效，但它们主要解决显式特征级不匹配问题，从根本上忽视了底层情绪语义中的隐式时空异质性。这种隐式异质性可沿两个关键维度进行刻画。如图1(a)所示，在时间维度上，与显式偏差（如物理时序滞后或原始时间戳错位）不同，隐式异质性表现为情绪语义的异步偏差。如连接语义轨迹的红色双向箭头所示，即使原始物理时间戳完全对齐（例如t=0秒到t=5秒），底层情绪状态往往异步演化。例如，面部表情的情绪高潮（视觉上的"啜泣"在第2个节点，t=2秒）可能与其对应的声音情感（听觉上的"哽咽"在第4个节点，t=4秒）产生显著偏移。这种情绪含义的非线性去同步逃过了标准注意力机制，阻碍了时间连贯表示的构建。在空间维度上，不同于显式特征级不匹配，隐式异质性反映情绪语义的拓扑不一致性。如图示，红色虚线连接三维特征空间中的同源状态，异质模态本质上将情绪概念组织为不同的潜在几何结构。例如，面部表情形成连续封闭流形，而语音爆发则形成以中性状态为锚点的不同星型集群。在不校正这种隐藏情绪几何的情况下直接进行跨模态交互，会引入严重表示失真，限制细粒度跨模态整合。为系统性地解决这些挑战，我们提出了一种新颖框架——校正时空偏差（RSD），如图1(b)所示。我们的框架利用生成文本锚点作为统一高层参考，解决情绪语义中的异步偏差和空间拓扑不一致问题。具体而言，我们首先利用多模态大语言模型（MLLM）构建稳定的生成文本锚点。我们将这些锚点视为可靠的语义基准，框架在对应隐式时空异质性两个维度的两个基本层面上运行。在时间层面，我们引入时间锚点校正（TAR）模块来解决情绪语义中的复杂异步偏差。TAR利用半松弛最优传输来隐式同步异质视听序列与文本锚点。该过程将对齐问题建模为由情绪语义相似性定义的代价最小化映射问题，确保异步情绪线索可以沿共享语义时间线对齐，以促进时间连贯情绪状态的建模。在空间层面，我们提出空间锚点校正（SAR）模块来解决情绪语义不一致的拓扑分布。SAR基于秩受限随机对齐机制构建，该机制利用低秩仿射变换与随机路由相结合。该机制将模态特定特征几何向共享语义坐标系调整，在保持模态特定特征的同时鼓励结构一致性，从而提升表示层面的跨模态兼容性。最后，我们采用多任务约束锚定融合（MCAF）策略来整合这些校正后的表示，确保在复杂野外环境中实现鲁棒且细粒度的情绪预测。主要贡献总结如下：•我们提出RSD，利用生成文本锚点校正视听情绪识别中的隐式时空异质性。RSD在时间和空间层面系统性地解决了情绪语义中的异步偏差和不一致拓扑分布问题。•我们引入基于半松弛最优传输理论的时间锚点校正（TAR）模块。通过将文本锚点作为基准，TAR隐式地将异质视听序列与语义时间线同步，解决了情绪语义中的时间异步偏差。•我们设计由秩受限随机对齐（RRSA）机制驱动的空间锚点校正（SAR）模块。SAR通过低秩仿射变换和随机路由将模态特定拓扑结构与语义坐标系对齐，确保情绪语义潜在空间中拓扑分布的一致性。•在MAFW和AFEW基准上的大量实验表明，RSD显著优于最先进方法，验证了其在解决隐式时空偏差以实现鲁棒AVER方面的有效性。章节片段视听情绪识别视听情绪识别（AVER）已从手工设计方法发展到通过联合表示学习来弥合情绪鸿沟的现代深度学习架构[12]、[13]。为捕获情感的动态特性，研究人员整合了时空建模和多任务学习（MTL）来同时优化离散和连续情绪维度[14]、[15]。尽管取得了这些进展，但传统融合技术往往无法充分利用。概述为系统性地解决情绪语义中异步偏差和不一致拓扑分布的隐式时空异质性，我们提出了RSD框架。如图2所示，该框架包含三个主要模块：时间锚点校正（TAR）、空间锚点校正（SAR）和多任务约束锚定融合（MCAF）。具体而言，为了解决情绪语义中的隐式时间异步偏差，TAR生成稳定的文本锚点作为。数据集MAFW[33]：该数据集是一个具有挑战性的真实场景多模态数据集，涵盖音频、视觉和文本模态。它包含10,045个视频音频片段，标注有复合情绪，涵盖11个常见类别，包括愤怒、厌恶、恐惧、快乐、中性、悲伤、惊讶、蔑视、焦虑、无助和失望。每个片段由专业标注者标注11次，并使用期望最大化算法过滤掉不可靠的标注。为了局限性讨论尽管取得了令人鼓舞的结果，RSD的若干局限性仍需承认。该框架依赖于MLLM生成的文本锚点，其质量本质上限制了整体性能。文本锚点损失LT对文本噪声提供了一定的韧性，但无法完全消除严重失真锚点的影响。这种依赖还引入了计算开销，因为大规模数据的离线MLLM生成需要大量GPU显存和处理时间。结论在本工作中，我们提出了一种新颖的校正时空偏差框架，系统性地解决了视听情绪识别中固有的隐式时空异质性，即情绪语义中的异步偏差和不一致拓扑分布。利用生成文本锚点作为统一高层参考，RSD通过两个专门模块解决时间和空间偏差。具体而言，时间锚点。作者贡献声明周奇银：原始草稿撰写、软件、方法论、形式分析、概念化。王珂：审阅与编辑、验证、软件。刘媛媛：审阅与编辑、指导、概念化。刘克俊：审阅与编辑、验证。周武杰：审阅与编辑、指导。唐畅：审阅与编辑、指导。利益冲突声明作者声明不存在可能影响本文所述工作的已知竞争财务利益或个人关系。周奇银|王珂|刘媛媛|刘克俊|周武杰|唐畅