多模态情感识别、人格特质评估与矛盾/犹豫识别的统一视角：语料库、方法、评价与开放挑战

《Big Data and Cognitive Computing》：A Unified Perspective on Multimodal Emotion Recognition, Personality Trait Assessment, and Ambivalence/Hesitancy Recognition: Corpora, Methods, Evaluation, and Open Challenges

　　

人类行为的多模态分析已取得快速发展，然而情感识别（Emotion Recognition, ER）、人格特质评估（Personality Trait Assessment, PTA）和矛盾/犹豫识别（Ambivalence/Hesitancy Recognition, AHR）通常被分别综述。本综述通过对比分析语料库、计算方法、评价协议和伦理局限性，共同审视这些相关但不同的任务。研究人员在Scopus和Web of Science中进行了结构化检索，随后进行了多阶段筛选和多评审者评估。最终的方法学样本包含56项独特研究，发表于2023年1月1日至2026年8月1日期间。其中一项研究同时涉及ER和PTA，因此共产生57个任务特定条目。所综述的方法包括跨模态交互、时序和上下文建模、基于图的推理、可靠性感知融合、有限监督下的学习以及利用大语言模型（Large Language Models, LLMs）的语义增强。所综述的ER研究涉及上下文建模、鲁棒性相关目标和开放词汇预测。PTA研究侧重于结构化行为建模、时间聚合、目标感知评估和泛化相关策略。AHR仍较少被探索，且集中于一个狭窄的基准格局，具有独特的帧级和视频级协议。一项纳入后的质量和可重复性评估显示，在56项研究中，仅有10项明确报告了重复运行的不确定性。仅有3项研究明确报告了跨语料库或外部验证。这些发现表明，许多方法论趋势仍主要依赖于基准内部证据的支持。本综述识别出共享的多模态处理原则，同时保留了目标稳定性、标注来源、时间粒度和评价方面的差异。关键优先事项包括跨语料库泛化、不确定性、可解释性、文化有效性、隐私和人工监督。

1. 引言

情感识别（ER）和人格特质评估（PTA）是现代情感计算、计算机视觉和智能多模态数据挖掘中的既定研究方向。这些任务在心理学、教育和医疗保健中有广泛应用。本综述通过将矛盾/犹豫识别（AHR）视为一个独立的多模态任务，并将ER、PTA和AHR作为多模态行为分析中相关但不同的任务进行联合审视，从而拓宽了比较范围。ER主要关注短暂的情绪状态，而PTA则处理从自我报告或观察者判断中推断出的人格特质。AHR专注于矛盾和犹豫的行为表现。这三个任务不被视为等同的心理构念。将它们放在一起考虑，是因为每个任务都涉及从重叠的可观测多模态行为信号向语料库定义的心理或行为目标进行推断。然而，它们在目标稳定性、标注来源、时间粒度和构念操作化方面存在系统性差异。ER主要是状态导向且随时间变化的。PTA涉及相对稳定的特质类特征，源自自我报告或观察者评估。AHR在其当前的操作化中，涉及依赖于上下文的、在时间上局部化或汇总的行为片段。因此，统一视角是比较性的而非本体论的。它考察了这些差异如何影响多模态建模、标注、评估和泛化。情感和情绪之间的区别对于理解情感目标仍然很重要。在计算情感研究中，情感通常通过效价和唤醒度以维度方式表示，而ER则常将目标表述为从言语和非言语行为中推断出的离散类别。在这三个任务中，相关证据可能包括声学语音特征、面部表情、手势、姿态、语言内容和更广泛的交际语境。在人格研究中，PTA通常使用大五人格框架，该框架沿着五个广泛且相对稳定的维度来描述人格。

最近的文献反映了对多模态方法的日益重视，这些方法联合使用文本、声学、视觉，并在某些情况下使用生理信息。结合互补模态可以减少对任何单一信息源的依赖，并支持对语义、韵律、视觉、语境和生理证据的联合建模。

现有综述从几个互补但大多针对特定任务的视角涵盖了这一快速发展的领域。大量研究聚焦于多模态或通用ER，涵盖语料库、模态特定表示、融合策略、学习架构、应用和方法论挑战。在最新的例子中，Yazici等人对多模态ER提供了广泛的分类，涵盖情感模型、预处理、特征提取、多模态语料库、融合策略、学习架构、应用和开放挑战。Khanra和Roy采用了以数据为中心的视角，强调语料库、特征提取、融合、数据稀缺、标注成本、类别不平衡和缺失模态。其他综述有意识地审视了更狭窄的视角，包括噪声下的语音情感识别、基于上下文的情感识别、音乐情感识别以及大语言模型（LLMs）时代从自然语言处理（NLP）视角出发的情感计算。与此同时，面向人格的综述独立于ER文献，分析了用于PTA及相关人格预测任务的人工智能（AI）和机器学习方法。

图1显示，最近的综述对单个情感和行为分析领域，特别是ER，提供了实质性覆盖，但对不同行为目标之间的综合论述有限。在此比较所包含的综述中，没有一篇在多模态行为分析的共同分析框架内联合分析ER、PTA和AHR。因此，本综述采用跨任务的分析视角，而不是旨在为任何一个单一任务提供更大的研究目录。它将AHR视为一个独立的计算任务，并使用共享的分析维度比较这三个领域。该综述识别出共享的处理原则，同时不混淆它们的目标定义。

因此，本综述解决了三个研究问题。RQ1：ER、PTA和AHR在目标表述、时间特征、标注来源、语料库设计和评估协议上有何不同？RQ2：哪些多模态处理原则和方法论发展在这三个任务中反复出现，哪些仍然是任务特定的？RQ3：关于方法论质量、可重复性和超越单个基准的泛化能力，支持这些共享和任务特定趋势的证据有多强？

本综述的主要贡献总结如下。跨任务综合：本综述在一个共同的分析框架内联合审视多模态ER、PTA和AHR，同时保留它们各自不同的目标定义、标注结构、预测粒度和评估设置。特别地，AHR被视为一个独立的计算任务，而非传统情感识别的子类型。结构化比较分析：本综述在语料库、输入模态、表示与交互机制、学习策略、评估协议和可解释性等方面组织当代方法论证据。这种组织支持识别这三个领域中重复出现的多模态设计模式和任务特定的方法论差异。跨任务方法论抽象：比较性综合被用于推导多模态行为分析的一个通用功能方案。该方案连接了模态特定处理、跨模态交互、上下文与可靠性感知建模以及任务特定推断，同时保留了情感、人格和矛盾/犹豫预测之间的区别。可审计的证据基础构建与评估综合：本综述采用了可重复的多阶段检索和筛选程序，包括多评审者评估、明确的利益冲突处理和一致性分析。它还包含了盲审敏感性分析和纳入后研究层面的质量与可重复性评估，涵盖六个维度。报告的性能在其原始语料库、目标、数据划分、预测粒度和度量条件下进行解释，而不是被视为可直接跨不兼容实验协议进行比较。

本文其余部分组织如下。第2节描述了综述设计、检索策略、资格标准、研究选择和比较性综合。它还描述了由此产生的证据基础及其局限性。第3节对ER、PTA和AHR中使用的语料库进行了比较分析。第4节和第5节分别回顾了ER和PTA的最新多模态方法，而第6节则聚焦于AHR。第7节分析了评估协议及其在不同任务表述间的可比性。第8节将所综述的方法论模式综合成一个通用的功能方案。第9节讨论了与多模态行为分析相关的伦理局限性和风险。最后，第10节总结了主要发现并概述了未来研究的方向。

2. 综述方法论

2.1 综述设计与检索流

本综述被组织为一个结构化且可重复的证据综合，具有明确的识别、筛选、资格、纳入和数据提取阶段。其报告借鉴了系统综述指南如PRISMA 2020中所体现的透明度原则。这些原则包括明确的数据库查询、研究流程核算、预定义的资格标准、评审者程序和记录的纳入决定。然而，本综述整合了三个分析上不同的证据流，并带有任务特定的筛选程序，因此不作为正式的符合PRISMA的系统综述呈现。

文献识别程序包括三个互补的检索流，每个对应本综述中分析的一类不同证据。综述流识别了最近的综述文章，并将本综述相对于现有的多模态ER、PTA、AHR及相关情感和行为分析任务的综合进行定位。语料库流识别了与这三个任务相关的基准语料库和挑战资源。方法论流识别了提出或评估用于ER、PTA和AHR的多模态计算方法的研究。Scopus和Web of Science（WoS）是所有结构化检索的主要书目数据库。

对于综述和方法论流，发表窗口从2023年1月1日延长至2026年8月1日，最终数据库检索于2026年8月1日进行。语料库流使用相同的截止上限，但没有较低的发表日期界限，因为一些对当代评估仍至关重要的基础资源是在2023年之前引入的。因此，为了表征基准格局所需，较早的语料库出版物也是合格的。这种分离将当代综述和方法论证据与用于历史和比较分析的更广泛语料库基础区分开来。

通过综述和语料库流检索到的记录根据其在综述中的分析角色进行筛选。如果综述出版物提供了多模态ER、PTA、AHR或密切相关的情感和行为分析任务的实质性综合，并且包含足够的信息用于比较综述范围，则予以保留。如果语料库记录的主要出版物或官方资源描述了与至少一个目标任务相关的语料库，并且提供了足够的信息来表征一个或多个相关的语料库属性，包括模态、语言覆盖、数据量、交互场景、注释结构或可访问性，则予以保留。基于场所的范围标准和第2.3节中描述的更严格的方法论资格标准仅适用于方法论流。

由于三个检索流服务于不同的分析目的，检索到的记录集被分开处理，并未合并到一个单一的筛选分母中。第2.3节中描述的523篇候选出版物池特指方法论流，而综述出版物和语料库资源则分别针对其各自的分析角色进行筛选。为确保语料库和方法论综合之间的一致性，在评估所纳入的方法论研究过程中遇到的语料库，当其主要出版物或官方资源在相同语料库表征标准下提供了足够信息时，也被纳入语料库分析。

2.2 检索词汇与查询构建

分别为综述、语料库和方法论流独立构建了检索表达式。每个流结合了一个任务词汇表，并带有反映其特定证据类型的术语。综述和方法论检索使用了任务特定的识别、分析、预测和评估表述，而语料库检索则使用了更广泛的情感、人格相关和矛盾/犹豫术语，因为基础资源并不总是作为识别或评估研究呈现的。在综述和方法论检索中需要多模态术语，但在语料库检索中不需要，因为也考虑了模态特定的基础资源。图2总结了三个检索流的逻辑结构，表1报告了用于构建数据库特定查询的词汇表。

在图2中，V_S、V_C和V_M分别表示用于综述、语料库和方法论流的任务词汇表。符号M表示多模态词汇表，而R、C和D分别表示综述、语料库和方法导向的检索目的词汇表。每个词汇表中的术语使用OR运算符组合，而定义每个检索流的词汇组则使用AND运算符组合。

架构、模型和学习策略特定的术语被包括在内，以提高对新兴计算方法及相关方法论设置的检索灵敏度。它们在检索记录中的存在并不构成资格标准。资格和最终纳入是通过第2.3节中描述的完整筛选程序确定的，包括任务相关性、多模态性、出版范围、方法论贡献、实验证据以及最终的多人评审评估。

方法论检索中的任务词汇表在目标任务之间存在有意的不对称性。对于ER，“多模态情感分析”和“情感预测”等术语被保留，因为本综述包括了常规ER的方法论扩展，这些扩展仍然以情感状态推断为中心。相比之下，AHR词汇表保持构念特异性，并聚焦于矛盾和犹豫。更广泛的行为计算术语，如犹豫不决、不确定性表达、认知冲突、欺骗和参与，未被包括，因为它们表示部分重叠但不等同的行为目标，并且会显著降低检索特异性。未使用正式的回溯或前向引文追踪程序来扩展方法论筛选池。方法论证据基础由附录A中表A1报告的可重复Scopus和WoS搜索定义。

表1中的词汇表被转换为数据库特定的语法。Scopus检索应用于标题、摘要和关键词字段，使用TITLE-ABS-KEY，而WoS检索使用TS主题字段。实际用于最终搜索的完整数据库特定布尔表达式，连同其字段限制、发表日期限制、执行日期以及每次搜索返回的记录数，均在附录A的表A1中报告。