多模态大语言模型在面部表情识别中的鲁棒性：一项人类对比研究

《Pattern Recognition》：Robustness of multimodal large language models in facial expression recognition: A human-comparative study

　　

• •
  受生物启发的双任务框架评估了多模态大语言模型（MLLM）在语义冲突和信息匮乏条件下的鲁棒性。
• •
  多模态大语言模型在面对冲突的组合表情时，无法复制人类的整体加工机制。
• •
  从孤立的眼睛线索进行细粒度的情感推理仍然是当前多模态大语言模型面临的重要挑战。
• •
  结果表明，人工智能中的统计模式匹配与人类的生物感知之间存在关键差异。

引言

作为人类认知的基础，情感在感知、决策和社会互动中发挥着关键作用[1]、[2]。大量跨文化研究表明，面部表情是传递社会信息的通用载体，即使没有语言也能有效发挥作用[3]。因此，解码这些信号一直是情感计算领域的长期追求，推动了视觉和多模态情感分析技术的持续发展[4]、[5]。近期研究还探讨了多模态特征融合在情感识别中的应用[6]。

多模态大语言模型（MLLMs）的出现，如GPT-4o[7]，彻底改变了情感计算领域，在标准基准测试中达到了饱和水平性能[8]、[9]，并推动了复杂人类意图感知的发展[10]。然而，一个根本性的问题随之产生：高识别准确率是否意味着类人的理解能力？近期证据表明，统计性能与鲁棒认知之间存在令人担忧的鸿沟[11]。近期研究报告了基于MLLM的情感识别中的捷径式响应模式，包括对高度显著面部线索的敏感性，这引发了对其在情感信息模糊、冲突或不完整时鲁棒性的质疑[12]、[13]。

为弥合这一差距，我们需要借鉴人类的认知机制。在日常生活中，人类情感识别对语义模糊和信息匮乏具有鲁棒性。这种鲁棒性依赖于一个多层次的自适应系统：(1)整体加工：人类将面部各部分视为不可分割地整合在一个整体构型中，这一现象由复合面孔效应所证实[14]。(2)局部推理：相反，人类保留了从局部线索和面部关键点推断复杂状态的能力，眼睛作为关键的诊断特征发挥着重要作用[15]。相比之下，MLLMs普遍缺乏这些体验过程[16]，尚不清楚经过大规模预训练的MLLMs是否获得了类似的感知机制。虽然卷积神经网络（CNNs）中的偏差（如纹理优先于形状）已有充分记录[17]，但近期面部情感识别（FER）方法通过空间-上下文交互和注意力正则化改善了面部表征学习[18]、[19]。其他研究探讨了参数高效适配和联合学习，以实现挑战性视觉条件下的鲁棒FER[20]、[21]。然而，这些进展主要涉及任务特定识别性能，而通用MLLMs在冲突或部分面部信息条件下的行为鲁棒性仍鲜有探索。

在本文中，我们提出了一种受生物启发的双任务框架，作为对最先进MLLMs的认知审计。我们的协议针对MLLMs的"系统1"¹能力，即模拟人类中观察到的快速、自动的视觉编码（通常在约200毫秒内）[23]、[24]。我们强调直接的视觉-语义映射，以评估两种特定认知压力下的感知鲁棒性：任务I（语义冲突）：利用复合面孔范式（将面孔分割为上/下区域，带有冲突的情感），以检验MLLMs是否表现出类人的整体加工。任务II（信息匮乏）：研究眼睛区域的诊断能力，以测试MLLMs是否具备与人类"从眼睛中读出心思"能力相当的细粒度情感推理。

本文的主要贡献总结如下：

• 1.
  受生物启发的双任务评估框架：我们提出了一种超越标准准确率的协议，用于评估MLLMs的感知鲁棒性。通过引入语义冲突和信息匮乏的压力源，我们探查传统基准测试所忽视的决策边界和策略转变。
• 2.
  揭示行为不一致：我们识别了人类与MLLM响应模式之间的系统性差异，包括方向性误分类（例如，恐惧$\to$惊讶）、与区域相关的响应倾向、较差的置信度校准以及对信息移除的更大敏感性。
• 3.
  C-STAR基准测试套件：我们引入了情感识别认知压力测试（C-STAR）。C-STAR将受控的语义冲突和信息匮乏操纵与准确率、校准、错误方向、报告的判断依据和区域敏感度等指标相结合。它旨在补充而非取代自然情境和野外环境中的FER评估。

章节摘要

相关工作

为系统评估生物视觉与人工视觉在情感感知中的对齐程度，我们对比了支撑人类鲁棒性的认知机制与MLLMs的能力。这为在感知压力下比较性能奠定了理论基础。

参与者

鉴于本研究旨在检验MLLMs与人类在面部情感识别能力上的差异，研究包含了两类参与者：人类参与者和由MLLMs生成的虚拟参与者。

语义冲突任务（任务I）的结果

路线图与关键要点。本小节检验语义冲突是否在MLLMs中引发类人的整体整合。我们在三个层面报告结果：(i)全局冲突敏感性（感知一致性评分），(ii)行为正确性（条件间的准确率不对称性），以及(iii)自我报告的决策依据（上脸vs.下脸依赖）。这些分析共同测试模型是否表现出经典的复合面孔效应，还是依赖于僵化的特征驱动验证。

任务I：语义冲突与整体感知

在语义冲突任务中，人类参与者在一致复合面孔上的感知一致率显著高于不一致复合面孔。然而，出现了一个显著的差异：人类在检测不一致性方面表现挣扎（准确率43.2%），而MLLMs实现了较高的拒绝率（$68\text{\%–}82\text{\%}$）。尽管MLLMs在不一致刺激上较高的拒绝率在传统准确率指标下看似有利，但该结果主要表明这是一种条件依赖性的差异

结论

C-STAR为人类与MLLM在语义冲突和信息匮乏条件下的行为提供了受控比较。在两项任务中，模型表现出条件依赖的响应偏差、更多方向性错误、在受限面部信息下更大的性能损失，以及比人类更差的群体层面校准。主要方向性发现在匹配的动态呈现和替代提示模板下得到重现，尽管其精确幅度因模型而异

CRediT作者贡献声明

赵琳：撰写—原始草稿、方法论、形式分析、数据整理、概念化。孙梦怡：撰写—原始草稿、方法论、形式分析、数据整理、概念化。李敬婷：撰写—审阅与编辑、概念化。刘烨：方法论。马俊驰：软件、方法论。付双杰：软件、方法论。王苏静：撰写—审阅与编辑、监督。

生成式AI披露声明

文本方面：我们使用了GPT-5.2和Gemini 3来改善英语表达。在使用该工具/服务后，我们根据需要审阅和编辑了内容，并对已发表文章的内容承担全部责任。

图像方面：我们确认，本手稿中的图像未使用生成式AI进行创建或修改。

利益冲突声明

作者声明不存在可能影响本文所报告工作的已知竞争性经济利益或个人关系。

致谢

本文受国家自然科学基金（62476269, 62276252）、中国科学院青年创新促进会、北京市科技新星计划（202604841299）以及认知科学与心理健康国家重点实验室科学基金（项目编号：E5CX1201GZ）资助。

赵琳于2022年获得中国廊坊师范学院心理学专业学士学位。她目前在中国科学院心理研究所/中国科学院大学心理学院攻读应用心理学硕士学位。她目前的研究兴趣包括面部微表情分析和人工智能+心理学。

赵琳|孙梦怡|李敬婷|刘烨|马俊驰|付双杰|王苏静