《Scientific Reports》：Generative AI emotion recognition from bodily gestures and vocal tone reveals modality-specific performance and positivity bias
编辑推荐：
生成式人工智能（GenAI）的进展引发了其在心理健康等敏感领域应用的兴趣。然而，其非语言社会认知能力的有效性仍不明确。本研究探讨两个关于GenAI社会智能的问题：其解读非语言通道（身体姿态与声学语调）的准确度是否与人类相当，以及情绪识别准确度是否因情绪效价而异
生成式人工智能（GenAI）的进展引发了其在心理健康等敏感领域应用的兴趣。然而，其非语言社会认知能力的有效性仍不明确。本研究探讨两个关于GenAI社会智能的问题：其解读非语言通道（身体姿态与声学语调）的准确度是否与人类相当，以及情绪识别准确度是否因情绪效价而异。研究人员使用EU-Emotion刺激集（包含表现基本情绪的身体姿态与声学语调），评估了三种Gemini GenAI模型（Pro 1.5、Pro 2（实验版）与Flash 2）的情绪识别准确度，并与经验证的人类基准比较。先进GenAI模型在从声学语调识别情绪上达到近人类准确度，但在解读身体姿态方面显著低于人类。GenAI模型对积极情绪的识别准确度高于消极情绪，该偏向在所有模型的身体姿态识别及先进模型的声学语调识别中均显著。GenAI表现出非人类样的社会认知轮廓，擅长积极情绪而挣扎于消极内容，这一发现具有深远的临床与理论意义，凸显了将GenAI整合进敏感领域的风险及持续验证的必要性。
研究背景与问题提出
随着大语言模型（LLM）驱动的生成式人工智能（GenAI）在编程、法律、教育、医疗与心理学等领域展现出卓越能力，数百百万用户已开始借助AI获取非正式心理健康支持。已有研究表明，GenAI在文本情绪觉察量表（LEAS）、静态视觉“读眼”任务甚至动态视听社会推理任务（MASC）中可达人类水平或超过人类。然而，既有研究多依赖静态、去语境化刺激，或在复杂多模态任务中无法分离各感官通道的独立贡献；同时多项研究提示模型存在系统性偏差，尤其是对消极情绪与心理困扰的欠检测，这种“积极偏向（positivity bias）”在心理健康场景可能延误危机识别。鉴于身体姿态与声学语调是社会认知与心理治疗的非语言基石，而GenAI原生多模态架构具备同时处理视频与音频的潜力，研究人员开展本项研究，系统、可控地评估Gemini系列模型在隔离的动态非语言通道上的情绪识别能力及其效价特异性偏差。
研究设计与方法概要
研究人员采用预注册比较设计，以2016与2019年发表的EU-Emotion Stimulus Set人类验证基准为对照，于2025年2—3月通过Gemini API开发者环境对Gemini Pro 1.5、Gemini Pro 2（Experimental）、Gemini Flash 2进行零样本（zero-shot）提示评测。身体姿态为动态视频片段、声学语调为无语义假句音频，均含基本情绪标签。身体姿态默认温度1.0，声学语调因Pro 2在温度0.5显著更优故统一设0.5。刺激按原始评分分为积极/消极（中性n=2两模态剔除）。统计使用两比例z检验比较人机总准确度与效价差异，Kruskal-Wallis检验比较模型间差异，并构建混淆矩阵。人类基准取自原刺激集验证文献（基本情绪识别人类感知具时间稳定性）。
研究结果
假设1（GenAI vs 人类总准确度）：身体姿态模态下人类正确率77.08%，Flash 2为64.72%（z=-6.87, p<.001, h=0.51），Pro 2为71.39%（z=-3.22, p=.001, h=0.25），Pro 1.5为60.14%（z=-9.32, p<.001, h=0.72），所有模型显著低于人类。声学语调模态下人类45.19%，Flash 2为45.36%（p=.943），Pro 2为47.14%（p=.416），均无显著差异；Pro 1.5为35.71%（z=-4.00, p<.001, h=0.19）显著更低。结论：声学语调上先进模型近人类，身体姿态上全面落后。
假设2（按效价的人机对比）：身体姿态积极项人类76.01%，Pro 2达85.36%（p<.001）优于人类，Flash 2为79.64%可比，Pro 1.5为64.29%更差；消极项人类76.97%，三模型仅50.75%—58.75%且均p<.001。声学语调积极项人类44.91%，Flash 2为56.78%（p=.004）优于人类，Pro 2为52.85%（p=.058），Pro 1.5为35.71%（p=.025）；消极项人类45.74%，Flash 2与Pro 2无差异，Pro 1.5为38.46%（p=.016，FDR校正后不显著）。结论：GenAI在积极项可匹敌或超越人类，在消极项系统性溃败。
假设3（人类效价内差异）：身体姿态积极76.01% vs 消极76.97%（p=.549）；声学语调积极44.91% vs 消极45.74%（p=.824）。人类无显著效价偏差。
假设4（GenAI效价内差异）：身体姿态三模型积极均显著高于消极（Flash 2：79.64% vs 50.75%, p<.001, h=0.62；Pro 2：85.36% vs 58.75%, p<.001, h=0.61；Pro 1.5：64.29% vs 53.25%, p=.004, h=0.22）。声学语调Flash 2（56.78% vs 42.69%, p<.001, h=0.28）与Pro 2（52.85% vs 43.85%, p=.015, h=0.18）显著，Pro 1.5不显著。结论：先进模型存在跨模态一致积极偏向。
假设5（模型间差异）：Kruskal-Wallis检验显示身体姿态H(2)=0.75, p=.686；声学语调H(2)=2.61, p=.270。模型间整体准确度无显著差异。
假设6（跨模态差异）：与预测相反，三模型身体姿态准确度均显著高于声学语调（Flash 2：64.72% vs 45.36%, p<.001, h=0.39；Pro 2：71.39% vs 47.14%, p<.001, h=0.50；Pro 1.5：60.14% vs 35.71%, p<.001, h=0.49）。结论：GenAI在身体姿态（视觉动态）优于声学语调（本研究中声学基线本身较低）。
混淆矩阵显示：身体姿态中Excited/Interested/Joking/Kind近完美识别，Happy被Pro 2/Flash 2完美识别但Pro 1.5全判Surprised；Afraid?Ashamed、Sad?Disgusted、Angry?Disgusted集中误分，Hurt从未被正确识别。声学语调中Disappointed完美识别，Jealous/Sneaky全判Disappointed，Proud从未正确，误分沿韵律相似群聚而非随机，间接支持韵律特征提取而非语音转文本机制。
讨论与结论翻译
本研究对当代GenAI从动态身体与声学刺激识别情绪的能力进行了实证考察，以大规模验证数据集对标人类表现。假设1仅获模态依赖性支持：Pro 2与Flash 2声学语调近人类，但身体姿态全面显著落后。假设2获支持：GenAI存在显著积极偏向，身体姿态中最突出，人类则效价平衡。假设6被反证——模型身体姿态优于声学语调。结果勾勒出GenAI非人类样社会认知轮廓：对积极情绪敏锐、对消极痛苦盲视。
从临床看，该积极偏向源于RLHF（基于人类反馈的强化学习）优化助益性与安全性、训练语料积极过代表（positivity bias in human language）、及可能对低模糊高置信积极类的架构偏好；先进模型（经更强对齐）偏向更显，Pro 1.5声学无偏向可作佐证。在心理健康场景中，对垂头姿势、焦虑搓动、抑郁性平坦语调的欠检测，会破坏治疗同盟的“被准确看见”感，导致危机信号漏判、自杀风险低估、自动化回应不当乐观。该偏差非纯技术瑕疵，而是负责任部署的前置伦理条件。局限性含演绎性表情、零样本提示、孤立通道、强制选择、中性类剔除、Gemini专属架构不及其他家族（如GPT-4o、Claude）、人类基准年代差（但基本情绪感知具跨时稳定性）。未来需真实交互片段、跨文化与复杂社会情绪、基模vs对齐模对照、注意力可视化与情绪粒度评估、思维链提示及双过程框架介入。
结论：GenAI在隔离声学语调情绪识别上可达近人类水平，但在动态身体姿态上显著逊于人类；跨两模态均呈现显著积极偏向（先进模型一致，Pro 1.5声学不显），构成非人类样社会认知剖面。将GenAI引入心理健康等敏感域前，须针对消极情绪盲视与对齐诱导的顺从性积极偏向进行持续验证与缓解。该文发表于《Scientific Reports》。
