摘要
背景：情绪识别是社会交流的一个基本方面，但大多数研究都集中在视觉情绪表达上，因此对于听觉和视听线索如何影响感知组织仍知之甚少。本研究使用表征相似性分析（RSA）来探讨不同模态下的情绪识别结构差异。方法：参与者完成了一项情绪识别任务，任务中包含了14种以听觉、视觉和视听格式呈现的情绪。对于每种模态，根据参与者为每种目标情绪选择的标签分布构建了一个混淆矩阵。为了将混淆结构与整体准确性区分开来，主要分析使用了仅包含错误的响应数据（即对角线以外的数据，不包括正确答案），这些数据被转换成表征不相似性矩阵（RDMs）。通过层次聚类和多维尺度分析（MDS）对同一RDM进行结构表征，聚类的数量通过轮廓法确定，而其可靠性和稳定性则通过重采样进行评估。结果：与视觉和视听形式相比，听觉形式的识别准确性较低，但两者之间没有显著差异。视听结构和视觉结构之间存在强烈相关性，并且都是按照情感值（valence）组织的；而听觉结构则与这两种形式都不同，没有显示出基于情感值的组织特征。视听结构最接近于一种跨模态的参考框架，其次是视觉结构，然后是听觉结构。在听觉模态中，唤醒程度相似但情感值相反的情绪更容易被混淆。这些发现表明，视听和视觉情绪感知在很大程度上都是基于情感值的组织方式，而听觉感知则遵循不同的组织原则，这强调了考察情绪识别的表征结构而不仅仅是准确性的重要性。
