《Journal of Intelligence》:Cognitive Processes of Probabilistic Prediction in Reading: Language Model Surprisal Across Model Sizes, Token Granularity, and Reading Paradigms
编辑推荐:
情绪识别对社会适应与心理健康至关重要。然而,现有测量仍依赖有限的刺激材料或简化的任务形式,限制了生态效度。本研究旨在构建中国文化语境下的本土化多模态情绪表达数据库,并开发一套整合情绪类别与强度识别的多模态情绪识别能力测验。在研究1中,通过演员表演、专家评定与受
情绪识别对社会适应与心理健康至关重要。然而,现有测量仍依赖有限的刺激材料或简化的任务形式,限制了生态效度。本研究旨在构建中国文化语境下的本土化多模态情绪表达数据库,并开发一套整合情绪类别与强度识别的多模态情绪识别能力测验。在研究1中,通过演员表演、专家评定与受试者验证建立多模态情绪表达数据库。最终数据库包含2160段视频,涵盖六种基本情绪、五级情绪强度及两种表达模式(发声与非发声)。在研究2中,在三种识别条件下(发声表达、静音发声表达、静音非发声表达)选取90段视频,采用整合情绪类别与强度的计分方法开发测验,236名有效受试者完成测验。结果表明,保留61段视频后,测验具备良好信度与项目区分度,并获准据关联效度与构念效度证据。综上,该测量是中国文化语境下评估多模态情绪识别能力的可靠有效工具,并首次提供实证证据表明整合类别与强度识别能更好捕捉该能力的多维本质。
研究背景方面,情绪识别能力(emotion recognition ability)被视为情绪智力核心成分,指从面部表情、身体姿态与发声语调等非言语线索推断他人情绪状态的能力,与社会适应及心理健康密切相关。既有测量多依赖西方数据库、单模态或仅评类别而忽视强度,且跨文化解码偏差损害生态效度与公平性。为弥补跨通道信息表征不足、文化不适配及强度维度缺失,研究人员开展两项子研究:研究1构建本土化动态多模态情绪表达数据库;研究2基于该库开发并验证整合类别与强度识别的测验。论文发表于《Journal of Intelligence》,意义在于提供文化适宜、生态效度更高的测评资源,并推进情绪识别作为多维构念的理论理解。
关键技术方法上,研究1采用三阶段刺激生成框架:先由访谈、文献与ChatGPT 4生成情境文本并经大学生预评筛选,再聘六名中国表演专业演员(三男三女,21至22岁)拍摄三种识别条件(发声表达 WQYS、静音发声表达 YSJY、静音非发声表达 WSJY)下六种基本情绪各五级强度视频,剪辑为10至20秒片段,经专家肯德尔协调系数(Kendall's W)评定与86名受试者(18至30岁)验证;研究2从库中选90段视频施测236名有效在线受试者(18至30岁,男女近似),采用类别二分与强度三级计分(±0.5内2分、±1.5内1分)并按项目反应理论(item response theory, IRT)难度加权合成总分,辅以STEU-B、IAS、BDI-II、AQ-Short、TAS-20作效标,用CFA检验构念结构。
研究结果部分,2. Study 1表明:专家评定Kendall's W在类别0.56至0.79、强度0.59至0.82(均p<0.001),与预设一致率94.81%;受试者类别识别率均值0.75(SD=0.25),强度评级随预设层级显著递增(F(4,529)=291.33, p<0.001,M1=1.94至M5=4.17),极高强度级评分离散度更低(M5=0.61),视频难度分布呈负偏或近正态,库材料有效传达类别与强度并具层级难度。2.3讨论指出演员表达稳定,强度越高判断越集中,支持强度识别纳入测评。3. Study 2中,初版90题总α=0.82,类别子维度α仅0.61、强度α=0.91;优化至61题后总α=0.86,条件内α 0.70至0.73,项目区分度由均值0.25升至0.33且无非正偏;总分正态分布(M=0.602, SD=0.094)。效标关联显示优化版总分与抑郁(r=-0.174)、自闭特质(r=-0.134)负相关,YSJY与WSJY条件还与述情障碍负相关,WQYS条件无显著效标相关。构念效度上,初版二阶情绪类别模型拟合优,优化版二阶情绪识别模型最优,支持情绪识别为超模态(supramodal)高阶因子。3.3讨论认为类别可靠性偏低源于动态多维表达映射离散标签固有局限,删题提升同质化但收窄与情绪理解关联,负向效标关联与既往抑郁及ASD证据一致。
讨论总结部分,研究人员指出局限:仅含六种基本情绪未纳中性与复杂情绪;标签依赖演员互评存生成过程同构偏差;每视频约30人验证样本偏小;类别与强度得分相关不显著(r=0.077)合总分或掩蔽维度独特贡献,权重缺强理论支撑。未来应扩库至中性/复杂情绪、用大样本聚合或独立专家重标定、增样本稳标签、引反应时/眼动/神经指标与双因子或多维IRT细化计分。启示在于中国文化语境下动态视频整合类别与强度、分三信息条件可提升生态效度,证明情绪识别非单一能力而为多维构念。
- 5.
Conclusions 翻译:本研究建立本土化多模态情绪表达数据库,并基于此开发视频型多模态情绪识别能力测验。研究1建立系统操控五级情绪强度与三种信息条件的表达库,相较多数西方表达者库与有限强度分级,提供文化适宜、动态可变刺激材料,使类别与强度层面同时受检。研究2基于研究1材料开发具良心理测量属性测验,二阶情绪类别结构模型为情绪识别能力超模态本质提供实证支持。综上,本研究在方法上为中国人群多模态情绪识别测评提供文化适宜工具,在理论上推进情绪识别非单一而为多维构念之认识,二者共同为未来研究提供实用资源与重构测量框架之概念基础。