一项综合性的研究，结合了心理声学指标、面部情绪识别以及可解释的深度学习方法，来探讨听觉引发的情绪

《Expert Systems with Applications》：A comprehensive investigation of auditory-induced emotions combining psychoacoustic metrics, facial emotion recognition, and explainable deep learning

本研究提出一种整合主观评分、心理声学模型和面部情绪识别的多模型框架，通过50名参与者对30种听觉刺激的反应实验，验证了心理声学指标（如粗糙度、尖锐度、波动强度）与情绪状态的主观感知和面部表情变化的强相关性，并利用LIME算法揭示了可解释的驱动因素，为智能情绪感知系统提供新方法。

　　

Abeeb Opeyemi Alabi|Byoung-Gyu Song|Namcheol Kang

韩国大邱庆北国立大学机械工程系

摘要

随着智能技术日益融入日常生活，可解释且可靠的情绪识别对于开发以人为中心的适应性系统至关重要。本研究提出了一个实验性的多模型框架，通过整合主观评分、心理声学建模与可解释的深度学习以及面部情绪识别（FER）来研究听觉引发的情绪。50名参与者接触了30种旨在引发愤怒、快乐或放松状态的声音刺激，同时记录了他们的主观情绪标签、强度评分和面部表情。一个基于心理声学指标（响度、尖锐度、波动强度和粗糙度）训练的深度神经网络（DNN）实现了96.7%的情绪分类准确率。LIME解释表明，粗糙度和尖锐度是负面情绪（愤怒）的主要驱动因素，而波动强度主要支持积极的情感状态（快乐和放松）。我们提出的FER模型结合了卷积网络和多头自注意力机制，在多个数据集上实现了超过90%的准确率，并成功检测到了从安静到声音的显著情绪转换，尤其是在愤怒和快乐状态之间。主观强度评分、FER预测和心理声学特征重要性之间的三重相关性分析揭示了心理声学指标如何驱动情绪的统一模式：粗糙度、尖锐度和响度强烈促进愤怒情绪，而波动强度则抑制了这种情绪；波动强度和尖锐度增强了快乐情绪，而粗糙度和响度则抑制了快乐情绪；对于放松情绪，波动强度具有积极影响，而粗糙度、尖锐度和响度则表现出负面影响。这些发现验证了心理声学特征作为听觉引发情绪的可靠预测器的有效性，并确立了可解释的AI和FER作为有效的、非侵入式的情绪识别工具，为智能、情绪感知系统的未来发展提供了支持。

引言

随着智能系统越来越多地融入日常生活，解读人类情绪的能力对于开发富有同情心和情境感知的技术至关重要。情绪状态影响注意力、决策和行为，忽视这种情绪变异性会降低这些智能系统的可靠性和有效性（Beggiato等人，2019年；Tanguy等人，2007年）。特别是自动驾驶技术的快速发展，需要开发能够检测、解读和响应驾驶员或乘客情绪状态的智能和情绪感知系统（Saadi等人，2024年）。例如，驾驶过程中的情绪波动（如愤怒）会显著影响表现、注意力和安全性（Bjureberg & Gross，2021年）。同样，强烈的积极情绪（如快乐或兴奋）会分散驾驶员的注意力，改变注意力水平、反应时间和决策能力（Chan & Singhal，2015年）。因此，迫切需要开发可靠且非侵入性的技术来监测情绪反应并理解外部刺激如何影响人类。

在车辆环境中遇到的许多外部刺激中，如振动、不愉快的气味、高温或低温，听觉刺激（如道路噪音、发动机振动、警报声甚至音乐）是引发情绪的强大来源，并且会影响舒适度（Huang等人，2023年）。随着车辆逐渐转变为多功能社交空间，不愉快的内部噪音会影响乘客的乘坐舒适度，并对他们的心理和生理产生负面影响（H. Huang等人，2020年）。因此，研究人员在估计声音不适度和改善声音质量方面做出了大量努力（Chen等人，2022年；Huang等人，2020年；Qian和Hou，2021年；Xu等人，2025年；Yang等人，2023年）。这些研究大多使用物理声音参数（如A加权声压级和声音强度）来评估声音质量。然而，物理噪声测量方法往往简化了人类感知声音的细微方式，可能无法反映实际的不适感（Nowakowski & Komorski，2024年）。使用心理声学参数（如响度、尖锐度、粗糙度和音调）来近似或预测人类听觉感知已成为物理噪声测量的有力替代方法，为理解声音的不同方面如何影响人类情绪提供了感知框架。心理声学通过从刺激（物理）和反应（感知）之间的测量关系中得出的数学方程来描述声音感知，从而能够定量估计不适感。

与心理声学的发展并行，已经开发了多种情绪识别技术来跟踪实时情绪反应。这些方法大致分为两类：基于生理信号的方法，如肌电图（EMG）、心电图（ECG）、脑电图（EEG）和皮肤电反应（GSR）（Gamage等人，2022年；Song和Kang，2024年；Wang等人，2020年）；以及外部可观察线索，如面部表情（FE）、手势和语音（Lagoo等人，2019年；Manohare等人，2023年；Xiao等人，2022年）。其中，面部情绪识别（FER）作为一种非侵入性和实用的方法脱颖而出，只需标准摄像头输入即可实现。与需要多个电极接触设置的生理传感器不同，FER提供了一种可扩展且用户友好的方法，可以实时检测情绪状态，非常适合集成到现代智能系统中。此外，FER提供了主观测量的宝贵替代方案，后者可能耗时、成本高昂且需要伦理批准。

许多研究利用心理声学指标或面部情绪识别（FER）来估计听觉引发的情绪（Choi等人，2015年；Han等人，2022年；Liu等人，2021年；Meng等人，2020年）。同时，还开发了多模态情绪识别系统，这些系统结合了音频、视觉或生理信号，使用特征级或决策级融合策略来提高分类性能（Middya等人，2022年；Mocanu等人，2023年；Pan等人，2023a；Pan等人，2023b；Tzirakis等人，2017年）。这些系统通常依赖于声学描述符（如MFCCs（梅尔频率倒谱系数）或基于频谱图的表示以及面部特征和生理信号特征来构建端到端的预测模型。尽管这些方法在情绪识别准确性方面取得了显著改进，但它们往往作为黑箱模型运行，对特定声学属性、视觉线索和生理信号如何在多模态系统中影响情绪感知的洞察有限。

据我们所知，目前还没有研究将心理声学指标、主观情绪反应和面部情绪识别结合在一个统一的可解释分析框架中。因此，本研究介绍了一个集成的、经过实验验证的多模型框架，将主观、心理声学和面部情绪识别统一在一个可解释的系统中。具体来说，我们将基于心理声学的深度神经网络分类与可解释的AI和注意力增强的FER相结合，建立了可测量的声音属性、感知情绪和可观察到的面部表情之间的透明联系，如图1所示。在单一可解释系统中统一主观评分、心理声学指标和FER预测，扩展了当前的技术水平，为跨主观和客观维度的情绪对齐提供了方法学上的新颖性和实验框架。

本研究首先设计了一个实验框架，参与者接触一系列听觉刺激。通过主观评分和视频记录的面部表情来测量情绪反应。计算听觉刺激的心理声学属性（响度、尖锐度、波动强度和粗糙度），并使用这些数据训练深度神经网络（DNN）心理声学模型进行情绪分类。为了提高可解释性，我们应用LIME（局部可解释模型不可知解释）来分析每个心理声学指标在DNN模型决策过程中的相对贡献。此外，我们开发了一个具有多头自注意力机制的卷积神经网络（CNN）面部情绪识别（FER）模型，用于分类和量化声音暴露期间表现出的情绪表达，从而实现了主观评分、心理声学特征重要性和FER预测之间的三重相关性。这个连贯的、可解释的多模型系统提供了一种可扩展的、非侵入性的方法来评估对听觉刺激的情绪反应，为提高舒适度和安全性的智能系统铺平了道路。

本文的其余部分组织如下：第2节详细介绍了实验设计和程序，包括参与者和使用的研究材料。第3节讨论了心理声学DNN模型的开发，包括模型架构、心理声学指标的提取以及我们模型中的局部可解释模型不可知解释（LIME）算法的实现方式。第4节包括面部情绪识别（FER）方法的详细信息，包括视频预处理流程、模型架构和训练配置。第5节展示了实验结果和更广泛的讨论，包括主观评分分析、心理声学建模、FER预测以及心理声学、FER和主观评分之间的三重相关性——强调了这项研究的贡献，如基于心理声学的情绪建模的意义以及FER作为实时情绪检测工具的有效性。第6节总结了本文的关键发现、潜在应用和未来研究方向。

实验设计和程序

实验共有50名来自庆北国立大学的韩国学生参与（27名男性，23名女性），男性平均年龄为24.4岁（标准差=3.03），女性平均年龄为21.7岁（标准差=1.91）。排除了有听力、神经系统或心理障碍的参与者，以确保情绪和听觉反应的可靠性。符合条件的参与者被要求获得充足的睡眠，在实验前一夜避免饮酒，并在实验前六小时内避免摄入咖啡因和吸烟。

心理声学情绪识别模型的开发

许多研究表明，主观测量方法在捕捉人类声音感知方面非常准确，但往往耗时且成本高昂，这促使人们探索像心理声学建模这样的客观方法（Deng等人，2024年；Nowakowski和Komorski，2024年）。心理声学建模通过将声学信号转换为响度、尖锐度、波动强度、音调等永久性声音指标来近似人类听觉感知。

面部情绪识别（FER）方法

面部表情是一种高度信息丰富、非侵入性和实用的情绪检测方法。在这项研究中，我们开发了一个面部情绪识别（FER）模型，作为主观评分和心理声学模型预测的补充措施。本节详细介绍了视频录制的预处理、模型架构和训练框架。

主观评分结果

50名参与者的听觉实验显示，他们对由30种声音刺激引发的愤怒、快乐和放松情绪有明显的主观感知。通过问卷收集的主观评分显示，愤怒情绪的平均识别准确率为100%（标准差=0），快乐情绪为86.6%（标准差=18.91），放松情绪为96.6%（标准差=8.94）。此外，单因素方差分析（ANOVA）显示这三个情绪状态的均值之间存在统计学上的显著差异。

结论

在这项研究中，我们通过整合主观情绪评分、可解释的心理声学模型和面部情绪识别（FER）对听觉引发的情绪进行了全面调查。成功设计并执行了一项涉及50名参与者、接触30种被分类为愤怒、快乐或放松的声音刺激的听觉实验。参与者提供了感知情绪的标签和强度评分，同时记录了他们的面部表情。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

致谢

本研究得到了韩国政府（MIST）资助的韩国国家研究基金会（NRF）（项目编号：2020R1A2C2013256）的支持。

伦理和隐私

所有参与者都提供了书面知情同意书，包括允许为了研究目的记录和分析面部视频的许可。仅使用自动面部检测分析了裁剪后的面部区域，排除了背景、服装或可识别特征。没有外部分享原始视频片段，所有用于模型训练的面部裁剪图像均