CDESD：面向事件相关电位（ERP）研究的汉语双音节情绪语音数据库构建、标准化呈递、多维评定与声学标注

《Brain Science Advances》：CDESD: The Chinese Disyllabic Emotional Speech Database

　　

背景：现有情绪语音语料库不总能满足认知与情感神经科学中对简短、系统表征的普通话刺激的需求。本研究开发汉语双音节情绪语音数据库（Chinese Disyllabic Emotional Speech Database, CDESD）以填补这些方法学空白。方法：三名普通话女性母语者产生85个双音节刺激，三种情绪条件：中性、愤怒和高兴。录音标准化为1-s文件，具有一致的名义起始结构。十名参与者评估情绪识别准确率和表达强度。核心声学特征——包括浊音时长、基频（fundamental frequency, F₀）、声音强度和谐噪比（harmonic-to-noise ratio, HNR）——使用基于Python的分析工具提取。独立样本37名参与者提供效价（valence）、唤醒（arousal）和优势度（dominance）评分。结果：最终数据库包括765条录音，每类情绪255条。平均情绪识别准确率在89%至91%之间。情绪类别在效价、唤醒和优势度上差异显著。高兴刺激获得最高效价和优势度评分，而愤怒刺激获得最高唤醒评分。然而，高兴和中性刺激的优势度评分显示可忽略的评分者间信度，应谨慎解释。结论：CDESD为情绪语音加工研究提供了系统表征的刺激资源，尤其适用于需要简短普通话双音节材料的研究。其固定文件时长和标准化名义起始结构有助于事件相关电位（event-related potential, ERP）范式中一致的刺激呈现，同时附带的项目级声学标注使研究人员能够选择匹配子集或统计控制相关声学差异。

CDESD论文解读

一、研究背景与问题
情绪是人类交流的重要组成部分，可塑造社会互动并提高信息交换的精确性和有效性。听觉系统在视觉系统尚未成熟处理情绪线索前即可提供感知情绪信息的重要通道；情绪语音是表达情感的主要载体之一，在情感科学和认知神经科学中受到关注。语音数据库为情绪研究提供标准化、受控材料。现有资源包括Berlin Emotional Speech Database、汉语情绪语料库（CASIA）、Danish Emotional Speech Corpus，以及Liu et al.构建的本土化情绪声音库。然而，现有语音数据库不总能满足情绪语音实验需求，也不一定适合语义加工能力有限人群，如婴儿或认知障碍者，尤其不适合事件相关电位（event-related potential, ERP）研究；ERP范式需要简短、时间一致的刺激以便跨试次精确对齐，而许多句子材料超出时间限制。双音节词可在简短与表达力之间取得平衡，但系统、全面的汉语双音节情绪语音数据库尚缺乏。因此研究人员开发CDESD，纳入中性、愤怒和高兴三种条件，愤怒被选为核心负性情绪；数据库覆盖指定汉语辅音—元音组合，形成85个双音节单位，每项由三名女性母语者在三种情绪下录制，共765条录音。其方法学优势包括系统语音覆盖、刺激简单便于情绪和声学特征提取与操纵、1 s文件结构和标准起始支持ERP研究，并可用于情绪类别比较及早期发展研究。总体而言，该数据库整合系统语言采样、受控情绪表达和ERP兼容性，为情绪语音加工及其认知和神经机制研究提供资源。

二、研究开展、结论与意义
研究人员构建并验证CDESD：行为情绪识别和强度评定、效价—唤醒—优势度多维评分及声学分析。最终数据库含765条录音，每情绪255条；平均识别准确率89%–91%；三种情绪在效价、唤醒、优势度上差异显著，高兴获最高效价和优势度，愤怒获最高唤醒；高兴和中性优势度评分者间信度可忽略，应谨慎解释。该资源可用于情绪语音加工研究，尤其需简短普通话双音节材料的研究；其固定时长和标准起始利于ERP刺激呈现，项目级声学标注可帮助选择匹配子集或统计控制声学差异。其意义在于补充现有大规模情绪语音语料库，为神经科学、发展及临床心理学研究提供受控刺激资源，但临床应用尚需人群特异性验证。

三、关键技术与方法
三名23–30岁普通话女性母语者（非职业配音演员）在四川师范大学脑与心理科学研究所录音，使用E-Prime以22,050 Hz立体声录制；85个重叠双音节词×3种情绪，愤怒和高兴各重复录制，初始语料1,275条。音频经Adobe Audition裁剪为1 s并保留200 ms静默。10名参与者（5男，25.20±3.05岁）完成感知筛选；40名四川师范大学本科生参与情绪维度评分，排除±3 SD后保留37名（20男，22.65±2.78岁）。Python库Pydub、Parselmouth、Librosa提取声学特征；R中lme4等拟合线性混合效应模型，并用emmeans和Benjamini–Hochberg FDR校正。

四、主要研究结果

2.1 脚本创建（Script Creation）：构建85个音系合法普通话重叠双音节，每个由同一辅音—元音音节重复而成；刺激不指定正字法或词义，均用第一声调。三种情绪条件下音段组成、音节结构和声调类别保持恒定；词频、熟悉度和语义属性未独立评估或匹配。

2.2 录音会话（Recording Sessions）：三名23–30岁女性母语者参与，均非职业配音演员，经说明、训练和练习后录制。每个双音节词在三种情绪下录制，愤怒和高兴各录两次；每名说话者5个区组（1中性、2愤怒、2高兴），顺序平衡。初始语料1,275条（85×3×5）。

2.3 音频处理与分段（Audio Processing and Segmentation）：初始音频最长3 s，经Adobe Audition处理后裁剪为统一1 s；文件开头保留200 ms静音，使语音起始大致位于200 ms。

2.4 感知验证与音频筛选（Perceptual Validation and Audio Screening）：10名参与者（5男，25.20±3.05岁）将刺激分类为高兴、中性或愤怒，并用9点量表评强度。愤怒和高兴的两次重复中，保留识别准确率更高者；准确率相同时保留强度更高者。最终保留765条录音（85×3×3），每情绪255条。识别准确率为愤怒0.91±0.10、高兴0.89±0.11、中性0.91±0.09；表达强度为愤怒6.97±0.66、高兴6.70±0.45、中性2.32±0.45。

2.5 声学特征提取（Acoustic Feature Extraction）：用Python库Pydub、Parselmouth、Librosa提取时长、基频（fundamental frequency, F₀）、声音强度和谐噪比（harmonic-to-noise ratio, HNR）。

2.5.1 时长（Duration）：用Librosa识别浊音段，先用初始200 ms估计背景噪声，再以噪声幅度加固定偏移为能量阈值，超过阈值帧归为浊音并计算总浊音时长。

2.5.2 基频（F₀）：用Parselmouth（Praat的Python接口）按Dubbioso et al.所述流程提取，采用Praat自相关算法，不额外平滑，排除清音帧后计算均值。

2.5.3 声音强度（Sound intensity）：以dB SPL（声压级）测量，信号归一化后由dBFS转换，参考90 dB SPL。

2.5.4 HNR：用Praat“To Harmonicity (cc)”方法，帧长0.01 s，最低基频75 Hz，取帧级估计均值。声学描述显示愤怒、高兴和中性在时长、F₀、强度和HNR上存在系统差异；例如愤怒浊音时长411.48±45.96 ms、F₀ 370.26±68.49 Hz、强度80.95±1.08 dB、HNR 12.57±4.57 dB；高兴402.97±57.23 ms、445.21±26.51 Hz、75.30±2.12 dB、18.57±4.99 dB；中性471.13±101.21 ms、261.20±35.77 Hz、75.14±2.30 dB、19.56±5.67 dB。

2.6 情绪维度评定（Emotional-Dimension Ratings）：基于Osgood语义差异框架，用E-Prime收集效价、唤醒、优势度。

2.6.1 参与者与材料：40名四川师范大学本科生（20男，22.63±2.83岁）评价全部765条录音；排除超过±3 SD的异常反应后，保留37名（20男，22.65±2.78岁）。

2.6.2 程序：每次试次先呈现500 ms注视点，再随机呈现1 s音频；参与者在9点量表上评效价、唤醒、优势度（1低，9高）。每个刺激呈现三次，对应三个维度，维度顺序在被试内固定、跨被试平衡，并设约5 min休息。

2.6.3 统计分析：SPSS 20.0计算描述统计；R中拟合线性混合效应模型，情绪类别为固定效应，参与者随机截距和随机斜率、刺激项目和说话者为随机截距；Satterthwaite近似检验总效应，emmeans进行成对比较，Benjamini–Hochberg FDR校正。

2.6.4 结果：情绪类别对效价、唤醒、优势度均有显著影响。效价F(2,38.30)=203.69，p<0.001，高兴最高，其次中性、愤怒；唤醒F(2,38.61)=151.28，p<0.001，愤怒最高，其次高兴、中性；优势度F(2,36.22)=22.65，p<0.001，高兴最高，其次中性、愤怒；所有成对比较经FDR校正后显著。

2.7 情绪多样性（Emotional diversity）：以0.2量表单位为组距绘制三维度直方图，显示三类情绪分布明显分离，但某些维度覆盖不够均匀。

2.7.1 效价：愤怒集中于1–4，中性4–6，高兴5–8。

2.7.2 唤醒：中性主要在1–4，高兴4–6，愤怒5–8。

2.7.3 优势度：愤怒集中于2–5，中性4–6，高兴5–8。

2.8 情绪维度评定的内部一致性（Internal Consistency of Emotional-Dimension Rating）：按Zheng et al.方法，以37名参与者为个案、各情绪类别内刺激为项目计算Cronbach’s α。各情绪类别和维度α均高：效价愤怒0.991、高兴0.986、中性0.991、总体0.989；唤醒0.994、0.995、0.994、0.994；优势度0.997、0.994、0.995、0.995。该分析反映刺激间评分模式一致性，而非评分者之间一致。

2.9 情绪维度评定的评分者间信度（Inter-Rater Reliability）：以刺激为个案、37名参与者为评分者，计算Cronbach’s α和平均测量组内相关系数（intraclass correlation coefficient, ICC），采用双向随机效应模型绝对一致性并报告95% CI。愤怒效价ICC 0.874（95% CI 0.845–0.898）、唤醒0.788（0.739–0.830）、优势度0.535（0.437–0.619）；高兴效价0.572（0.496–0.641）、唤醒0.457（0.365–0.542）、优势度?0.014（?0.118–0.096）；中性效价0.619（0.547–0.683）、唤醒0.793（0.743–0.834）、优势度?0.009（?0.095–0.086）。效价和唤醒聚合评分一般较可靠，而高兴和中性优势度可忽略或负，应谨慎解释。

3 数据记录（Data Records）：数据库公开，含765个WAV（Waveform Audio Format）音频文件，每个1 s，总时长12.75 min。ZIP压缩包含767项：765个WAV、一个“Ratings and features.xlsx”元数据/评分/声学特征文件、一个“A script” PDF列出85个双音节词。音频按语音转写、说话者首字母和情绪类别命名，如baba-cxy-angry；Excel含15列元数据，包括文件名、超链接、识别准确率、表达强度、效价、唤醒、优势度、浊音时长、F₀、声音强度、HNR等。

五、讨论部分总结
讨论指出，CDESD是系统构建并经行为验证的资源，服务于认知神经科学、情感计算和临床心理学。行为验证显示三类情绪识别准确率≥89%，表达强度差异清晰；维度评分与情绪维度理论大致一致。声学标注有两个方法学作用：帮助控制或建模音高、强度等低层声学参数，增强情感计算和语音情绪识别研究的可重复性。使用时需注意情绪类别间声学系统差异可能独立影响行为或神经反应；项目级标注可用于构建声学匹配子集或将声学特征作为协变量。对更严格声学控制，研究人员建议优先匹配浊音时长和F₀，必要时检查强度和HNR；若匹配减少刺激过多，可将声学参数纳入回归或ERP分析协变量。短时长和标准化时间结构利于ERP中N100、P200和失匹配负波（mismatch negativity, MMN）等成分研究，但标准化文件时长不等于语音信号完全时间一致，残留差异需考虑。低词汇句法需求使其可能适合语言或认知加工有限人群；已有新生儿ERP研究显示高兴和中性双音节刺激可引出失匹配反应（mismatch response, MMR），从37周胎龄起可见情绪相关MMR，而非人声对照无相同模式，但尚需在其他ERP成分、人群和范式中验证。临床人群如孤独症谱系障碍和精神分裂症存在情绪韵律加工困难，但CDESD尚未在临床样本直接验证。与Berlin和CASIA相比，CDESD更受控、优先实验一致性，不替代现有语料库，而补充ERP、婴儿和受控跨条件研究。局限包括仅三类情绪、三名年轻成年女性普通话说话者、所有音节第一声调；实验室产生的情绪表达可能不代表自发情绪；评分者均为大学生，样本同质；感知验证仅10人；临床应用待验证。

六、研究结论翻译
总之，CDESD是一个系统开发并广泛表征的情绪语音研究资源。通过整合受控语言设计、感知与维度验证以及声学标注，CDESD为情绪语音研究，尤其在神经科学和发展情境中，提供了更大的实验控制，从而补充现有大规模情绪语音语料库。其应用于临床人群需要进一步的特定人群验证。数据库的公开可获得性预期将促进可重复研究，并支持对人类情绪感知的认知、神经和计算机制的探究。