基于混合深度学习与机器学习框架的受控情绪模仿语音技术,用于区分高焦虑与低焦虑症状群体

《Advanced Engineering Informatics》:Controlled emotion-mimicry speech for classifying higher- and lower-anxiety symptom groups using a hybrid deep learning and machine learning framework

【字体: 大 中 小 】 时间:2026年07月08日 来源:Advanced Engineering Informatics 11.5

编辑推荐:

  赵忠|向成文|张晓斌|胡新瑶|曲行达摘要以往基于语音的焦虑筛查研究往往表现出较低的分类性能且结果不稳定,部分原因在于语音内容与情感表达的差异性。为解决这些问题,本研究提出了一种标准化的情绪模仿语音范式,以及一种混合深度学习与机器学习(DL+ML)的焦虑筛查框架。72名参与者在四种

  
赵忠|向成文|张晓斌|胡新瑶|曲行达

摘要

以往基于语音的焦虑筛查研究往往表现出较低的分类性能且结果不稳定,部分原因在于语音内容与情感表达的差异性。为解决这些问题,本研究提出了一种标准化的情绪模仿语音范式,以及一种混合深度学习与机器学习(DL+ML)的焦虑筛查框架。72名参与者在四种情绪状态下完成了语音任务:愉悦、悲伤、中性及愤怒。首先使用深度学习模型对语音片段进行分类,再将预测结果汇总以得出个体的筛查结论。研究表明,HuBERT在片段级分类性能上表现最佳,而决策树分类器的个体级筛查准确率最高,达到90.38%。通过序列向前选择法和沙普利加法解释法进行的可解释性分析进一步显示,愉悦和愤怒情绪的语音模仿对焦虑分类的贡献最大。这些发现表明,控制语音内容与情感表达能够提升对焦虑相关语音特征的识别能力。所提出的框架为基于语音的焦虑筛查提供了一种实用、可解释且可扩展的方法,同时也凸显了情感背景在识别焦虑症状中的重要性。

引言

焦虑障碍是全球最为常见且危害严重的心理健康问题之一[1],近年来其患病率呈持续上升趋势[2]。研究发现,焦虑障碍与多种不良健康后果相关,如心血管疾病风险增加以及早逝几率上升[3]。由于早期症状较为隐匿,许多焦虑患者未能得到及时诊断[4]。错过这一关键的干预时机会加剧症状、延长病程,并提高后续治疗的难度[5]。
及时且高效地识别焦虑状态对于焦虑障碍的及时干预和有效临床管理至关重要。然而在常规临床实践中,焦虑症状的评估和筛查仍主要依赖问卷调查和访谈等主观工具,这类方法易受个体自我认知的影响,可靠性较差[6]。为提高焦虑评估的客观性,近期有研究开始探索各种生理和行为信号,包括静息态脑电图、人际交流时的面部表情、生理显著性信号、呼吸信号以及语音[[7], [8], [9], [10], [11], [12], [13]]。此外,还有一些研究指出唾液、外周血和脑脊液也可能作为焦虑的潜在生物标志物[[14], [15]]。
与上述信号相比,语音声学特征在高效且经济实惠的筛查方面具有明显优势:它们无创、成本相对较低,且在日常环境中易于获取。大量研究已证明,焦虑患者与健康对照组在语音声学特征上存在显著差异[[16], [17], [18]]。例如,与健康人相比,焦虑患者的基频值通常更高,而梅尔频率倒谱系数第2值则更低[[18], [19]]。
基于这些具有区分度的声学特征,近期越来越多的研究开始运用人工智能技术来提升焦虑筛查的效果[20]。人工智能已被证明是用于健康相关分类任务的强大工具[[21], [22]],许多研究也利用语音特征来实现这一目标[[23], [24]]。Teferra和Rose[25]采用传统机器学习分类器,从1,240段自发音频样本中提取了语言查询量和词频特征,通过逻辑回归模型得到了0.58的曲线下面积。Brueckner等人[26]收集了4,748条针对“你怎么样?”这个问题的语音回复,提取了手工设计的特征集,进而使用极端梯度提升和随机森林模型,获得了66%的准确率。Park等人[27]则从虚拟现实场景中提取声学数据,对32名社交焦虑症患者进行了分类,准确率达到了79.5%。
由于深度学习方法能够有效捕捉音频信号中细微的非线性特征交互作用[28],也有部分研究将深度学习应用于基于语音的焦虑分类。例如,Teferra和Rose[25]在基于Transformer的模型中使用了从文本中提取的特征,得到了0.64的曲线下面积[25]。Brueckner等人[26]则使用Wav2Vec 2.0从原始语音中提取上下文化特征,再输入长短期记忆网络,最终获得了67%的准确率[26]。值得注意的是,Salekin等人[29]提出了一种基于双向长短期记忆的多实例学习模型以及一种新的特征建模方法,利用105名参与者的即兴语音数据,实现了90%的焦虑障碍分类准确率。
需要指出的是,以往的研究多针对不同程度的焦虑状况,有些关注焦虑症状较重的群体[25], [26],有些则针对临床确诊的焦虑障碍患者[27], [29]。鉴于早期识别对于预防和缓解焦虑相关问题具有重要意义[30],显然有必要开发更有效的手段来筛查焦虑症状加重的情况。然而现有相关研究的分类准确率普遍较低,大多低于70%[25], [26]。其中一个可能的原因是,这些研究通常使用自发或非结构化的语音数据,未能系统地控制参与者的情绪表达和语音内容。由于情绪和语音内容会对语音特征产生显著影响[31], [32], [33], [34],缺乏此类控制可能会引入不可控的变量,掩盖与焦虑相关的声学特征,进而降低机器学习/深度学习模型识别焦虑特异性特征的敏感度。
为克服这些局限,本研究采用了结构化的情绪模仿范式,要求参与者在保持语音内容一致的前提下模仿预设的情绪状态。本研究旨在探讨控制情绪表达和语音内容是否有助于提升机器学习/深度学习模型对高焦虑组与低焦虑组的分类能力,同时确定哪种情绪语音状态能产生最具区分度的特征。本研究的贡献在于构建了一个实用且经过实证验证的基于语音的焦虑筛查框架,该框架整合了可控的情绪语音激发、独立于个体的片段级建模、个体级结果汇总以及针对情绪特异性贡献的可解释性分析。虽然该框架并未引入新的神经网络架构,但它通过方法上的优化提升了分类精度,解决了以往小样本研究以及未控制情绪因素的研究所存在的诸多问题,为未来的研究及潜在的临床筛查应用提供了可重复的方法。

章节节选

参与者

共有72名大学生参与了本研究。入选标准如下:(1) 视力和听力正常;(2) 右利手;(3) 近期无感冒或发烧症状;(4) 非心理学专业学生。参与者是通过一份包含抑郁、焦虑和压力量表-21(DASS-21)的筛选问卷被招募的。根据Osman等人[35]提出的标准,那些DASS-21焦虑子量表得分在8分及以上的37名参与者被纳入研究。

结果

实验结果按照分析流程的顺序呈现:片段级分类、个体级筛查以及情绪特异性特征的分析。这样的安排有助于清晰展示每个分析步骤如何共同构成最终的焦虑筛查框架。

讨论

本研究探讨了标准化的情绪语音激发方式是否能够提升基于语音的焦虑筛查效果,以及所得模型决策是否能够从情绪特异性贡献的角度进行解释。实验分析得出了三个核心结论:(1) 自监督语音表示方法在片段级分类方面比传统的序列模型更有效;(2) 对多个情绪模仿结果进行个体级聚合后,能够获得更为稳定的

结论

本研究提出了一种标准化的情绪模仿范式,并结合了深度学习与机器学习的混合框架,用于无创地区分高焦虑组与低焦虑组。通过同时控制语音内容和情绪表达,该方法提高了模型对焦虑相关语音特征的敏感度,同时减少了语义和情感因素带来的不确定性。预训练语音模型产生的片段级预测结果被有效地聚合为个体级

CRediT作者贡献说明

赵忠:撰写——审稿与编辑,撰写——初稿,指导,概念设计。向成文:撰写——初稿,数据整理,概念设计。张晓斌:撰写——审稿与编辑,指导,概念设计。胡新瑶:撰写——审稿与编辑,数据整理。曲行达:撰写——审稿与编辑,撰写——初稿,指导。

利益冲突声明

作者声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。

致谢

作者感谢郑浩宇和张成在数据收集方面的帮助。本研究得到了国家自然科学基金(项目编号:82171539)以及深圳市科技创新委员会(项目编号:JCYJ20230808105213026)的资助。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号