Gaborformer:一种通过混合声学特征提取与融合进行抑郁症检测的方法
《Journal of Affective Disorders》:Gaborformer: A method for depression detection through hybrid acoustic feature extraction and fusion
【字体:
大
中
小
】
时间:2026年01月09日
来源:Journal of Affective Disorders 4.9
编辑推荐:
抑郁症检测中的混合声学特征提取与融合方法研究提出Gaborformer框架,通过改进的CINCA方法筛选MFCC、LSP等关键声学特征,结合可学习的Gabor滤波器与CNN构建GaborNet,并引入Conformer模型实现局部与全局特征的融合。实验表明该方法在DAIC-WOZ和MODMA数据集上F1分数分别达到0.80和0.98,显著优于现有技术,验证了混合特征提取在抑郁症语音检测中的有效性。
周龙辉|胡斌|关志宏
华南理工大学未来技术学院,广州,511442,中国
摘要
抑郁症是一种复杂且异质性的精神障碍,对及时有效的检测提出了重大挑战,这凸显了需要先进方法论的必要性。当前的技术往往未能充分利用深度学习的潜力,可能会忽略关键的语音特征。为了解决这个问题,我们提出了Gaborformer,这是一种通过混合声学特征提取和融合来进行抑郁症检测的新框架。我们的方法引入了分类迭代邻域成分分析(CINCA)进行特征选择,以降低维度并提取高度相关的抑郁语音特征。我们设计了GaborNet,将可学习的Gabor滤波器与CNN结合起来融合特征,并结合了Conformer模型从高维信号中捕获与抑郁症相关的特征。在DAIC-WOZ和MODMA数据集上的广泛验证表明了我们方法的有效性,其性能显著优于以往的研究。我们的分析强调了MFCC和LSP等特征在基于语音的抑郁症检测(SDD)中的重要性。代码可在
https://github.com/staygoldboy/gaborformer获取。
引言
抑郁症是一种常见的精神障碍,其特征是持续的低落情绪、对活动的兴趣减少以及各种躯体和认知障碍(Cui等人,2024年)。它对个人和社会健康构成了重大负担,表现为心理症状以及慢性化、自杀倾向和复发的风险增加,从而导致工作能力丧失和残疾(Peveler等人,2002年)。目前,诊断主要依赖于临床访谈和评估,这些过程耗时、主观性强,并且严重依赖于临床医生的专业知识。用于量化严重程度的标准工具包括患者健康问卷(PHQ)(Kroenke和Spitzer,2002年)和汉密尔顿抑郁量表(HAMD)(Hamilton,1960年)等。然而,这些测量方法容易受到访谈者经验、评估项目质量以及患者配合程度的影响(Cummins等人,2015a年)。因此,识别抑郁症仍然面临重大挑战,这在很大程度上是由于客观诊断方法的有限性和当前检测方法的内在主观性(Smith等人,2013年)。
语音是一种非侵入性的、易于获取的生物信号,它通过特征性的声学模式反映情绪状态(Devillers等人,2005年)。先前的研究表明,精神疾病伴随着语音的系统性变化。由于语音是人际交流的主要渠道,这些声音变化为检测精神疾病提供了重要的标志。抑郁症患者经常表现出临床语音特征,如音量降低、音调降低和犹豫增加。这些表现很难被患者隐藏,并且在不同语言中具有普遍性,无论使用哪种语言(Low等人,2020年)。因此,自动语音分析已成为一种有前景的抑郁症检测客观工具。
我们提出了一种基于混合声学特征提取和融合的方法来进行基于语音的抑郁症检测。为了解决特征选择问题,我们引入了一种改进的分类迭代邻域成分分析(CINCA)方法,该方法通过整合分类算法和循环机制来优化传统的邻域成分分析(NCA)。这种方法从多层次的混合特征集中提取关键特征,同时降低特征维度并保持高分类准确性。对于特征表示,我们设计了Gaborformer模型,该模型将Gabor滤波器与CNN结合,以增强信号在方向和尺度维度上的分解能力。此外,还结合了Conformer架构,依次整合CNN和Transformer,将局部特征与全局表示融合,从而更有效地捕获高维信号中的与抑郁症相关的特征。
本文的主要贡献如下:
- •
提出了一种改进的CINCA特征选择方法,通过整合分类算法和循环机制优化了传统的NCA,显著减少了特征集的大小,同时保持了高分类准确性。
- •
通过整合GaborNet模块开发了Gaborformer模型,该模块将可学习的Gabor滤波器与CNN结合。这种组合增强了信号在尺度和方向维度上的分解能力,从而生成DFM。此外,还结合了Conformer架构,通过多头自注意力和卷积模块将局部特征与全局表示融合,从而更有效地从高维语音信号中提取与抑郁症相关的特征。
- •
在DAIC-WOZ和MODMA数据集上的实验表明,所提出的方法显著优于现有技术。在MODMA数据集上获得的F1分数为0.98,在DAIC-WOZ数据集上的F1分数为0.80。分析确认了MFCC、LSP和Voice Probability等特征在抑郁症检测中的关键作用。此外,还观察到中文和英文数据集在特征依赖性(如F0)方面存在语言差异。
相关研究
基于语音的抑郁症检测研究可以根据所使用的特征类型大致分为两类:一类依赖于手工制作的声学特征的方法,另一类利用深度学习派生的特征。
方法论
我们提出了一个抑郁症检测框架,从原始语音信号中提取多层次的混合特征。如图1所示,Gaborformer框架首先将长期语音信号分割成固定持续时间的短时段,并从每个段中提取主要混合特征,形成综合特征向量。随后,使用改进的CINCA从综合特征向量中选择最具信息量的特征。
实验
在本节中,我们通过两个不同的数据集来评估所提出的Gaborformer框架的性能。实验旨在解决以下研究问题:
问题1:我们的Gaborformer与最先进方法的性能如何比较?
问题2:Gaborformer框架是否适用于SDD任务?
问题3:Gabor滤波器在提取与抑郁症相关的特征方面有多有效?
结论
本研究提出了一种基于混合声学特征提取和融合的抑郁症检测方法。首先,使用分类迭代邻域成分分析(CINCA)进行特征选择,以减少特征集的大小并提取与抑郁语音高度相关的特征。其次,设计了GaborNet架构,将可学习的Gabor滤波器与CNN结合,以增强信号的缩放和方向分解能力。最后,结合了Conformer模型
CRediT作者贡献声明
周龙辉:撰写——原始草稿、可视化、验证、软件、方法论。胡斌:撰写——审稿与编辑、监督、资金获取、概念化。关志宏:撰写——审稿与编辑、资源获取、资金获取。
写作过程中使用生成式AI和AI辅助技术的声明
在准备这项工作时,作者使用了OpenAI的ChatGPT 4来提高语言表达和可读性。使用该工具后,作者根据需要对内容进行了仔细的审阅和编辑,并对发表文章的内容负全责。
资助
这项工作部分得到了国家自然科学基金的支持,项目编号为62322311。
利益冲突声明
作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。
致谢
作者衷心感谢DAIC-WOZ和MODMA的收集者和参与者提供了本研究所需的语音数据。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号