使用重采样方法评估eGeMAPS特征在检测抑郁症方面的性能
Joshua Turnipseed和
Benedito J. B. Fonseca
《Signals》:Evaluating the Performance of eGeMAPS Features in Detecting Depression Using Resampling Methods
Joshua Turnipseed and
Benedito J. B. Fonseca
【字体:
大
中
小
】
时间:2026年05月07日
来源:Signals 2.6
编辑推荐:
摘要:本文研究了如何利用统计重采样方法,通过eGeMAPS特征从患者的语音音频样本中有效检测出抑郁症。我们使用排列检验来高信心地评估eGeMAPS特征与说话者的抑郁状态是否存在依赖性。我们还使用自助法置信区间来高信心地测试eGeMAPS特征在区分男性说话者和女性说话者的抑郁症方面
摘要:本文研究了如何利用统计重采样方法,通过eGeMAPS特征从患者的语音音频样本中有效检测出抑郁症。我们使用排列检验来高信心地评估eGeMAPS特征与说话者的抑郁状态是否存在依赖性。我们还使用自助法置信区间来高信心地测试eGeMAPS特征在区分男性说话者和女性说话者的抑郁症方面是否更具能力。最后,我们比较了不同eGeMAPS特征子集的检测能力。我们使用了包含抑郁与非抑郁说话者的开源数据集(E-DAIC)、开源音频特征提取器(eGeMAPS)以及开源机器学习分类器(WEKA),以确保结果的可重复性,并为未来的研究建立基准。
1. 引言
重度抑郁症是美国最常见的精神疾病之一[1],这凸显了寻找有效方法和途径来理解及治疗这一致残性状况的紧迫性。然而,临床医生可能需要多次与患者会面才能确诊,以便熟悉患者的行为特征。如果有一种工具可以帮助检测抑郁症,临床医生可以参考该工具来辅助决策。
一种辅助检测抑郁症的方法是利用机器学习分析患者的语音。通常的方法是观察患者声音的声学参数,并在某些特征处于表明抑郁的范围内时通知临床医生。如文献综述部分所述,先前的研究者已经考虑使用音频特征和机器学习来检测抑郁症患者;然而,结果并不一致,常常报告出相互矛盾的分类性能。此外,分析通常基于的训练数据集规模不够大,这引发了分类模型是否过度拟合训练集的问题。而且,结果往往基于专有数据集或使用具有大量超参数的分类工具,使得结果难以复制。
本文的目标是进一步评估音频特征在检测抑郁症方面的性能,同时使用开源数据集和工具以确保结果的的可重复性。我们使用以下资源来评估几种机器学习方法的抑郁症检测性能:(1)包含抑郁与非抑郁说话者的开源数据库(E-DAIC);(2)开源的OpenSMILE工具;(3)在OpenSMILE分发中可用的明确定义的音频特征集(eGeMAPS);以及(4)开源的WEKA机器学习工具。为了便于结果的可重复性,并鉴于训练数据的有限性,我们专注于传统的机器学习方法而非深度学习方法。关于E-DAIC、OpenSMILE、eGeMAPS和WEKA的详细信息分别在第2.1节、第2.2节、第2.3节中描述。
我们首先探讨一个以前未得到妥善解答的基本问题:我们能否高信心地断言音频特征与抑郁状态之间存在依赖性?我们通过使用重采样方法来回答这个问题。更具体地说,我们使用排列检验来检验这一假设。
2. 方法
我们使用排列检验来测试说话者的eGeMAPS音频特征与其抑郁状态是否独立。拒绝该假设提供了高信心证据,表明eGeMAPS特征可能与抑郁症相关。虽然过去曾使用排列检验来评估机器学习算法的性能[2],但这是首次应用排列检验来评估音频特征在检测抑郁症方面的有效性。我们进一步使用自助法来提供决策错误概率的置信区间,以比较eGeMAPS特征在区分男性和女性说话者抑郁症方面的能力,并比较不同eGeMAPS特征子集的区分能力。
本文的主要贡献如下:
- 我们展示了至少在E-DAIC的数据集中,可以在许多情况下以95%的置信度拒绝假设,这意味着eGeMAPS音频特征与说话者的抑郁状态通常是相关的。
- 我们的结果通过提供95%的自助法置信区间进一步支持了文献中的先前发现,这些区间用于评估使用eGeMAPS特征时决策错误的概率。
- 我们展示了eGeMAPS特征在区分男性说话者的抑郁症方面比女性说话者更具能力。
- 我们展示了eGeMAPS的时间特征在检测女性抑郁症时具有更高的区分能力,而eGeMAPS的能量特征在检测男性抑郁症时具有更高的区分能力。
3. 文献综述
从语音中检测抑郁症是一个成熟的概念,因为患有重度抑郁症的个体会表现出沉闷、单调、声音洪亮且缺乏生气的语音特征[3]。这些特征表现为音调降低、音调范围缩小、说话速度减慢以及发音错误增加[4]。已经有多种声学特征被用来检测这些语音变化,包括基频(F0)、共振峰、抖动、闪烁和说话速度[3,5,6]。尽管一些研究结合了音频、视频和文本特征的多模态方法来检测抑郁症,但本文仅专注于基于音频的分析。
多项研究使用传统的机器学习方法来检测抑郁症。其中一项研究通过分析三种语言(德语、匈牙利语和意大利语)的元音特征来探索单语和多语抑郁症检测。支持向量机(SVM)分类器被用于二元和多类分类任务,结果显示在考虑性别差异后分类性能提高了26%[7]。另一项研究使用高斯混合模型来模拟抑郁和中性语音,发现第一个共振峰(F1)是最有效的单一特征,尽管先前的研究认为第二个共振峰(F2)可能更好地捕捉与抑郁症相关的情绪和认知影响[8]。此外,关于语音特征的研究还考察了声学事件转换,如声带振动、鼻音性和摩擦音。这些特征经过转换为n-gram表示后与SVM分类器结合使用,在E-DAIC数据集上获得了0.86的F1分数[9]。
尽管深度学习方法通常需要比传统学习方法更大的数据集[10],但一些研究采用了卷积神经网络和长短期记忆网络来分类抑郁症。在[11,12]中,作者报告了中等程度的检测性能,F1分数在0.52到0.63之间。另一项研究[13]使用了一个拥有超过450万个参数的深度卷积神经网络模型,报告了平衡的准确性分数在0.54到0.60之间。在[14]中,作者使用了一个包含4748名参与者超过84小时语音数据的专有数据集,比较了多种机器学习技术,包括深度学习模型,并报告了未加权平均召回率(UAR)值在0.56到0.63之间。这些研究强调了仅使用基于音频的特征来准确检测抑郁症的难度。另一方面,在[15]中,作者使用了一个包含118名意大利母语者的语料库,并报告了0.83的F1分数。
这些研究的结果既显示出希望,也显示出不一致性。虽然一些研究报告了高分类准确性[7,9,15,16],但其他研究则指出了基于音频的抑郁症检测的局限性[11,13,14]。此外,性别被确定为影响分类性能的关键因素[5,7,8,11,16]。诸如韵律和喉部特征、F0、共振峰、梅尔频率倒谱系数(MFCCs)、闪烁和抖动之类的声学特征已被一致证明对检测抑郁症有效[3,5,6,17,18,19]。几项研究还提到了许多研究中使用的样本量较小,这可能影响结果的普遍性[16,17]。
E-DAIC数据集被广泛用于抑郁症检测研究[4,9,11,12,13];然而,报告的分类性能并不一致。虽然一些研究报告了较高的分类性能[9],但也有一些研究报告了在该数据集上的分类性能显著较低[11,12,13]。
OpenSMILE是一个广泛用于提取语音特征的工具,其包含的eGeMAPS特征集经常被应用于抑郁症检测。eGeMAPS包括低级描述符,如闪烁、抖动和共振峰,这些特征已被确定为抑郁语音模式的相关指标。然而,研究显示效果并不一致,一些研究显示出强大的分类性能[16],而其他研究则指出了传统和深度机器学习模型在预测能力方面的局限性[13,14]。
尽管回顾的研究中没有明确提到WEKA,但它们的许多方法都可以使用该框架来实现,因为WEKA提供了上述相同的机器学习算法。WEKA提供了全面的分类、回归和特征选择方法集,使其成为抑郁症检测研究中可重复性的有价值工具。
4. 材料与方法
我们使用E-DAIC数据集(包含抑郁与非抑郁说话者的语音数据)、OpenSMILE工具和WEKA机器学习工具来评估几种机器学习方法的抑郁症检测性能。在本节中,我们将提供更多关于数据集和工具及其使用方式的细节。
4.1 E-DAIC数据集
扩展痛苦分析访谈语料库(E-DAIC)是由南加州大学创建的,包含275名说话者。这些说话者被分为训练集、开发集和测试集。训练集包含163名说话者,开发集包含56名说话者,测试集包含剩余的56名说话者。E-DAIC已被许多评估工作用作基准[4]。
在创建数据集时,每位说话者都被分配了一个标识符,并由虚拟助手进行访谈。访谈问题旨在诊断说话者是否患有抑郁症等心理状况。为此,E-DAIC的设计者使用了八项患者健康问卷(PHQ-8)[20],这是一种常用的工具,用于指示受试者的抑郁程度。根据回答的情况,每位说话者的得分范围在0到24之间。根据这个得分,E-DAIC将说话者标记为抑郁或非抑郁:得分10或以下的说话者被认为是非抑郁的;否则,说话者被认为是抑郁的。有关E-DAIC的更多细节可以在[21,22]中找到。
我们强调我们的研究使用了整个275名说话者的数据集来构建不同的训练和测试子集。这样做是为了更好地创建平衡的集合,并避免在分类器训练中的偏见[12];即,在不同的分类试验中控制抑郁和非抑郁说话者的数量以及男性和女性说话者的数量。另一个动机是每次使用不同的E-DAIC ID来创建多个平衡的集合。为了生成这些功能特征,首先使用3帧移动平均滤波器对LLD的特征进行平滑处理。我们强调,只有有声区域被用来平滑与音高、抖动和颤音相关的功能特征。在有声区域内还计算了其他功能特征,如分位数和坡度统计量,用于衡量响度和音高。唯一的例外是响度功能特征,它是对所有区域都进行计算的。某些功能特征,如算术平均值和变异系数,是从有声和无声 segment 中提取的。算术平均值和变异系数也是从与共振峰带宽相关的特征中提取的;然而,这些功能特征只考虑有声区域的特征。eGeMAPS 中还包括的其他特征和功能特征有:有声区域内的频谱通量和MFCC 1-4系数的算术平均值及变异系数;以及无声区域内的频谱通量算术平均值。所有eGeMAPS特征的详细描述可以在参考文献[25]中找到。每个音段都使用eGeMAPSv02配置文件通过OpenSMILE进行处理,处理后会生成一个ARFF输出文件,供WEKA进行后续处理。需要指出的是,当某个音段中没有发现有声部分时,OpenSMILE可能会为某些属性输出0.0的值。为了避免这些值影响分析,我们从分析中移除了那些生成了包含10个或更多连续0.0值特征的ARFF输出文件的音频片段。
2.3 WEKA
Waikato环境知识分析(WEKA)是由新西兰怀卡托大学的研究人员开发的一款免费软件工具。WEKA提供了大量的机器学习算法,用于数据挖掘和分类任务[26]。研究人员和从业者使用它来预处理和可视化数据,并评估机器学习工具的有效性。本研究中使用的WEKA版本是3.8.6。我们在这项研究中关注的分类器包括:支持向量机(SVM)、决策树和朴素贝叶斯。
对于SVM分类器,WEKA实现了[27]中描述的序列最小优化(SMO)算法。在我们的结果中,我们考虑了不同的复杂度常数(C)值。WEKA的其余SMO参数都设置为默认值,包括标准归一化和指数为1.0的多项式核(WEKA命令:`weka.classifiers.functions.SMO -C 0.1 -L 0.001 -P 1.0E-12 -N 1 -V -1 -W 1 -K "weka.classifiers.functions.supportVector.PolyKernel -E 1.0 -C 250007" -calibrator "weka.classifiers.functions.Logistic -R 1.0E-8 -M -1 -num-decimal-places 4"`)。我们强调没有使用内部交叉验证。这一点很重要,因为一个说话者可能有多个音频片段在训练集中产生多个(特征/标签)条目,任何内部交叉验证都会对分类器产生偏差。
对于朴素贝叶斯分类器,我们使用了[28]中提出的“灵活朴素贝叶斯”分类器,它被实现在了WEKA中。这种变体使用核函数来估计每个特征的分布(WEKA命令:`weka.classifiers.bayes.NaiveBayes -K()`)。
对于决策树分类器,我们使用了WEKA的J.48分类器,它是[29]中提出的C4.5决策树算法的实现。在我们的结果中,我们考虑了不同的剪枝置信度阈值(C)和每个叶子的最小实例数(M)。WEKA的其余J.48参数都设置为默认值(WEKA命令:`weka.classifiers.trees.J48 -C 0.25 -M 15`)。
2.4 重采样方法
在本文中,我们使用两种重采样方法来评估eGeMAPS在分类抑郁症方面的有效性:排列测试和自助法。
2.4.1 排列测试
设B为独立同分布(i.i.d.)随机变量的实现;假设观测到某个特定的实现,这可能表明该实现与其它实现具有不同的分布。排列测试可以用来正式检验假设,即这组随机变量是否形成一组独立的同分布随机变量。为此,从这组随机变量中选取B个值,并计算一个统计量;然后从这B个值的多个随机排列中计算相同的统计量。如果当假设为真时统计量的值较小,则提供了拒绝该假设的证据。
2.4.2 用于评估机器学习分类器的排列测试
在本文中,我们使用排列测试来评估eGeMAPS特征检测抑郁症的能力,方法基于Ojala和Garriga在[2]中描述的技术。Ojala和Garriga提出通过排列数据中的标签来评估机器学习分类器是否能够发现数据中的结构。具体来说,设为一组训练数据,其中每个特征向量的标签为,他们使用留一法交叉验证误差来评估分类器f。然后他们提出使用排列测试来检验特征是否与标签独立:设为通过随机排列标签获得的训练集。通过重复排列过程多次来增加排列测试的功效。
2.4.3 自助法置信区间
自助法允许我们估计某个参数的95%置信区间。具体方法如下[30](第8页):设为实验中获得的B个实现组成的数组。通过从这些实现中有放回地重新采样得到一个B维数组。对于每个b,其值是从B个值中以等概率选择的。重复这个过程n次后,通过首先对值进行排序,然后使用2.5%和97.5%的分位数来构建置信区间。虽然这个置信区间不是精确的,但这种方法在许多情况下能够提供准确的估计[30](第19页)。
2.4.4 使用自助法进行假设检验
自助法也可以用来检验两个总体的期望值是否相等[31](第104页):设如上所述的实现;设为B个独立同分布随机变量的实现;构建它们的平均值。为了检验假设,我们使用这些值构建参数的95%自助法置信区间。如果置信区间不包含0,则以95%的置信度拒绝该假设。
2.5 测试特征与抑郁症标签的独立性
在本节中,我们使用排列测试来检验第1节中指定的假设,即验证eGeMAPS特征是否与说话者的抑郁症状态独立。我们将分别对男性和女性说话者进行测试。
2.5.1 第1步:预处理
我们从E-DAIC数据库中提取了所选性别所有说话者的音频片段,具体方法如“从说话者那里准备音频文件”部分所述。
对于给定的话语长度持续时间,设为某个说话者s的持续时间等于的片段数量。
对于给定的最小片段数量,我们排除了那些片段数量不足的说话者。如第3.1节所述,我们尝试了不同的片段数量。
我们使用OpenSMILE提取了每个剩余说话者每个片段的eGeMAPS音频特征,具体方法如第2.2节所述。在本文的大部分结果中,提取了所有88个eGeMAPS特征;然而,在第3.3节中,我们考虑了不同的特征子集。
2.5.2 第2步:构建随机平衡训练集
使用eGeMAPS特征,我们构建了B个平衡训练集。所谓平衡集,是指包含相同数量抑郁和非抑郁说话者片段的集合。具体来说,设和分别代表所选性别的抑郁和非抑郁说话者集合;设表示集合S中的元素数量。注意,和包含了E-DAIC中的所有说话者;即E-DAIC的训练集、开发集和测试集中的所有该性别的说话者都被包括在内。
由于E-DAIC数据集中包含所有说话者,我们按照以下方式构建每个平衡训练集:
- 包括所有说话者。
- 从非抑郁说话者集合中随机选择说话者并将其包含在中。每个非抑郁说话者被选择的概率相同,但每个非抑郁说话者最多只被选择一次。
- 设和分别为和中包含的说话者子集。对于中的每个说话者,从这些片段中随机选择片段,并将其对应的特征向量和真实标签包含在中。每个说话者的每个片段被选择的概率相同,但每个片段最多只被选择一次。
为了便于解释我们的程序,我们为和中的每个片段及其对应的特征向量和真实标签分别编号。为了避免为抑郁和非抑郁类别创造新的符号,我们使用和来表示这些特征向量和真实标签。我们还定义了(3)和(4)来表示每个类别中所有特征向量及其真实标签的集合;平衡集由(5)给出。在这个过程中,集合将包含所有特征向量及其对应的真实标签。
2.5.3 第3步:使用分类器进行训练和测试
设为一个分类器(SVM、决策树、朴素贝叶斯),它使用一组选定的超参数来根据输入样本的88个eGeMAPS特征判断其抑郁状态。对于每个训练集,我们使用WEKA来训练f并使用训练集之外的样本来评估其误差性能。
与[2]类似,我们使用交叉验证误差来评估f的性能;但是,我们没有使用留一法交叉验证,而是使用了k折交叉验证:在每折中,我们从移除了对应于一对抑郁/非抑郁说话者的特征向量,并使用这些特征向量来测试用其余特征向量学习到的分类器f。具体来说,设表示从特征向量和标签中学习到的分类器,排除了来自抑郁说话者和非抑郁说话者的所有特征向量和标签,我们定义(6),并使用(7)来评估分类器f在训练集上的误差性能。我们使用多个片段的特征向量的原因是为了更好地训练分类器。从交叉验证折叠中移除某个说话者的所有特征向量的原因是为了避免分类器受到该说话者特征向量的偏置。在每个折叠中同时包含抑郁和非抑郁说话者的原因是为了确保训练和评估是在平衡的集合上进行的,从而避免分类器对任一类产生偏置。这些步骤是必要的,因为E-DAIC特征集中抑郁说话者的数量相对较少。
2.5.4 第4步:标签排列
在这一步中,我们随机排列每个中的标签。此步骤的理由如下:如果假设成立,即如果eGeMAPS特征确实与说话者的抑郁状态无关,那么对标签进行排列不会改变特征的分布,因此也不会改变相应的结果分布。为了准确定义这个步骤,设表示训练集中表示说话者索引、其语段编号以及每个语段类别的三元组集合。设为中的元素的一个随机排列,即是从到自身的任何双射函数;并设表示的坐标。例如,如果,那么,和。使用这个随机排列,我们对所有说话者、语段和类别的标签进行重新排序。更准确地说,意味着属于抑郁类别的说话者的语段的标签被替换为属于另一类别的说话者的某个语段的标签,这个类别可能与不同。这意味着这种排列可能会导致或发生变化。定义(9)和(10),它们表示上述方法重新排序标签后的所有特征向量集合;并定义重新排序后的训练集为(11)。使用重新排序后的训练集,我们使用(7)和(6)中的和来计算分类算法f的错误性能。需要指出的是,在(7)和(6)中,、和将被替换为、和。
标签的随机排列和计算过程进行B次,每次针对一个说话者。2.5.5步骤5:如果假设成立,即如果eGeMAPS特征确实与说话者的抑郁状态无关,那么对于每个说话者来说,和将是独立同分布(i.i.d.)的向量,标签的排列不会影响它们的分布,估计值和也会是独立同分布的。这允许我们使用配对排列测试来检验这一假设:从步骤3和4中,我们获得了B对错误概率估计值。使用这些对,我们通过随机选择或来生成B维向量。更准确地说,对于每个n,中的每个条目是根据30个独立同分布的Bernoulli(0.5)随机变量的实现来定义的:如果,分配给;否则,分配给。设(12),即包含在排列中随机选择的错误概率的平均值。注意,如果假设成立,那么的期望值将与在(8)中未进行任何标签排列时计算出的期望值相同。最后,我们使用(13)来获得p值的估计值,较低的p值提供了拒绝该假设的证据。例如,如果p值小于某个阈值,那么我们有理由拒绝该假设,并且有很高的信心认为eGeMAPS特征与所选性别说话者的抑郁状态无关。
3. 结果与讨论
3.1. 测试特征与抑郁标签的独立性
我们执行了第2.5节中的步骤1至5,以测试E-DAIC集中女性和男性说话者在不同话语长度()下的情况。对于步骤1,我们考虑了说话者至少需要30个时长为的语段才能被纳入测试的条件。这导致在不同话语长度下说话者数量有所不同。对于某些话语长度,结果有所不同。对于步骤2,我们考虑了总共个随机平衡的集。对于步骤3,我们考虑了三种分类算法:SVM、朴素贝叶斯和决策树(J.48)。为了选择每种分类器的超参数集,我们使用了300个随机平衡集中的100个来计算不同的超参数组合。对于J.48算法,我们考虑了和作为剪枝系数和每叶最小实例数的参数。对于女性说话者,提供最小值的超参数组合是;对于男性说话者,是。应该提到的是,在所有考虑的超参数中,的最大变化小于0.05。对于SVM,我们观察到了更大的变化。我们考虑了作为复杂度常数。对于男性和女性说话者来说,较高的值提供了更小的,其中提供了最小的值。由于值会导致运行时间过长,而值导致的结果比标准差小得多,因此我们在排列测试中使用了这个值(注意WEKA的朴素贝叶斯实现不提供超参数选择功能)。
表1显示了每种分类算法在最终超参数组合下平均错误概率()及其标准差。我们注意到,SVM分类器的结果与文献中的先前研究结果一致[14]。我们还注意到,如果我们仅依赖于随机训练集中的数据,我们将无法拒绝该假设,因为通过将标准差乘以1.96得到的典型95%置信区间会包含随机猜测分类器的错误概率。即使在男性说话者的情况下,如图1所示,平均错误概率的95%置信区间也会包含该概率,这表明所提出的排列测试并不简单。
表1显示了每种分类算法在不同话语长度下随机平衡集合中平均错误概率()及其标准差。图1显示了在300个随机训练集中对不同分类器得到的和的直方图(a)SVM(女性),(b)朴素贝叶斯(女性),(c)决策树(女性),(d)SVM(男性),(e)朴素贝叶斯(男性),(f)决策树(男性)。为了正确测试该假设,我们执行了第2.5节的步骤4和5,排列测试的结果显示在表2中。对于步骤5,我们考虑了,并为了获得p值估计的置信区间,我们将300个平衡集分为10组,每组30个不同的随机平衡集。表2显示了E-DAIC集中女性和男性说话者在不同话语长度和不同分类算法下的(平均和标准差)。由于表2显示至少有一种分类器的平均p值低于0.05,我们可以拒绝该假设,并得出结论:eGeMAPS特征与E-DAIC说话者的抑郁状态相关。我们注意到,朴素贝叶斯分类器获得的较高p值并不与此结论相矛盾:这些高p值仅表明该特定分类器无法揭示eGeMAPS特征与E-DAIC说话者抑郁状态之间的依赖性。图1中的直方图支持这一结论,它们展示了在每种分类器下构建的所有训练集(总共300个)中错误概率的分布。正如预期的那样,当随机混合抑郁和非抑郁标签时,集中在0.50附近。当考虑实际标签时,SVM和决策树分类器都能够改变的分布并使其平均值降至0.50以下。
为了进一步支持这一结论,我们使用第2.4.3节描述的自助法重采样方法计算了95%置信区间。通过将这些区间与表2中的估计值进行比较,我们可以看到,远离0.50的区间表明检测性能更好。表3显示了E-DAIC集中女性和男性说话者在不同话语长度下预期错误概率的95%自助法置信区间。3.2. eGeMAPS特征与说话者性别的依赖性
表1、表2和表3的结果表明,eGeMAPS在检测E-DAIC集中男性说话者的抑郁状态时比检测女性说话者的抑郁状态更有效。在本节中,我们正式测试了以下假设:eGeMAPS的区分能力不依赖于说话者的性别。我们使用第2.4.3节描述的自助法来进行测试。为了测试这一假设,设是从女性说话者中随机构建的训练集序列;对于给定的分类器f,设是在这些训练集上训练得到的错误性能。同样,设和分别是从男性说话者中随机构建的训练集及其对应的错误性能。如第2.4.3节所述,构建包含和的重新采样,并计算每个重采样的平均值,得到和。使用和的2.5%和97.5%分位数来构建95%置信区间。如果置信区间只包含正值,那么就有强有力的证据拒绝该假设,并得出结论:eGeMAPS特征在检测男性说话者的抑郁状态时比检测女性说话者的抑郁状态更有效。使用第2.5节的步骤1和2,我们测试了在不同话语长度和不同分类算法下的情况。与第3.1节相同,我们使用相同的超参数评估了SVM、朴素贝叶斯和决策树的错误性能。所有结果都是基于考虑了和的情况得到的;也就是说,我们考虑了300个随机选择的抑郁/非抑郁说话者集,每个说话者随机选择了30个语段。表4显示的95%置信区间提供了强有力的证据来拒绝该假设,并得出结论:eGeMAPS特征在检测男性说话者的抑郁状态时比检测女性说话者的抑郁状态更有效,尤其是在较高话语长度下,以及使用SVM或决策树(J.48)分类器时。表4还显示,对于某些话语长度,SVM分类器的置信区间包含负值,这表明在女性说话者中具有更好的区分性能;而决策树(J.48)和朴素贝叶斯分类器在男性说话者中显示出更好的区分性能。这一观察结果在考虑不同的6个话语长度的21位女性和19位男性说话者的数据集时也得到了验证。这一结果表明,算法的性能可能高度依赖于用于比较的说话者子集。尽管如此,其他所有分类器中的正向置信区间表明在男性说话者中预期有更好的区分性能。
3.3. eGeMAPS特征子集的检测能力
在本节中,我们通过构建自助法置信区间来比较不同eGeMAPS特征子集的抑郁检测性能。为此,我们首先选择了两个eGeMAPS特征子集。对于第一个子集,设是从给定性别的说话者中随机构建的训练集序列,并考虑了第一个子集的特征;对于给定的分类器f,设是在这些训练集上训练得到的错误性能。对于第二个子集,设是从同一组说话者中获取的训练集序列,但仅考虑第二个子集的特征。设和分别为使用每个特征集得到的平均错误概率。由于这些平均值是真实期望错误概率的估计,除非95%置信区间不重叠,否则我们不能得出第一个子集提供更好检测性能的结论。然而,我们可以使用自助法为构建95%置信区间。如果这样的区间在某个范围内,那么我们可以得出结论:第二个子集提供了更低的决策错误概率。为了构建95%自助法置信区间,我们使用和进行操作。如第2.4.3节所述,构建包含和的重新采样,并计算每个重采样的平均值,得到和。2.5% 和 97.5% 分位数随后被用来构建95%的置信区间。使用上述方法,我们为以下eGeMAPS特征子集的错误性能差异构建了95%的自助法置信区间(更多细节见[25]):所有eGeMAPS特征():包含[25]中定义的所有88个特征;时间特征():(6个特征)响度峰值的频率、连续发声区域和无声区域的平均长度和标准差、每秒连续发声区域的数量(这些特征由OpenSMILE网站上的eGeMAPSv02.conf配置文件生成)。排除时间特征后的eGeMAPS特征()。频率特征():(24个特征)音高的平均值和变异系数、抖动、第一、第二和第三共振峰的中心频率和带宽;以及音高的第20、50和80百分位数、音高的第20-80百分位数,以及音高上升/下降斜率的平均值和标准差(这些特征由eGeMAPSv02.conf生成)。排除频率特征后的eGeMAPS特征()。能量特征():(15个特征)颤音的平均值和变异系数、响度、谐波与噪声比;等效声级;以及响度的第20、50和80百分位数、响高的第20-80百分位数,以及响高上升/下降斜率的平均值和标准差(这些特征由eGeMAPSv02.conf生成)。排除能量特征后的eGeMAPS特征()。频谱特征():(43个特征)alpha比值的平均值和变异系数(发声和无声片段)、Hammarberg指数(发声和无声片段)、0到500 Hz的频谱斜率、500到1500 Hz的频谱斜率;第一、第二和第三共振峰的相对能量;第一、第二和第三共振峰的中心频率与音高频率之间的频谱谐波峰值能量比;第一和谐波与第二和谐波之间的能量比,以及第一和谐波与第三和谐波之间的能量比;MFCCs 1至4,以及频谱通量(这些特征由eGeMAPSv02.conf生成)。对于每对比较的特征子集,我们执行了第2.5节中的步骤1和2,针对每个特征集和每种性别,考虑了s和;即,说话者至少需要30个8秒长度的片段。从随机说话者集合中,我们获得了和。图2显示了考虑到SVM和决策树分类器时,各种特征子集的95%自助法置信区间。对于每个分类器和特征子集,我们通过使用100个随机平衡集并选择提供最高值的超参数集来选择最佳超参数集,如第3.1节所述。图2. 各种特征子集的95%自助法置信区间。从300个随机训练集中获得,每个训练集包含s。蓝色区间代表男性(males),红色区间代表女性(females)。(a) SVM分类器。(b) 决策树分类器。尽管SVM和决策树分类器在测试假设时提供了相似的结果,但在这两种分类器之间的差异显著。例如,虽然SVM的95%置信区间为负,但决策树的置信区间为正。这些差异表明SVM和决策树构建了显著不同的决策区域。和的结果加强了这一结论:当包括能量特征时,SVM能够更好地分类男性的抑郁;而当排除能量特征时,决策树能够更好地分类男性的抑郁;当包括频谱特征时,SVM能够更好地分类女性的抑郁;而当排除频谱特征时,决策树能够更好地分类女性的抑郁。关于,女性的95%置信区间表明频率特征为SVM和决策树分类器提供了额外的、尽管很小的区分能力。关于,其95%置信区间在男性和女性中都集中在0附近,表明它们没有为SVM或决策树分类器提供额外的区分能力。单独关注特征类别时,有趣的是,对于检测女性的抑郁,决策树分类器能够显著利用仅时间特征,但对于男性则相反。SVM在检测男性的抑郁时也显示出明显较差的检测性能。同样有趣的是,决策树分类器能够利用仅频谱特征,在男性中提供了较低的。4. 结论通过使用重采样方法,我们在本文中展示了eGeMAPS特征包含可以帮助检测说话者抑郁的信息。尽管之前的几项研究已经讨论了这个问题,但它们通常缺乏置信区间或对其结论的统计保证。通过使用排列测试,我们证明了eGeMAPS特征和说话者的抑郁状态是相互依赖的。使用自助法方法,我们还证明了eGeMAPS特征能够更好地区分男性说话者的抑郁与女性说话者的抑郁。尽管之前的研究也讨论了这个问题,但这是第一项提供统计保证的研究。我们进一步评估了不同eGeMAPS特征子集在区分抑郁方面的性能。这一点很重要,因为机器学习算法已知对特征配置非常敏感,而eGeMAPS不仅用于抑郁检测,还用于情绪识别和其他心理健康疾病。需要提到的是,与其他研究类似,我们的结果仅限于eGeMAPS特征、E-DAIC数据集以及使用的分类器。不同的特征集、不同的抑郁数据集或不同的分类器(例如深度神经网络)可能会提供不同的检测性能。然而,通过使用标准的开源数据集、开源音频特征和开源机器学习工具,我们的结果可以被复制,并可以作为未来研究的基线。作为未来研究的方向,我们强调了需要额外的、更大的、对所有研究人员开放的数据集。更大的数据集不仅会增加分析的置信水平,还有助于深度学习方法的训练。考虑数据集中采样的群体、说话者的文化和语言以及说话者执行的任务对检测性能的影响也是有趣的。我们还强调,我们的某些观察结果需要从生理机制的角度进一步研究。例如,研究eGeMAPS时间特征在女性中提供更高区分能力的原因,以及eGeMAPS能量特征在男性中提供更高区分能力的原因也很重要。进一步的研究还有必要将基于语音的抑郁检测变得实用。显然,基于语音的抑郁检测的检测性能(错误概率)远非理想:平均错误概率大于0.40(与之前的研究一致),并且标准差较大,这突显了仅从语音特征检测抑郁的难度。一种提高检测性能的方法是从额外的信号(如视频或文本信息)收集特征,并构建融合这些特征与音频特征以检测抑郁的分类器[4,19]。另一种方法是开发专门用于检测特定患者抑郁发作的分类器[32];也就是说,分类器将针对特定患者进行训练,而不是设计一个用于检测任何说话者抑郁的分类器。这样的分类器可以在患者非抑郁和抑郁时期都对音频样本进行训练。然后可以使用该分类器来确定治疗是否减少了患者的抑郁发作率。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号