利用特征选择和集成模型对旁遮普方言进行识别的分析方法

《ACM Transactions on Asian and Low-Resource Language Information Processing》：An Analytical Approach to Punjabi Dialect Identification using Feature Selection and Ensemble Models

　　摘要
在这项工作中，通过首先准备方言语音数据库，然后使用八种韵律特征和十种频谱形状特征来捕捉方言特有的变化，开发了一个旁遮普语方言识别系统。为了提高分类性能，采用了三种集成学习技术——Boosting、Bagging和Stacking。实施了四种特征选择算法，即最小绝对值收缩选择器（LASSO）、递归特征消除（RFE）、方差分析（ANOVA）和主成分分析（PCA），并比较了不同语音特征组合的性能。准确性、精确度、召回率和F1分数是用于评估系统性能的指标。当使用Boosting模型和All_Feature_Set以及LASSO_Set组合韵律和频谱形状特征时，最佳性能在0.80–0.82的范围内。相比之下，Stacking模型也取得了中等程度的良好结果，准确率和F1分数在0.75–0.79之间。Bagging模型的表现也不错，尽管其结果略低于Boosting和Stacking。RFE_Set也取得了强劲的结果，与LASSO_Set的表现非常接近。相比之下，ANOVA_Set和PCA_Set在所有模型中的表现相对较弱。这些结果在80:20分割和5折、10折交叉验证中进行了测试，得到了几乎相同的结果。因此，这项工作的结论是，与频谱形状特征相比，韵律特征携带的方言信息较少，但这些特征的结合表现异常出色。

1 引言
近年来，语音社区专注于开发能够处理自然语音中存在的语音变化的自动语音识别（ASR）系统。这些语音变化可以是词汇变化、语法变化或音系变化的形式。属于不同地理区域的人们所遵循的语音模式变化可以用来区分一种语言的方言。方言差异存在于多个语言层次上，如声学、音系学和韵律学[1]。地理位置、社会经济地位、文化背景、教育背景等因素是区域方言变化的主要原因[2]。因此，从语音中识别方言变得越来越重要，因为每种语言都有大量的方言变化。参考文献[3]强调了印度语言在口语方言识别方面面临的困难，并发现缺乏方言语音语料库是导致对印度语言研究较少的主要因素。参考文献[4]讨论了大多数资源匮乏语言的资源稀缺问题，印度次大陆和南非的大多数语言都属于这一类别。在这项工作中，考虑了旁遮普语及其方言，这也是一种资源匮乏的语言，标准方言数据集的缺乏是旁遮普语方言处理应用进展的主要障碍。这导致人工智能（AI）系统用于训练的数据量较少。

图1. 提出的方言识别系统。
语速、重音级别、音高模式、节奏、句子开头和结尾模式等都是使一种语言具有独特性的特征，这些特征在识别方言时非常重要。语言识别和方言识别遵循相似的原则。然而，语言边界通常更加明确且易于定义，而方言边界则更加流动和重叠。此外，两种方言之间的音系学和词汇有更多的相似性，因此方言识别比语言识别更加困难[5]。关于旁遮普语方言识别的研究较少，例如[6–10]作者在为特定实现创建的非标准数据集上实现了方言识别或语音识别系统。此外，[6, 7]使用梅尔频率倒谱系数（MFCC）特征来识别旁遮普语方言，并比较了它们的性能。这些发现促进了进一步研究其他语音特征，以评估它们对方言识别的贡献。本文提出了一种用于四种旁遮普语方言的方言识别系统，该系统使用韵律和频谱形状特征，并应用了特征选择和集成分类模型。旁遮普语属于印欧语系，是一种声调和音节语言。这项工作探讨了旁遮普邦使用的四种方言，作为研究的基础。考虑了语音的韵律和频谱形状特征，以区分旁遮普语的方言。语音的韵律特征代表了超音段特征，如整体语音结构和旋律，这些特征在口语中对于传达强调、意义和情感细微差别至关重要。在这项工作中，使用了八种韵律特征：音高、强度、持续时间、元音起始点（VOP）、抖动和三个频率共振峰（F1、F2和F3）。此外，还使用了十种频谱形状特征：频谱质心、扩散度、偏度、峰度、通量、熵、斜率、衰减、平均值和方差频率。这些韵律和频谱形状特征是通过首先预处理旁遮普语方言语音数据库中的语音文件，然后进行特征提取得到的。随后，研究了[11]中讨论的不同特征选择算法，并选择了对方言识别贡献最大的特征集。实施了四种特征选择技术：最小绝对值收缩选择器（LASSO）、递归特征消除（RFE）、方差分析（ANOVA）和主成分分析（PCA）。使用这些特征选择方法，制作了不同的特征集，然后使用分类模型进行进一步分类。实施了三种集成分类方法，即Boosting、Bagging和Stacking模型。Boosting方法中使用极端梯度提升（XGB）分类器，Bagging方法中使用决策树（DT）分类器作为基础模型，而Stacking方法中使用DT、随机森林（RF）和支持向量机（SVM）作为基础模型，以及逻辑回归（LR）作为元模型。这三种集成分类方法是在原始的八种韵律和十种频谱形状特征集上实现的。它们的性能针对不同的特征组合进行了评估。使用准确性、精确度、召回率和F1分数等性能指标来获得最佳的特征集和最佳的方言识别模型。

1.1 主要贡献
鉴于针对旁遮普语方言识别的研究有限，这项工作旨在填补现有文献中的空白。它旨在分析韵律和频谱形状特征的影响、特征选择方法以及不同集成模型在识别旁遮普语方言中的作用。所进行的工作的新颖性如下：
- 由于缺乏标准的旁遮普语方言语音数据库，因此通过考虑四种方言准备了旁遮普语方言语音数据集。
- 该工作旨在找出韵律和频谱形状特征在识别旁遮普语方言中的作用，因为大多数现有的方言识别系统主要使用MFCC和其他频谱特征。
- 实施了三种集成分类模型，即Boosting、Bagging和Stacking模型，用于对带有韵律、频谱形状及其组合的特征进行分类。这些集成模型也进行了5折和10折交叉验证，以确定最佳性能。

文章的其余部分组织如下：第2节概述了相关工作，第3节描述了所提出的方言识别系统的详细信息，包括数据库的准备工作、特征提取阶段以及使用的各种特征选择方法和分类方法。第4节解释了所有实验的详细信息及其结果分析。第5节总结了工作的未来展望。

2 相关工作
任何方言识别系统的性能都依赖于携带相关方言信息的语音特征以及能够预测最佳结果的良好分类模型。在回顾的关于口语方言识别的文献中，大多数工作都使用了语音的频谱特征，特别是MFCC和移位德尔塔倒谱（SDC）。参考文献[12]利用MFCC和SDC以及韵律特征（如音高、能量和持续时间），通过人工神经网络（ANN）预测了达罗毗荼语，并发现使用韵律特征与频谱特征相结合可以提高18%的准确性。参考文献[13]还使用频谱和韵律特征进行了基于普什图语孤立数字的说话者识别任务，并得出结论，韵律特征与频谱特征结合使用时表现最佳。参考文献[7]使用仅MFCC特征和四种不同的分类器在自创建的数据集上识别旁遮普语方言，他们得出结论，深度学习算法比传统的SVM和LR方法更有效。在另一项工作中[6]，使用MFCC作为频谱特征，通过多层感知器（MLP）和K最近邻（KNN）进行方言识别，并发现对于不同的‘K’值，MLP的性能最佳。文献还显示，许多研究人员使用MFCC特征作为方言识别、语言识别、口音识别和情感识别的特征提取基础。参考文献[14]使用MFCC和SDC以及高斯混合模型-通用背景模型（GMM-UBM）方法识别德语方言，而[15]使用MFCC和神经网络识别印尼方言。参考文献[16]使用MFCC和三角滤波器组倒谱系数（TFCC）以及KNN、RF和ANN识别阿拉伯语方言，并获得了不错的准确率。在另一项关于阿拉伯语的工作中[17]，测试了MFCC与朴素贝叶斯（Na?ve Bayes）、SVM和深度神经网络（DNN），发现使用DNN的性能最佳。许多研究人员还测试了特征选择方法，例如[18]使用LASSO进行情感识别特征的选择。参考文献[19]研究了语音情感识别的特征选择方法，[11, 20]在各种语音处理应用中探索了各种特征选择方法及其在不同机器学习范式中的适用性。

由于MFFC、TFCC、SDC都属于频谱特征类别，但韵律特征的重要性不容忽视，因为音高、强度、VOP、共振峰频率等韵律特征在任何语音声音中都起着重要作用。为了研究口音分类系统，[21]调查了普通话、印地语和美式口音英语中元音产生的声学特性，并发现频谱特征在区分印地语和美式口音英语方面更为重要。他们的发现表明，与听觉感知相关的特征在口音识别中具有潜力。参考文献[22]使用音高、共振峰频率、能量和元音强度使用SVM和GMM识别印地语方言，准确率为74%。通过结合频谱和韵律特征，这一准确率进一步提高。参考文献[8]为三种方言创建了旁遮普语孤立单词的数据集，并使用Praat工具分析了韵律特征（音高、强度和共振峰频率）的影响。他们发现男性说话者的音高低于女性说话者，所有方言中说话者的强度变化相似，但男性和女性说话者的共振峰值在不同方言中有所不同。同样，[9]使用自创建的旁遮普语数据集研究了/h/音素在旁遮普语元音中的喉部效应，使用Praat工具和音高及共振峰频率。对于口音识别，[23]使用频谱特征（MFCC）和韵律特征（音高和能量）进行实验，使用GMM。仅使用音高特征的准确率为53.8%，使用能量特征的准确率为43.4%，而结合MFCC、音高和能量特征的准确率提高到79.5%。参考文献[24]使用GMM和MLP以及MFCC、能量特征识别普什图语方言和说话者。仅使用音高和能量特征的准确率为80.7%，而结合MFCC后准确率提高到84.5%。参考文献[2, 25]使用音高、共振峰、能量和MFCC特征以及SVM和XGB分类器在自创建的卡纳达语方言数据集和IViE英语数据集上实现了方言识别。仅使用韵律特征的XGB，IViE数据集的准确率在59%到66%之间，而卡纳达语数据集的准确率在54%到56%之间。参考文献[26]采用了聚合的Wav2Vec架构和双流时延神经网络进行方言识别，并得出结论：在Wav2Vec基础模型、时延神经网络模型和基线模型中，Wav2Vec 2.0大型模型的表现最佳。参考文献[27]使用Mel加权单频滤波（Mel-SFF）频谱图和自动编码器在STYRIALECT和UT-Podcast数据集上进行方言识别。他们提出的方法优于i-vector和Mel短时傅里叶变换基线模型，在STYRIALECT数据集上实现了46.9%的未加权平均召回率（UAR），在UT-Podcast数据集上尤其对于短语音段有显著提升。在同一数据库中，参考文献[28]实施了零时间窗倒谱系数（ZTWCC）方法，并发现基于ZTWCC的i-vector在UAR上优于基于MFCC的i-vector方法。在另一项由参考文献[29]进行的研究中，使用原始波形和卷积神经网络（CNN）架构学习滤波器组来进行口音分类，并得出结论：学习到的滤波器比固定滤波器和手工设计的特征更能提高识别性能。参考文献[30]提出使用单频滤波（SFF）和零时间窗（ZTW）特征表示进行方言分类，并通过深度神经模型实现。他们得出结论：在时延神经网络模型中强调通道注意力、传播和聚合处理后，使用单频滤波倒谱系数可以获得最佳结果。参考文献[31]创建了一个包含音频、视频和音视频模式的情绪语音数据集，这是首个针对旁遮普语、印地语和英语的多语言音调敏感音视频面部表情数据集。使用注释工具对六种情绪进行了详细分析。然而，目前没有标准的旁遮普语方言音频数据集，这也是导致关于旁遮普语方言识别研究较少的原因之一。表1展示了最近关于大多数印度语言的研究工作，可以看出每位研究者都创建了自己的数据集，并测试了多种特征组合来识别方言。

表1. 语言、数据集描述、涉及的特征、使用的方法以及准确率

| 语言 | 数据集描述 | 涉及的特征 | 使用的方法 | 准确率 |
|-------------|---------------------------------------------|----------------------------------|----------------------------------------|
| 卡纳达语 [1] | 五种方言，约10小时时长 | 光谱和韵律特征 | SVM、XGB | 使用SVM时84.69%，使用XGB时86.73% |
| 泰卢固语 | 三种方言，59名说话者，自发语音，7小时5分钟时长 | 光谱和韵律特征 | GMM、HMM | 使用GMM时88.40%，使用HMM时86.95% |
| 泰米尔语 [32] | 两种方言，79名说话者，约14小时的语句形式 | MFCC | GMM、CNN | 使用GMM时87.72%，使用CNN时93.97% |
| Ao [33] | 三种方言，8名说话者，6小时时长，朗读语音（圣经翻译段落） | ILPR - LMS、LP-gammatonegram | CNN-BiGRU | 使用所有特征组合时62.67% |
| 阿萨姆语 [34] | 四种方言，10名说话者，约40小时的朗读语音 | MFCC | CNN | 使用MFCC特征时90.82% |
| 印地语 [22] | 四种方言，50名说话者，180,000条语句 | 光谱和韵律特征 | SVM-GMM | 81.5% |
| 卡纳达语、泰米尔语、康卡尼语和马拉地语 [26] | LDC-IL语音语料库（包含卡纳达语、泰米尔语、康卡尼语和马拉地语） | MFCC、x-vector、Wav2Vec、双流时延神经网络（DS-TDNN） | 使用Wav2Vec时82.33%至97.51% |
| 英语 [35] | UT-Podcast数据集（包含三种方言） | FDLPCC | 使用i-vector和x-vector训练的FFNN时UAR为83.5%，使用x-vector训练的SVM时UAR为75.4% |
| 阿拉伯语 [36] | 四种方言，24名说话者，每人100个语素 | 频谱图 | 转移学习模型和堆叠模型 | 使用RN101-DenseNet121时UAR为99.11%，使用RN50 + DN121时UAR为64.33% |
| 阿拉伯语 [37] | Arabic MGB-5数据集 | MFCC、ResNet-LSTM、Wav2Vec | 使用ResNet-LSTM时79.4%，使用Wav2Vec时93.49% |

参考文献[26]、[27]、[28]、[29]、[30]、[31]、[32]、[33]、[34]、[35]、[36]、[37]分别采用了不同的方法和技术进行方言识别，并得出了相应的结果。这些发现促使作者准备了一个方言语音数据集，并利用语音的韵律和光谱特征。同时，他们研究了特征选择方法在实现方言识别系统中的作用，特别是使用集成分类模型时的效果。

2.1 研究空白
目前，针对特定应用（如方言识别、情绪识别和说话者识别）的旁遮普语语音数据集非常稀缺，这是导致旁遮普语语音处理相关研究有限的主要障碍。文献表明，光谱特征在区分方言方面起着关键作用，无论是自创建的数据集还是标准数据集。然而，人们对韵律元素（如音高、能量和频率共振峰）的重要性认识不足。实际上，韵律特征和光谱特征在方言识别中都起着主导作用。有必要研究通常用于情绪识别系统的特征选择方法对方言识别的影响。值得注意的是，深度学习和集成分类器相比传统分类器（如SVM、KNN和LR）表现更优。这些文献结果促使作者测试了韵律和光谱特征的效果，并在分类前进行特征选择，以了解这些特征的影响。此外，还采用了集成技术（如Boosting、Bagging和Stacking）来评估它们在旁遮普语方言识别中的性能和行为。

3. 方法论
3.1 旁遮普语方言数据集的准备工作
关于旁遮普语口语方言的研究有限的主要原因是缺乏用于语音处理应用（如语音识别、情绪识别和方言识别）的语音语料库。因此，本研究需要创建一个旁遮普语方言语音数据集，重点考虑了旁遮普东部的四种主要方言：Malwai（m?l?v?i?）、Doabi（d?a?bi?）、Majhi（ma?jhi?）和Powadhi（p?a?dhi）。语音语料库的准备工作分为两个阶段：首先，使用“Shabad Kosh”等资源收集特定方言的词汇，“Shabad Kosh”以书籍形式出版[41]，从中挑选出方言词汇来构建句子。对于每种方言，都有某些特定词汇被母语者使用，这些词汇是区分该方言的重要语言标志。例如，在英语中“wife”这个词在Malwai方言中发音为??? (/b??u?/)，而在Majhi方言中发音为???? (/b???i?/)；同样，“between”在Powadhi方言中发音为……（原文此处信息缺失），在Doabi方言中发音为???? (/ɡ?b?e/)。在构建句子时，会仔细选择这些特定词汇。然后，来自每个方言区域的母语者在受控环境中录制这些句子，以减少外部噪音和其他干扰。录制对象的年龄范围为18至50岁，包括男性和女性，句子长度在3到7秒之间。

其次，从YouTube视频（实地调查）和方言播客中收集四种旁遮普语的方言语音。在选择录制的语音时，会注意保留方言词汇及其原始发音。这些是未经脚本的录音，随后使用“Audacity”软件进行编辑。手动标记句子边界，并在听完后裁剪每个句子。这些句子被转换为1411kbps比特率的WAV文件格式（立体声通道），对于单声道文件，比特率降至705 kbps。第二类录音中的说话者年龄范围也为18至70岁。选择1411 kbps的比特率是为了保证音频格式无损，即声音接近原始录制效果，保留所有细节。该数据集的总时长为7.5小时，涵盖了四种方言，每种方言的时长大致相等。数据库中记录的部分时长为2小时，占总体时的27%，而YouTube收集的部分时长为5.5小时，占73%。这表明，相比在受控环境中使用固定数量的说话者进行录制，更倾向于使用开放环境中不同数量说话者的实际数据。在线收集的数据集由于方言资源的分布不均，说话者数量有所差异，这样可以确保方言多样性，从而检验系统的鲁棒性。

3.2 方法论
3.1 旁遮普语方言数据集的准备工作
由于缺乏用于语音处理应用（如语音识别、情绪识别和方言识别）的语音语料库，关于旁遮普语口语方言的研究较为有限[7, 8, 10, 38, 39, 40]。目前没有标准的旁遮普语方言数据库可供方言识别使用。因此，本研究需要创建一个旁遮普语方言语音数据集，主要考虑了旁遮普东部的四种方言：Malwai（m?l?v?i?）、Doabi（d?a?bi?）、Majhi（ma?jhi）和Powadhi（p?a?dhi）。语音语料库的准备工作分为两个阶段：首先，使用“Shabad Kosh”等资源收集方言词汇；其次，从YouTube视频和方言播客中收集方言语音，并注意保留词汇的原始发音。这些录音未经脚本编写，随后使用“Audacity”软件进行编辑。手动标记句子边界并裁剪句子，然后将句子转换为1411kbps比特率的WAV文件格式（立体声通道）。对于单声道文件，比特率降至705 kbps。第二类录音中的说话者年龄范围同样为18至70岁。选择1411 kbps的比特率是为了保证音频格式无损。

3.3 语音预处理
由于语音数据库包含两种类型的录音（一种在封闭环境中录制，另一种在实地环境中录制），因此对信号进行预处理以去除外部噪音至关重要，为此使用了Wiener滤波器。接着，使用Z变换域中的公式（1）实现预加重：H(z)=1?αz?1（1），其中H(z)是传递函数，α是预加重系数，z-1表示一个样本延迟。在此实现中，α取值为0.97（标准范围为0.95–0.99[42]）。预加重后，将信号分割成25毫秒大小的帧，帧间重叠15毫秒以确保连续性。最后，应用Hamming窗口来平滑帧边界。

3.4 特征提取和特征选择
韵律是语音的重要组成部分，与音节、单词、短语和句子等较长的语音单位相关。韵律与能量、音调（F0轮廓）和时长等模式相关。通过安排语音的流动，这些韵律成分使语音更具自然感[1, 43]。参考文献[44]使用音高、时长和频率共振峰通过Praat工具检测孟加拉语的口音，并得出这些特征对自动语音识别（ASR）系统性能的影响。参考文献[45]使用光谱特征和共振峰频率通过DNN对希腊语方言进行分类。参考文献[46]使用VOP对自创建的数据集中的泰米尔语语音进行音节分割。

在本研究中，考虑了以下八个重要的语音韵律元素：音高、强度、时长、抖动、VOP、F1、F2、F3。光谱形状特征分析了语音信号的光谱结构，强调了节奏、音调和重音等方面。本研究中使用的光谱形状特征包括：光谱质心、光谱扩散、光谱偏度、光谱峰度、光谱熵、光谱斜率、光谱滚降、平均频率和方差频率。这些特征通过捕捉独特的语音特征和模式，提供了对语音细微差别的深入理解，有助于有效区分和分类方言。例如，不同方言的共振峰频率往往有显著差异，这些频率代表了声带的共振特性。此外，光谱形状特征还捕捉了音高、音色等受地区语音模式影响的语音属性。语音信号中不同频率成分的能量分布定义了光谱结构，在方言识别中起着关键作用。这些特征为理解各种方言的产生方式提供了重要见解，是有效区分和分类方言的关键工具[47]。

对于上述韵律和光谱形状特征，应用了四种不同的特征选择算法来获得不同的特征集。常用的特征选择算法包括LASSO、前向选择、后向消除、RFE、PCA、线性判别分析（LDA）[11]等。本研究首先使用LASSO算法获得特征集LASSO_Set，然后使用RFE得到特征集RFE_Set，接着使用ANOVA得到特征集ANOVA_Set，最后使用PCA得到特征集PCA_Set。通过使用所有这些韵律和频谱形状特征，构建了特征集All_Feature_Set。3.4 分类模型仅使用韵律特征来实现旁遮普语语音的方言识别是一项具有挑战性的任务，因为文献表明，与仅使用韵律特征相比，结合韵律和频谱特征能够获得更好的结果[1, 2, 48, 49]。在机器学习的分类范式中，由于集成方法具有更好的性能，现在比传统方法更受欢迎，因此在这项工作中训练和测试了Boosting、Bagging和Stacking模型。集成方法基于组合多个弱分类器并通过聚合它们的结果来提高性能[2]。3.4.1 Boosting模型。XGB是一种基于梯度提升框架的有效分类器，擅长处理结构化数据。XGB通过逐步向集成中添加决策树来工作，每个新添加的树都会纠正之前树的错误。在此实现中，集成中的树的数量为150，最大树深度为3，学习率为0.3。这些值是通过Python中的网格搜索方法进行超参数调整计算得出的，评估了不同的超参数组合以找到在验证集上表现最佳的组合。XGB模型是为多类问题创建的，其中类别的数量为4，这与要识别的方言数量相同。使用这些最优超参数，模型的性能得到了提升。此外，还计算了混淆矩阵、精确度、召回率和F1分数以及准确率，如第4节所讨论的，以研究系统的行为。3.4.2 Bagging模型。以决策树（DT）为基础模型，Bagging模型对韵律和频谱形状特征进行分类。在此实现中，要训练的基础模型（决策树）的数量为100，使用“gini”标准来确定决策树中的分割方式，并为了避免过拟合，将树的最大深度设置为5。当使用基础模型作为决策树时，Bagging是一种强大的集成技术，可以降低方差、避免过拟合并提高准确率。为了评估性能，计算了准确率、召回率、精确度和F1分数，并在第4节中展示了结果。3.4.3 Stacking模型。Stacking分类器也是一种集成学习技术，它使用元模型（一级模型）在组合多个基础模型（有时称为零级模型）后提供最终预测。在这项工作中使用的基础模型是DT、RF和SVM，而LR用作元模型，将基础模型的输出结合起来进行最终预测。通过整合DT、RF和SVM的预测，Stacking模型提高了性能，并且比单个模型具有更高的泛化能力。利用这些互补的特性，该模型在准确率、精确度和F1分数方面增强了整体预测性能。4 结果与讨论对于韵律和频谱形状特征，使用了三种集成分类模型实现了四种特征选择方法。图2描述了所有四种特征选择方法从韵律和频谱形状特征集中选择的特征。这个雷达图用蓝色表示韵律特征，用橙色表示频谱形状特征。数值2、4……10分别是LASSO、RFE、ANOVA和PCA每种特征选择方法选择的特征数量。每个圆圈代表两个特征，很明显，频谱形状特征选择的最多特征数为8，韵律特征选择的最少特征数为2。从图2所示的视觉比较来看，LASSO是最全面的方法，选择了大量的韵律和频谱形状特征，反映了其保留广泛属性的能力。RFE虽然更具选择性，但在韵律和频谱形状特征之间表现出平衡的关注，强调了强度和多个频谱属性。ANOVA强烈偏好频谱形状特征，如平均频率、频谱质心和频谱滚降，对韵律特征的关注较少，表明它更倾向于基于频率的属性而不是时间相关的动态。相比之下，PCA优先考虑韵律特征，如音高、抖动和VOP，而几乎忽略了频谱特征，这与它保持方差的目标一致。总体而言，LASSO提供了最全面的选择，而ANOVA和PCA分别关注频谱形状和韵律特征，相互补充。结合这些方法可以创建一个强大的特征集，有效地捕捉数据的多样化方面，用于方言分类。因此，这表明频谱形状特征对于方言识别具有更多的相关性。图2. 每种特征选择方法选择的特征。4.1 使用训练集和评估集进行性能评估为了训练和测试所提出的系统，从4665个语音文件中抽取了80%的数据，即3732个语音文件作为训练集，20%的数据作为评估集，包含933个文件。首先进行数据分割，然后对训练集和测试集分别应用特征选择方法，之后对测试集或评估集应用相同的转换。这样做是为了确保模型不会从未见数据中学习，因为特征工程是在分割之后应用的。在特征选择之后，实现了三种集成模型，即Boosting、Bagging和Stacking模型。为了评估性能，计算了准确率、精确度、召回率和F1分数。表3、4和5分别显示了Boosting、Bagging和Stacking分类模型的准确率和F1分数结果。表3. 特征集性能指标All_Feature_SetLASSO_SetRFE_SetANOVA_SetPCA_Set韵律准确率0.63980.57660.61520.59160.4855 F1分数0.64280.57410.61890.59040.4784频谱形状准确率0.76420.72990.67950.67410.6891 F1分数0.76370.73060.67970.67620.6890韵律+频谱形状准确率0.81670.81240.74270.67410.5873F1分数0.81660.81150.74240.67620.5878使用Boosting模型的不同特征集的性能表4. 特征集性能指标All_Feature_SetLASSO_SetRFE_SetANOVA_SetPCA_Set韵律准确率0.61620.57120.62270.59160.4791 F1分数0.61710.56970.62420.59110.4725频谱形状准确率0.73200.71160.72660.68480.6945F1分数0.73110.71040.72500.68440.6939使用Bagging模型的不同特征集的性能表5. 特征集性能指标All_Feature_SetLASSO_SetRFE_SetANOVA_SetPCA_Set韵律准确率0.61840.58620.61840.57980.4941 F1分数0.61880.58540.61930.58000.4843使用Stacking模型的不同特征集的性能表3显示，对于Boosting模型，All_Feature_Set在所有特征集的准确率和F1分数方面始终优于其他特征选择方法。这表明使用全部特征集为该模型提供了最佳性能。具体来说，对于韵律特征，All_Feature_Set实现了最高的准确率0.6398和F1分数0.6428。在频谱形状特征中，也观察到了同样的趋势，All_Feature_Set的准确率为0.7642，F1分数为0.7637，优于其他集合。此外，对于结合的韵律和频谱形状特征，All_Feature_Set的表现更好，准确率为0.8167，F1分数为0.8166。相比之下，PCA_Set的表现最低，其次是ANOVA_Set，尤其是在结合特征方面。粗体条目用于表示最佳结果。All_Feature_Set在四种特征选择方法中表现出最佳性能，而RFE_Set在韵律特征方面表现最好。同样，LASSO_Set在频谱形状和韵律及频谱形状组合特征方面也表现更好，因此这些值也用粗体显示。在Bagging模型中，根据表4，RFE_Set在韵律特征方面表现最佳，而All_Feature_Set在频谱形状特征方面表现最佳。对于韵律和频谱形状特征，All_Feature_Set再次优于其他方法，但LASSO_Set的结果也很有希望，因为它们与All_Features_Set大致相似。再次，PCA_Set在所有特征集中表现最低，其次是ANOVA_Set，特别是在结合特征方面，与Boosting模型显示的趋势一致。当使用特征组合时，最佳性能接近0.76。在实现Stacking模型后，结果显示在表5中。这些结果与Boosting和Bagging模型的性能一致，All_Feature_Set在韵律和频谱形状特征方面实现了最高的准确率和F1分数。对于结合特征，All_Feature_Set也显示了最高的准确率0.7952和F1分数0.7951，进一步表明这些特征组合在识别方言方面的有效性。表3显示，对于Boosting模型，All_Feature_Set在所有特征集中始终优于其他特征选择方法。这表明使用全部特征集为该模型提供了最佳性能。特别是对于韵律特征，All_Feature_Set实现了最高的准确率0.6398和F1分数0.6428。在频谱形状特征中，All_Feature_Set的准确率为0.7642，F1分数为0.7637，优于其他集合。此外，对于结合的韵律和频谱形状特征，All_Feature_Set的表现更好，准确率为0.8167，F1分数为0.8166。相比之下，PCA_Set的表现最低，其次是ANOVA_Set，尤其是在结合特征方面。表4显示，在Bagging模型中，RFE_Set在韵律特征方面表现最佳，而All_Feature_Set在频谱形状特征方面表现最佳。对于韵律和频谱形状特征，All_Feature_Set再次优于其他方法，但LASSO_Set的结果也很有希望，因为它们与All_Features_Set大致相似。再次，PCA_Set在所有特征集中表现最低，其次是ANOVA_Set，特别是在结合特征方面，与Boosting模型显示的趋势一致。总之，使用全部特征集似乎是最有益的策略，尤其是在使用Boosting模型时，尽管Stacking也为特征组合提供了强大的结果，特别是在韵律+频谱形状特征组合方面。个别结果还显示，与韵律特征相比，频谱形状特征包含更多的方言信息。由于PCA使用方差来选择组件，PCA偏好韵律特征而不是频谱形状特征的原因在于，音高和抖动是具有较大方差的韵律特性的例子，因此在第一个主要组件中更为突出。如果频谱特征之间的关联性强或方差低，PCA会在前几个组件中捕获更多的韵律变化。由于PCA旨在捕获最显著的变化，如果样本之间的韵律特征变化大于频谱特征变化，它将优先考虑韵律特征。同样，ANOVA的表现较低是因为它根据F统计量对最重要的特征进行排序。RFE与XGB一起工作，递归地移除不太重要的特征，由于XGB也是一种集成方法，因此RFE的结果优于ANOVA和PCA。LASSO的表现异常出色，因为根据其原理，它选择了非零系数的特征，对于这项工作，alpha值取为0.01，这意味着模型较为宽松，保留了更多特征。因此，在使用的特征选择方法中，LASSO的结果是最好的。图3和图4显示了所有三种分类模型及其所有特征组合的准确率和F1分数比较图。图3和图4显示了所有三种特征集（韵律、频谱形状以及韵律和频谱形状组合特征）的准确率和F1分数性能指标的可视化。使用三种分类模型，从图中可以清楚地看到，表现最好的模型是结合韵律和频谱形状特征的Boosting模型。在使用的特征选择方法方面，LASSO_Set的结果与All_Features_Set在准确率和F1分数方面大致相同，均为0.81。接下来表现最好的模型是Stacking模型，结合韵律和频谱形状特征的准确率和F1分数分别为0.79。Bagging模型在列表中的表现次之，结合韵律和频谱形状特征的准确率和F1分数分别为0.76。因此，可以得出结论，结合韵律和频谱形状特征以及Boosting模型为我们的数据集识别方言提供了最佳性能。4.2 使用5折和10折交叉验证进行性能评估为了检查系统的性能，还使用了5折交叉验证和10折交叉验证。表6、7和8展示了四种不同特征选择方法以及所有特征组合的结果。这些结果显示了Boosting、Bagging和Stacking模型在韵律特征、频谱形状以及韵律和频谱形状组合特征方面的表现。表6展示了各种特征集在性能指标上的对比。

| 特征集 | 性能指标 |
|--------------|----------------------|
| All_Feature_Set | Prosodic Accuracy | 0.6332 |
| RFE_Set | Prosodic Accuracy | 0.5603 |
| ANOVA_Set | Prosodic Accuracy | 0.5929 |
| PCA_Set | Prosodic Accuracy | 0.5130 |
| 5-fold F1 score | Prosodic Accuracy | 0.6374 |
| Spectral Shape Accuracy | 0.7627 |
| 5-fold F1 score | Spectral Shape Accuracy | 0.7650 |
| Prosodic + Spectral Shape | Prosodic Accuracy | 0.8107 |
| 10-fold F1 score | Prosodic Accuracy | 0.6326 |
| 10-fold F1 score | Spectral Shape Accuracy | 0.7678 |

表7展示了使用5折和10折交叉验证（CV）在不同特征集上的Boosting模型性能：

| 特征集 | 性能指标 |
|--------------|----------------------|
| All_Feature_Set | Prosodic Accuracy | 0.6227 |
| RFE_Set | Prosodic Accuracy | 0.6276 |
| ANOVA_Set | Prosodic Accuracy | 0.5378 |
| Spectral Shape Accuracy | 0.5244 |
| Prosodic + Spectral Shape | Prosodic Accuracy | 0.7430 |
| 5-fold F1 score | Prosodic Accuracy | 0.6296 |
| 10-fold F1 score | Prosodic Accuracy | 0.7447 |
| 5-fold F1 score | Spectral Shape Accuracy | 0.7678 |
| 10-fold F1 score | Prosodic Accuracy | 0.8221 |
| 10-fold F1 score | Prosodic Accuracy | 0.6254 |

表8展示了使用5折和10折交叉验证在不同特征集上的Bagging模型性能：

| 特征集 | 性能指标 |
|--------------|----------------------|
| All_Feature_Set | Prosodic Accuracy | 0.5771 |
| RFE_Set | Prosodic Accuracy | 0.5850 |
| ANOVA_Set | Prosodic Accuracy | 0.5829 |
| Spectral Shape Accuracy | 0.7338 |
| 5-fold F1 score | Prosodic Accuracy | 0.7379 |
| 10-fold F1 score | Prosodic Accuracy | 0.7953 |
| 5-fold F1 score | Spectral Shape Accuracy | 0.7466 |
| 10-fold F1 score | Prosodic Accuracy | 0.7485 |

表9展示了使用5折和10折交叉验证在不同特征集上的Stacking模型性能：

| 特征集 | 性能指标 |
|--------------|----------------------|
| All_Feature_Set | Prosodic Accuracy | 0.6179 |
| RFE_Set | Prosodic Accuracy | 0.7416 |
| ANOVA_Set | Prosodic Accuracy | 0.6343 |
| 5-fold F1 score | Prosodic Accuracy | 0.8875 |
| 10-fold F1 score | Prosodic Accuracy | 0.8886 |
| 10-fold F1 score | Prosodic Accuracy | 0.8422 |

表10和表11分别展示了使用5折和10折交叉验证时，不同特征集在Boosting和Bagging模型上的性能。在所有特征集中，RFE_Set在5折和10折交叉验证中均取得了最佳性能。在Bagging模型中，LASSO_Set和RFE_Set的表现优于ANOVA_Set和PCA_Set。在Stacking模型中，LASSO_Set的表现同样优于ANOVA_Set和PCA_Set。

表6和表7的结果表明，在5折和10折交叉验证中，RFE_Set是四种特征选择方法中表现最好的。对于频谱形状特征，在10折交叉验证中，LASSO_Set和RFE_Set的结果非常接近，准确率和F1分数仅有微小差异。ANOVA_Set和PCA_Set在性能上不如RFE_Set和LASSO_Set。而All_Feature_Set在同时使用所有8个韵律特征和10个频谱形状特征时，无论是在5折还是10折交叉验证中，都表现最佳。

表8和表9的结果显示，在Bagging模型中，RFE_Set在韵律特征和频谱形状特征的组合上表现最佳。在Stacking模型中，LASSO_Set的表现也优于ANOVA_Set和PCA_Set。

综上所述，RFE_Set和LASSO_Set在特征选择方面具有显著优势，这一点通过80:20训练-测试分割的结果得到了验证。ANOVA_Set和PCA_Set的准确率较低，而All_Feature_Set在使用Boosting模型时准确率为82%，使用Bagging模型时为74%，使用Stacking模型时为79%。

为了获得可靠的、与说话者无关的测试结果，采用了分组折叠的10折验证策略，确保每个折叠中都包含完全未见过的说话者。这些结果再次证实了RFE_Set和LASSO_Set的优越性能。尽管LASSO_Set包含的特征较少，但其表现仍然非常出色，这表明特征的质量和区分能力可以超越特征的数量。此外，RFE_Set的结果也相当不错。在三种集成模型中，Boosting模型在特征组合方面的准确率最高，为78%，Stacking模型为74%。

在记录的在线收集的数据集上进行的性能评估中，Boosting模型的准确率为78%，Bagging模型的准确率为74%，Stacking模型的准确率为72%。表9显示了所有特征集的性能指标。

在记录的数据库上，使用Bagging模型时，韵律和频谱形状特征组合的准确率为88%，而LASSO_Set和RFE_Set的表现优于ANOVA_Set和PCA_Set。在线收集的数据库上，当使用所有特征时，准确率为84%。在记录的部分和在线收集的部分中，LASSO_Set和RFE_Set的表现都很好。

在完整的数据库上，Bagging模型的表现与之前讨论的结果一致，LASSO和RFE是表现最好的特征选择方法。当仅使用韵律特征时，准确率和F1分数较低，这表明频谱形状特征携带了更多的方言信息。LASSO_Set和RFE_Set的组合表现优于RFE_Set和PCA_Set。总体而言，这种特征组合在理解语音的声学和语言内容以及识别方言方面效果最佳。

在记录的数据库和在线收集的数据库上，使用Boosting模型时，LASSO_Set和RFE_Set的表现都优于ANOVA_Set和PCA_Set。但是，Stacking模型的稳定性比Bagging模型的变体更高。对于Boosting、Bagging和Stacking模型，5折交叉验证（5-fold CV）显示出的均值和标准差的趋势相似。表13。

**分类模型**
**交叉验证**
**均值** **标准差**
**Boosting模型**
5折 0.5751 0.0529
10折 0.6949 0.0681
**Bagging模型**
5折 0.5483 0.0705
10折 0.6559 0.0638
**Stacking模型**
5折 0.5446 0.0860
10折 0.6197 0.0594

**语言学在方言识别中的作用**
使用基于语言的特征是口语方言识别的关键组成部分，因为基于文本的方言识别系统完全依赖于这些特征。对于基于语音的系统来说，声学特征和语言学特征都很重要，评估系统性能时需要考虑它们的贡献。在这项工作中，如第3.1节所讨论的，在数据集准备过程中，选择了具有方言特征的词汇和句子结构。对于手动记录和从YouTube收集的两种类型的数据集，都仔细挑选了具有这些语言学特性的句子。例如，在Malwai（m?l?v?i?）方言中，记录数据集中有一个句子：“????”和“?????? ?? ?? ??? ??? ??”这样的词是Malwai（m?l?v?i?）方言本地人使用的，而在其他方言中找不到这些词。同样，在Doabi（d?a?bi?）方言中，“?????? ?? ?? ??? ??? ??”这个句子使用了“??”（/pe?/）和“??”（/ɡe?/）这样的词，这些词也是Doabi（d?a?bi?）方言本地人使用的。在Powadhi（p?a?dhi?）方言中，“????”（/t??a??e/）、“???”（/ɡ?l/）这样的词在大多数句子中都有使用，这些词仅限于Powadhi（p?a?dhi?）地区的本地人使用。这些是从我们记录的数据集中选取的一些例子，通过这种方式，使用所有四种方言的本地词汇精心构建了句子。从YouTube收集数据时也采用了类似的句子选择过程。通过仔细聆听，标记出句子的边界，这些句子成为了数据集的一部分。句子结构在方言识别中也非常重要，因为它清楚地代表了方言区域的特点。例如，在Majhi（ma?jhi?）方言中，“??”（/d??e?/）、“??”（/su?/）、“?”（/i?/）、“??”（/ne/）这样的词通常用于句子的结尾，这些词在Punjabi语中是代词后缀。因此，如果某个句子是这样发音的，就清楚地表明它使用了Majhi（ma?jhi?）方言。总之，在数据库的两个阶段选择句子时都考虑了语言学方面。句子结构、词的含义以及某些词的发音风格是关注方言识别中语言学特征的重要组成部分。

**4.6 方言识别中的特征重要性**
如前所述，这项工作重点关注语音的韵律和频谱形状特征，共使用了18个特征来分类方言。其中8个是韵律特征，10个是频谱形状特征。在这18个特征中，四种不同的特征选择算法根据各自的机制识别出最相关的特征组合。第4节的子部分讨论了特征选择前后所有特征的性能。在8个韵律特征中，所有四种特征选择方法都选择了音高（pitch）。这种一致性表明音高在识别方言方面具有显著的区分能力。同样，VOP和共振峰特征（F1、F2和F3）也被三种特征选择方法选中，这突显了它们在捕捉语音方言变化方面的持续贡献。这些声学线索在语音学中是众所周知的，用于表征元音的质量，而元音质量在不同方言中往往有所不同。此外，持续时间（duration）也被三种方法选中，反映了它作为时间特征的重要性，可以捕捉方言之间的节奏或说话速度差异。这些特征共同构成了一个强大的预测集，不仅在理论上合理，而且通过多种特征选择技术得到了实证验证。另一方面，抖动（jitter）和强度（intensity）只被两种方法选中，这表明这两个特征需要其他互补特征才能显示出明显的差异。表14显示了这些特征在t检验中的显著性。这些结果也与我们选择的特征——音高、VOP和频率共振峰——与持续时间、强度、抖动等特征相比的结果一致。

**表14. 特征类型**
**特征** **F统计量** **p值**
**韵律特征**
音高（pitch） 57.4578 81 11.819366 e-36
抖动（jitter） 45.7590 91 13.879700 e-29
强度（intensity） 94.5815 42 2.020368 e-59
持续时间（duration） 47.5438 63 2.937425 e-30
VOP（Vocal Oscillation Period） 54.3982 65 1.487634 e-34
F1 55.0831 45 3.547697 e-35
F2 78.7043 26 1.160802 e-49
F3 102.2018 62 4.493577 e-64

**4.6 特征重要性**
如前所述，这项工作关注语音的韵律和频谱形状特征，共使用了18个特征来分类方言。其中8个是韵律特征，10个是频谱形状特征。从这18个特征中，四种不同的特征选择算法根据各自的机制识别出最相关的特征组合。第4节的子部分讨论了特征选择前后所有特征的性能。在8个韵律特征中，所有四种特征选择方法都选择了音高。这种一致性表明音高在识别方言方面具有显著的区分能力。同样，VOP和共振峰特征（F1、F2和F3）也被三种特征选择方法选中，这突显了它们在捕捉语音方言变化方面的持续贡献。这些声学线索在语音学中用于表征元音质量，而元音质量在不同方言中往往有所不同。此外，持续时间也被三种方法选中，反映了它作为时间特征的重要性，可以捕捉方言之间的节奏或说话速度差异。这些特征共同构成了一个强大的预测集，不仅在理论上合理，而且通过多种特征选择技术得到了实证验证。另一方面，抖动和强度只被两种方法选中，这表明这两个特征需要其他互补特征才能显示出明显的差异。表14显示了这些特征在t检验中的显著性。这些结果也与我们选择的特征——音高、VOP和频率共振峰——与持续时间、强度、抖动等特征相比的结果一致。

**4.7 方言识别中的挑战**
本文展示了特征选择方法和集成分类模型在方言识别中的有效性，特别是针对语音的韵律和频谱形状特征。尽管为方言识别准备了大量的数据集，但仍然难以捕捉到语音的完整多样性。挑战包括寻找样本词、创建能够跨越社会方言和地理差异的句子；确保从广泛的说话者那里获得多样且高质量的录音。然而，数据集可能无法全面覆盖所有地区和社会方言的变化，这可能会阻碍模型有效地泛化到现实世界的语音多样性。尽管韵律和频谱形状特征在准确性方面表现良好，但添加像MFCC及其衍生物这样的频谱特征可能会提高性能，因为它们更接近于捕捉声道的变化。特征选择技术（如LASSO、RFE、ANOVA和PCA）的目标是找到最相关的语言和声学特征；然而，每种技术都有其缺点，包括如何处理特征冗余和保证泛化能力。使用集成模型测试系统并根据输入找到最佳模型并检查系统的性能是一项具有挑战性的任务。

**4.8 关键发现和见解**
这项工作提出了对推进方言分类研究有重要贡献的关键发现。与大多数依赖倒谱特征（如MFCC）或预训练深度模型（如Wav2Vec2.0和HuBERT [26, 37]）的现有工作不同，本文强调了经常被低估的频谱和韵律特征的重要性。这些特征有效地捕捉了与音高、强度、持续时间和频谱形状相关的方言线索，提供了超出传统倒谱表示的补充信息。与之前对手工特征空间的探索（如ZTWCC [28]和频率域线性预测倒谱系数（FDLPCC）[35]）类似，本文强调精心设计的声学表示可以对方言识别做出有意义的贡献。为了增强所提出特征的区分能力，采用了多种特征选择技术（包括LASSO、RFE、ANOVA和PCA）来识别最相关的参数。此外，还整合了高级集成学习方法（如Boosting、Bagging和Stacking）来提高模型的鲁棒性和泛化能力。与传统的基于MFCC的深度学习框架相比，所提出的频谱-韵律集成方法取得了有竞争力的性能，表明这些特征在系统优化并与集成学习结合使用时，可以提供有效且可解释的方言识别解决方案。

**5 结论和未来展望**
**5.1 结论**
本文提出了一个用于四种Punjabi方言的方言识别系统，该系统基于Punjabi方言数据库实现。研究了语音的韵律和频谱形状特征，并从语音数据库中的每个文件中提取了8个韵律特征和10个频谱形状特征。分别和组合使用韵律特征和频谱形状特征，依次应用四种不同的特征选择算法，为系统训练和测试创建了不同的特征集。采用Boosting、Bagging和Stacking进行集成分类。最佳性能的是Boosting模型，其次是Stacking和Bagging模型，当在All_Feature_Set和LASSO_Set中同时使用所有韵律和频谱形状特征时，准确性和F1分数分别为0.80-0.82。这表明LASSO方法在选择主导特征方面是有效的，其次是RFE。然而，ANOVA和PCA方法的结果并不理想，因此得出结论，对于这个Punjabi方言语音数据集，这两种特征选择算法没有找到最佳性能的特征。该系统还经过了5折和10折交叉验证以及组内验证，以检查结果的一致性。几乎相同的准确性和F1分数表明系统表现平衡，这被认为是更好的，因为结果无偏。Malwai（m?l?v?i?）和Doabi（d?a?bi?）方言表现良好，而Majhi（ma?jhi?）方言由于与其他方言（特别是Doabi（d?a?bi?）方言的特征重叠而表现不佳。与韵律特征相比，频谱形状特征显示出了有希望的结果，这意味着它们在识别方言信息方面起着关键作用。由于与方言相关的最大信息存在于分段层面，因此在这项工作中主要测试了分段和超分段层面的特征，它们在所有性能指标上表现良好。韵律特征和频谱形状特征的有效性突显了它们在捕捉人类交流细微方面的作用，鼓励继续研究它们的利用和改进，以提高语音处理系统的性能。

**5.2 未来展望**
在未来的工作中，数据集可以扩展以包括更多的方言变化，还可以使用像MFCC、SFF、ZTW这样的频谱特征以及更现代的方法来评估性能。近年来，由于基础模型和基于深度学习的特征表示，基于语音的系统有了显著改进。像Wav2Vec2.0、HuBERT、WavLM和Whisper这样的大规模预训练模型可以在情感、口音或方言识别等各种领域得到应用。使用这些预训练模型和混合框架可以进一步提高方言识别系统的性能。韵律特征和频谱形状特征的有效性突显了它们在捕捉人类交流细微方面的作用，鼓励继续研究它们的利用和改进，以提高语音处理系统的性能。为了提高所提出系统的鲁棒性和泛化能力，未来的研究可能会探索基于这些自监督语音表示的特征融合或微调技术。总之，方言识别系统在这个AI领域有着光明的前景。

**致谢**
作者感谢他们的机构提供了完成这项研究工作的机会。

**作者贡献声明**
Manjot Kaur Gill：调查、形式分析、数据管理、软件开发、原始草稿撰写、可视化。
Simpel Rani：验证、撰写-审阅和编辑、监督。
Parminder Singh：概念化、验证、撰写-审阅与编辑、监督。

**利益冲突声明**
作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。