基于深度学习的美国与沙特口语方言分类系统

《ARABIAN JOURNAL FOR SCIENCE AND ENGINEERING》：Spoken American and Saudi Dialects Classification System Using Deep Learning Networks

　　

过去几十年，深度学习系统在基于语音的交互中取得了显著成功，包括口语方言的分类。使用深度学习系统的口语方言分类旨在根据语音信号的特征对其进行分类。本文中，研究人员提出了一种美国与沙特口语方言分类系统，该系统将卷积神经网络（CNN）和双向长短期记忆网络（BLSTM）分类器与德州仪器麻省理工学院语料库（TIMIT）和沙特阿拉伯口音阿拉伯语音库（SAAVB）进行比较，使用精心选择的语音特征组合以揭示有益的结果。经过一系列实验，所提出的使用CNN分类器的系统，在分别使用韵律、声学和节奏度量（Rhythm-Metrix）特征及其所有组合进行美国口语方言分类时，准确率分别达到13.12%、58.00%、51.01%和68.50%。同样，使用相同特征进行沙特口语方言分类时，研究人员获得了9.06%、32.03%、28.78%和48.01%的分类准确率。与使用BLSTM分类器的所提出系统相比，使用相同特征，美国口语方言分类准确率达到21.83%、56.03%、65.63%和75.87%，沙特口语方言分类准确率达到10.18%、13.89%、47.20%和60.19%。

**论文解读文章**

**研究背景、存在问题及研究动机**

口语方言分类系统在众多实际应用中具有重要价值，如母语识别、高效自动呼叫解释系统、远程医疗、法医分析、呼叫中心个性化交互、电子学习和娱乐等。此外，方言分类对自动语音识别（ASR）有显著影响，因为ASR在单一方言系统中通常能获得极佳准确率，但在多方言场景下表现不佳。方言指的是特定区域、阶层、地区、国家或其他群体所使用的语言，体现在拼写、发音、韵律、语法和发音等方面。当前，针对全球多种语言（包括阿拉伯语、英语、西班牙语、汉语、法语和印地语）的方言分类研究已较为成熟，但现有研究主要局限于单一特征集或单一语料库，缺乏跨数据集和跨语言的统一框架。具体而言，韵律、声学和节奏特征在方言分类中的联合建模尚未得到充分探索，且不同语言（如英语和阿拉伯语）的方言分类系统之间缺乏系统性比较。因此，开展此项研究旨在提出一种融合多种互补特征、并能在不同语料库上泛化的深度学习方言分类系统，以提升跨语言方言分类的准确性和鲁棒性。

**研究内容、结论及意义**

研究人员提出了一种基于深度学习网络的口语方言分类系统，该系统使用卷积神经网络（CNN）和双向长短期记忆网络（BLSTM）作为分类器，并在美国英语方言（TIMIT语料库）和沙特阿拉伯方言（SAAVB语料库）上进行了评估。通过融合韵律、声学（MFCC）和节奏度量（Rhythm-Metrix）特征，构建了统一特征向量。实验结果表明，BLSTM分类器在所有特征组合下均优于CNN分类器，且特征融合显著提升了分类准确率。该研究的意义在于首次在统一框架内比较了阿拉伯语和英语方言的分类性能，展示了跨数据集泛化的能力，并为方言分类领域提供了新的特征融合策略和深度学习模型选择依据。论文发表在《ARABIAN JOURNAL FOR SCIENCE AND ENGINEERING》。

**主要关键技术方法**

研究人员采用的主要关键技术方法包括：（1）特征提取：从语音信号中提取韵律特征（基频F0及其一阶导数ΔF0、二阶导数ΔΔF0；能量E及其一阶导数ΔE、二阶导数ΔΔE），声学特征（梅尔频率倒谱系数MFCC），以及节奏度量特征（从文本转录文件中基于音素级对齐计算%V、%C、ΔV、ΔC）；（2）分类器：使用CNN和BLSTM两种深度学习模型，其中CNN采用2D卷积层、池化层和全连接层，BLSTM采用三层双向LSTM结构；（3）数据集：美国英语方言来自TIMIT语料库（6300个音频文件，8种方言，630位说话人），沙特阿拉伯方言来自SAAVB语料库（612个音频文件，9种方言，1033位说话人）。

**研究结果**

**5.1 特征提取阶段**
研究人员通过实验比较了韵律、声学和节奏度量三类特征及其组合的效果。在TIMIT语料库上，单独使用韵律特征时CNN和BLSTM准确率最低（13.12%和21.83%）；单独使用声学特征（MFCC）时准确率提升（CNN 58.00%，BLSTM 56.03%）；单独使用节奏度量特征时BLSTM达到65.63%，高于CNN的51.01%；将所有特征组合后，CNN准确率达68.50%，BLSTM达75.87%，为最佳性能。在SAAVB语料库上，类似趋势：韵律特征最差（CNN 9.06%，BLSTM 10.18%），声学特征（CNN 32.03%，BLSTM 13.89%），节奏度量特征（CNN 28.78%，BLSTM 47.20%），组合特征后CNN达47.02%，BLSTM达60.19%。这表明特征融合能提供互补信息，显著提升分类性能。

**5.2 分类阶段**
基于CNN和BLSTM的对比实验显示，BLSTM在所有实验中的准确率、精确率、召回率和F1分数均优于CNN。在TIMIT上，BLSTM平均准确率75.21%，CNN平均66.70%；在SAAVB上，BLSTM平均准确率60.19%，CNN平均44.70%。此外，混淆矩阵分析表明，BLSTM在多数方言类别上具有更清晰的诊断线，减少了混淆，尤其对TIMIT中DR2、DR5、DR7等易混淆方言以及SAAVB中Ararr、Madinah、Makkah等方言的识别表现更好。

**6 实验与性能评估**
研究人员采用70/10/20的数据划分（训练/验证/测试），并进行了五次重复实验以评估随机性。使用准确率、混淆矩阵、精确率、召回率和F1分数作为评价指标。实验设置包括：CNN最大训练轮数50，批大小32；BLSTM最大训练轮数128，批大小15。学习率调度采用分段递减方式（英语0.001，阿拉伯语0.0001），优化器使用Adam。此外，还引入了Transformer模型作为现代基线，其在TIMIT上准确率78.17%，SAAVB上61.11%，略高于BLSTM，但差异不大，表明BLSTM在有限数据下仍具竞争力。

**7 结果与讨论**
通过对比不同特征，研究人员发现声学特征（MFCC）提供最可靠的辨别能力，而韵律和节奏特征单独使用时效果较差，但组合后能捕捉互补信息。在TIMIT中，韵律特征因基频噪声导致低准确率；节奏度量特征优于韵律特征但略逊于组合特征。在SAAVB中，由于数据量小、说话人变异性高，整体准确率低于TIMIT。混淆矩阵分析还揭示了方言之间的地理邻近性：如美国DR5与DR7、沙特Ararr与Madinah之间存在高混淆，反映了方言相似性。此外，与先前研究对比，所提出的系统在跨语言分类上具有新颖性，且BLSTM与Transformer性能接近，验证了其有效性。

**讨论总结与结论翻译**

**讨论总结**：研究结果表明，性能受特征表示、数据集特征和方言相似性的强烈影响。声学特征提供最可靠的辨别，而韵律和节奏特征单独使用时对变异性敏感且表现不佳。特征组合通过捕捉互补信息提升了性能。SAAVB上的较低性能主要归因于更高的变异性有限的数据。此外，BLSTM通过有效建模语音中的时间依赖性，持续优于CNN。然而，依赖手工特征限制了模型捕捉复杂方言变异的能力。在运行时方面，CNN架构因高并行度具有更低推理延迟，适合实时应用；而BLSTM因顺序处理正反方向帧而引入更高延迟。研究人员还注意到，TIMIT和SAAVB中方言行为及ΔV、ΔC值的变异模式相似，且邻近区域方言相互趋同，边界区域方言受国际边界影响而偏离其他方言。本文还引入了一种新颖的超参数调整框架，集成了自适应搜索、模型和数据集感知优化以及多目标权衡，增强了系统效率和鲁棒性。据所知，先前研究未在统一框架内比较阿拉伯语和英语方言的分类，本工作展示了可靠性能，并具有法医语音分析和口语交互技术等实际应用潜力。

**结论翻译**：本文提出了一种使用深度神经网络分类器在英语和阿拉伯语数据集上的口语方言分类系统。研究人员实现了两种深度神经网络模型，即CNN和双向LSTM。研究人员仔细考虑了韵律、声学和节奏度量（IMs）的语音信号特征，并深入研究了将这些特征组合作为区域方言分类中新特征的方法。所考虑的特征包括基频及其导数、能量及其导数、MFCC和IMs。系统使用了TIMIT语料库（6300个音频文件和6300个文本转录文件）和SAAVB语料库（612个音频文件和612个文本转录文件）。实验表明，性能受特征表示、数据集特征和方言相似性的强烈影响。声学特征提供最可靠的辨别能力，而韵律和节奏特征单独使用时表现较差，但组合后性能提升。BLSTM持续优于CNN。在TIMIT上，组合特征达到最佳准确率（CNN 68.50%，BLSTM 75.87%）；在SAAVB上，组合特征达到CNN 47.02%，BLSTM 60.19%。研究结果还表明，TIMIT和SAAVB中方言的行为及ΔV、ΔC值变异模式相似，邻近区域方言相互趋同，边界区域方言受国际边界影响。本文展示了CNN和BLSTM分类器在方言分类中的有效性，并引入了一种新颖的超参数调优框架。据所知，先前研究未在统一框架内比较阿拉伯语和英语方言的分类，本工作为法医语音分析和口语交互技术等实际应用提供了可靠性能。未来工作将关注更大数据集、严格说话人独立评估以及Transformer架构的探索。