基于特征提取和分类技术的印度地区口音语音识别系统

《Franklin Open》：Feature Extraction and Classification Technique Based Speaker Identification System of Indian Regional Accent

　　马赫什·K·辛格|拉吉夫·兰詹|杜尔格什·南丹|桑杰夫·库马尔|文卡塔·拉利塔·纳拉拉|古利文德拉·苏雷什
印度苏兰帕莱姆阿迪雅大学电子与通信工程系

摘要
基于口音识别说话者是一项具有挑战性的任务，尤其是对于印度地区的方言来说，因为这些方言在韵律上存在细微的差异，同时音素上也非常相似。本研究的目的是开发一个自动说话者识别（ASI）系统，该系统能够根据北印度语言（印地语（HIN）、旁遮普语（PUN）和孟加拉语（BEN）的使用者的地区口音对其进行分类。所提出的方法是收集以这些语言为母语的人的语音数据，然后使用梅尔频率倒谱系数（MFCC）和线性预测倒谱系数（LPCC）来提取特征。特征提取后，运用机器学习（ML）分类技术，如支持向量机（SVM）和决策树（DT），对受到母语口音影响的非英语语音样本进行分析。实验结果表明，SVM分类器的准确率显著高于DT分类器，达到了96.23%，而DT分类器的准确率为93.75%。这些发现表明，倒谱特征结合SVM分类器为识别具有地区口音的母语者提供了一种可靠的方法。该系统在改进语音识别、语言学习以及多语言环境下的生物特征认证方面具有潜在的应用价值。

1. 引言
通过口音识别一个人的母语在语音处理中是一项困难的任务，在像印度这样有多种语言的地区尤其如此。虽然可以通过韵律和音素线索来识别不同的地区口音，但这在自动识别系统中可能会引起问题。在没有其他线索的情况下，我们仍然可以根据语音模式了解说话者的一些信息，例如性别等特征。在多语言社区或激烈争论中，确定某人的国籍可能颇具挑战性。掌握某人的母语不仅有许多实际应用，还可以揭示他们的出生地。
在本文中，“母语者”指的是以印地语、旁遮普语或孟加拉语为母语的人；“非母语者”则是指主要语言不是这两种或那种语言的人。该系统旨在自动分类印度母语者的地区口音，特别是区分使用不同语言的说话者的口音。该系统并非用来区分印度人和其他国家的人，而是为了在多媒体和生物特征认证系统中识别地区口音差异。典型应用包括改进客户服务、个性化以及识别软生物特征等[1]。此外，在构建资源不足的语言数据库时，了解当地语言也会有所帮助。了解测试说话者的来源地可以减少训练数据与测试数据之间的差异。在多媒体应用中，使用与说话者相关的数据对于生物特征技术的正确运作至关重要[2]。因此，许多研究者正在研究第二语言习得的相关课题。自动发言者识别可以根据说话者的地区口音将其分类为多种不同的语言或方言。补充的语音应用是可选的，其功能取决于我们的需求。仅通过倾听口音就能判断出一个人有独特的声音特征，因为独特的发音动作模式体现了地区口音的特点[3]。图1展示了使用特征提取和分类技术进行地区说话者识别的方法[21]。图中展示了从印度三个不同地区收集的第一个语音样本，在多媒体应用中进行了展示。收集语音样本后，进行了去噪等预处理操作，随后使用特征提取和分类技术来进行说话者识别。

下载：下载高分辨率图片（152KB）
下载：下载全尺寸图片
图1. 使用特征提取和分类方法进行地区说话者识别

定义外口音的主要因素是说话者的母语或先前的语言经验。多种听觉线索有助于检测、定义和识别来自外国的口音[4]。这类方法包括利用I向量范式的技术，这种策略常用于发音识别。自动语音识别（ASR）领域经常在其研究中采用语言识别方法。理解MFCC和LPCC等声学指标对于口音识别至关重要。由于LPCC和FFT频谱都是替代频谱特征，因此也在本研究中进行了研究。通过分析说话者的非英语语音，研究人员能够准确推断出他们的母语。在研究语言识别时，大多数研究集中在与英语、旁遮普语或印地语地理上接近的语言上。为了更好地理解韵律差异，研究人员还研究了与之相关的含义。使用支持向量机（SVM）框架可以表示不同语言组中的频谱数据和声学特征（MFCC、LPCC），研究结果在多媒体应用中得到了验证[5]。随后，研究人员开始使用I向量和支持向量机（SVM）等分类器来研究上述特征，以确定说话者的国籍[6]。在像印度这样幅员辽阔的国家，研究语音分析以检测语言偏见具有重要意义。本研究的目的是从其他语言（包括英语）的发言中自动识别母语[7]。需要进一步研究印度背景下母语者和非母语者英语说话者之间的差异。本研究结合MFCC特征和SVM分类器进行了分析。最近完成了一项关于三种北印度语言的新语音特征的研究[8]。该研究使用了标准英语和地区变体。孟加拉语、旁遮普语和印地语的母语者分别评估了英语口音的声学特征。这些北印度语言在语音学和语音方面非常相似[9,22]。

听众识别和分类说话者方言或口音的能力是一个受到广泛关注的研究领域。已有研究探讨了不同语音风格的特点[10]。听众何时能察觉到地区性或非母语口音？两种有助于研究人们如何感知语音差异的任务是听觉自由分类测试和阶梯任务。自由分类测试对说话者和听众都有益，因为它消除了在多媒体应用中使用现有类别对说话者进行分组时可能产生的偏见[11]。Clopper及其同事的研究表明，自由分类测试在处理美式英语时表现更好。此外，自由分类任务的准确性优于强制选择任务。数据展示了参与者实际体验到的情况，而非研究者对任务预期含义的假设[12]。在美国，有六个明显不同的方言区域，母语者根据三个外部可辨别的特征（性别、地理位置和语言与标准英语的差异程度）对这些区域进行了分类[12]。在研究非母语群体时，研究人员发现性别和口音水平是影响感知质量的两个最重要因素。通过对两组人进行自由分类任务，可以辨别出母语者和非母语者之间的感知差异。之前为口音识别定义的任务类似于这些测试[13]。然而，自由分类问题比一维阶梯任务具有更多维度[14]。由于阶梯任务包含对一系列音频样本的评分，因此其结果可能与评分任务相当[14]。阶梯任务更适合喜欢多次聆听和比较的人来说。由于自由分类任务和阶梯任务在程序上有许多共同点，我们可以从结合的数据中获取更多关于母语者和非母语者感知表征的信息[15]。许多研究表明，在处理和展示数据时，母语者和非母语者的行为存在显著差异。尽管许多研究依赖于少量样本（例如仅一个母语者和一个非母语者）得出结论[16]，但自由分类任务尚未支持非母语或地区方言[17]。因为自由分类任务通常只考虑一个变异来源，所以关于不同地区方言与非母语口音对关键感知特征影响的研究仍然不足[18]。少数包含足够多样化的非母语说话者的研究支持了非母语口音与母语口音存在差异的观点[19,20]。

本研究的主要贡献包括：
- 开发了一种新型ASI系统，能够根据英语口音区分三种主要北印度语言（印地语、旁遮普语和孟加拉语）的母语者；
- 整合了强大的声学特征（如MFCC和LPCC），有效捕捉不同地区口音的独特频谱特征；
- 对包括SVM和DT在内的多种机器学习分类器进行了比较评估，证明了SVM的优越性；
- 语音数据库包含了来自特定地区仅包含男性和女性母语者的完整语音样本，从而拥有足够的数据来准确分类说话者的口音；
- 实验结果表明，SVM分类器的准确率高达96.23%，证明了所提出方法的有效性；
- 分析还揭示了在多语言环境中自动识别母语者的潜力，这为自动语音识别（ASR）、第二语言学习（SLL）和生物特征认证系统带来了新的应用可能性。

本文分为多个部分：第2节讨论了识别母语的先前研究，第3节介绍了用于确定说话者口音的技术，包括从语音中提取特征的方法和各种数据分类方法；第4节描述了数据收集和特征提取的方法；第5节展示了实验数据及说话者识别系统的性能分析；第6节总结了主要发现、方法的一些局限性以及未来可能的应用方向；第7节提出了关于多语言环境下母语识别研究的进一步建议。

2. 相关工作
通过语音处理自动检测地区语言和口音的研究正受到越来越多的关注，尤其是在多语言环境中。口音检测研究主要集中在声学特征（即表征口音的声学特征）和神经特征表示上。在早期研究中，识别口音的方法包括提取声学（MFCC）和韵律（如音高、节奏等）特征，然后使用GMM、SVM、DT和k-NN等分类器来区分地区口音和外国口音。在这一领域 recent 有一些非常显著的进展，深度学习模型中使用了 CNN（卷积神经网络）、RNN（循环神经网络）和混合架构，在使用不同数据集进行口音识别方面显示出显著的性能提升。例如，最近将 MFCC（ mel-frequency cepstral codescence）和 SVM（支持向量机）或 k-NN（k-近邻）应用于印度英语的区域口音时，性能有所提高。然而，由于不同地区之间的语音特征重叠、训练分类器所需的数据量不足以及泛化能力较低，仍然存在一些问题。一些研究者调查了少样本学习和迁移学习方法，以克服印度语言标注数据集较少所带来的局限性。已经有一些工作致力于使用诸如 Indic Accent DB 等解决方案，该数据库包含了用多种印度语言发音的英语口音版本。不幸的是，现有的数据集通常仅限于少数几种口音，并且在说话者的年龄、性别和录音环境方面存在较大代表性不足的问题。

先前口音检测工作的主要局限性包括：
- 数据多样性有限：大多数数据集没有全面覆盖所有印度口音或反映实际录音条件的多样性。
- 特征重叠：印度地区语言之间的高语音相似性导致系统分类混淆，尤其是在仅使用传统声学特征时。
- 泛化能力和鲁棒性：许多系统在应用于训练条件之外的情况下性能下降。背景噪声、说话者差异以及非脚本化的语言表现仍然是重大挑战（见表 1）。

以下是相关研究的综述：
| 名称 | 数据集/语料库 | 使用的特征 | 分类器/模型 | 语言/口音 | 准确率（%） | 主要观察结果 |
| --- | --- | --- | --- | --- | --- |
| Guntur 等人 (2022) | 印度口音语料库 | MFCC, DT, SVM | 多种印度语言 | ~93 (DT), ~94.6 (SVM) | SVM 的性能优于 DT |
| Singh 等人 (2024) | 印度地区数据集 | MFCC, ANN | 印地语, 旁遮普语, 孟加拉语 | 95 | 基于 ANN 的印度口音建模 |
| Chauhan 等人 (2023) | 多语言公共语料库 | MFCC, Spectral Fusion | SVM | 多种印度及世界口音 | 94 - 95 | 特征级融合以提高准确性 |
| Li 等人 (2016) | 跨语言基准 | MFCC, PLP, GMM, SVM | 广泛的印度及全球口音 | 90 - 94 | 跨语言泛化 |
| Bai & Zhang (2021) | 多种公共/全球数据集 | 深度嵌入, 光谱, MFCC | DNN, CNN, RNN | 全球（包括印度） | 最高达 96 (DNN) | 深度学习达到最佳效果 |
| Abualadas 等人 (2019) | 与文本无关的多说话者 | 混合声学（MFCC, PLP 等） | SVM, GMM-UBM | 多种口音 | 93.3 | 特征组合增强了鲁棒性 |
| Astuti 等人 (2020) | 说话者验证数据集 | MFCC, PLP, Spectral | KNN, SVM, CNN | 包括印度说话者 | 89 - 95 | 评估融合和深度学习 |
| Firmansyah 等人 (2021) | ICIC-YTA 挑战 | 印尼语 + 印度语 | MFCC (不同窗口) | SVM, DT | 地区语调变化 | 88 - 91 (SVM) | 窗口处理对 MFCC 特征很重要 |

**本研究的工作内容：**
本研究通过开发一个专注于三种密切相关的北印度语言（印地语、旁遮普语和孟加拉语）的说话者识别系统，来解决上述问题。该系统使用了一个精心策划和平衡的数据集。

**3. 用于区域口音分类的机器学习**
关于母语识别的研究基于特定区分属性取得了有希望的结果。为了确定参与者的母语，大多数研究依赖于他们在英语中的语言选择。一些研究使用了几种第二语言的数据集，包括中文、阿拉伯语、德语、意大利语和芬兰语等。其中，印度英语包含来自多种印度语言的语音元素，将其与其他形式的英语（如美式英语和英式英语）区分开来可能具有挑战性。以城市英语为第一语言的人来自不同的种族和地理背景。通过使用 SVM 对一组具有独特口音的印度说话者的特征进行建模，我们能够量化英语口音。该系统的目标用户是正在学习英语的北印度人。可以使用识别说话者和语言的算法来确定一个人的第一语言。图 2 描述了一个没有文本的语言场景，这使得为口音检测系统创建特定语言的单词模型变得无效。

尽管创建单词模型可能有所帮助，但这并不容易。因此，需要进一步的数据驱动研究。使用 ML（机器学习）算法模拟上述变化是更实际的选择。设计语言依赖性首先需要构建一个模型来检测语音流中的声学特征分布。在构建过程中，我们征求了北印度母语者的意见。国际标准化组织 (ISO) 为印地语等密切相关的语言分配了标识符。我们从每个类别中选择了一些说话者，记录了他们的母语和英语语音样本。选择研究说话者是一个细致的过程。系统听觉表示的基础是分离感知上重要的成分。在录音语音中研究了 LPCC（线性 Prophet haiоценный компоненты цифрового сигнала）和 MFCC（ mel-frequency cepstral codescence）等声学特征。通过使用支持向量机架构，我们检查了三种南印度语言（HIN、BEN 和 PUN）的语音发声的频谱特征。

**4. 说话者识别方法**
“印度口音”这一术语试图描述的是自然说话者与其他不那么流利的说话者之间的明显差异。非母语者在发音上会犯三种不同的错误：插入、删除和替换本身。SVM 通过分析一组特征来区分两种语言的流利说话者，这些特征可以揭示由印度口音引起的变化。本研究使用了具有多种第一语言的人说的第二语言英语语句，而不是单一的外语口音。在特征提取和预处理之后，分析了与口音相关的声道短期频谱信息。使用来自数据库的训练数据表示了三种母语。

**4.1. 数据收集**
数据库由印地语、旁遮普语和孟加拉语的母语者提供输入。对于每种语言，数据库都是从代表该语言群体的母语者那里收集数据创建的。结果基于这三种印度语言的流利说话者：印地语、旁遮普语和孟加拉语。通过使用基于地区的说话者进行训练，可以减少方言差异。母语者的言语模式不受地区方言的影响。测试集成员所说的语言分布较为均匀。然而，由于可能存在偏见，没有选择在幼年时期接触过英语的说话者参与研究。这确保了不会发生任何不利情况。训练集中的说话者来自三个主要的北印度地区。理想情况下，将会有具备自动口音识别能力的语言基技术供研究参与者使用。在录音之前，说话者有充足的时间来熟悉主题，从而使他们的演讲看起来更自然。为了捕捉真实的语音特征，录音时采用了中立的语言，避免了不必要的变化。磁带上包含了 eighty 多个单词。由于录音在安静、受控的环境中进行，没有外部干扰和精神压力，说话者能够集中注意力，自然地表达自己。此外，采取了一系列措施来减少偏见：使用了中立的语言，气氛保持冷静，每个人都有平等的发言机会。对于训练和测试，每个说话者都录制了超过 40 秒的语音样本。获得的语音数据被分为两组：一组用于训练，一组用于测试。如图 3 所示，三分之二的数据用于训练，如图 4 所示，三分之一用于测试。

**4.2. 特征提取技术**
从语音中提取特征是获取有用信息的重要方法。语音信号包含了识别说话者所需的所有数据。特征提取与预处理器的输出相关，该预处理器作用于语音帧。有多种计算特征提取的方法。例如，每个接收到的帧都使用对数、FFT（快速傅里叶变换）或 DCT（离散余弦变换）方法及其组合。这些数学函数描述了语音的各个方面。提取的语音特征可以是一维的或多维的。在这里，我们将每个帧的特征系数与所有可用的特征向量进行比较。结合不同的元素有助于提高说话者识别能力。短期频谱特征和频谱-时间特征共同作用，以提高说话者识别效果。我们在这里使用 MFCC 和 LPCC 方法来提取特征。在 MFCC 特征提取中，每个帧都被快速转换为傅里叶变换，以便在 Mel 缩放的滤波器组中检查频谱。这些方法对滤波器组应用离散余弦变换以产生倒谱系数。为了获得更好的 MFCC 特征，LPCC 使用了 Durbin 的递归方法。建议在嘈杂环境中使用 MFCC 特征提取来识别说话者。倒谱是语音流的对数幅度频谱的 IFFT（逆傅里叶变换）。它在语音信号处理中用于检索声道的激励序列。对于提出的重要滤波器组技术，使用了有限脉冲响应带通滤波器。Mel 和 Bark 规格以直线方式显示了这些滤波器。Bark 规格是一个重要的频带规格，而 Mel 规格是一个频率规格。

**4.3. LPCC**
图 5 可视化了将语音数据转换为其声学特征的技术和信号处理策略，以及从个体提取的参数。从该语言的口语片段中可以推断出说话者的音素结构。这使得本研究在分析时采用了语段级别（segment level）的方法。因此，可以识别出有助于音素形成建模的因素。下载：下载高分辨率图像（75KB）下载：下载全尺寸图像图5. 使用LPCC进行特征提取。电话通话的典型时长约为80毫秒。在32比特的量化精度和每秒16,000个样本的采样率下，语音波形在发音稳定时被捕获。显然，为了结束静音状态，有人使用了一种称为“语音活动检测”（vocal activity detection）的方法。特征向量是使用20毫秒的帧大小和10毫秒的帧位移为每个帧创建的。我们使用320点汉明窗（320-point Hamming window）计算了160个样本连续帧的傅里叶谱（Fourier spectra）。如果将参数化表示分为两组，本研究的结果将更容易理解。从这些分类中可以得出两个独立的类别。在整个实验中，傅里叶谱（I Fourier spectrum）和线性预测谱（Linear prediction spectrum）都被各自用于相应的应用。另外两组特征，LPCC和WLPCC，可以用来评估声道滤波器的质量。在我们的团队中，我们将Weighted LPCC简称为WLPCC。倒谱系数（cepstral coefficients），或特征属性，可以通过滤波器组技术（filter bank technique）或LP分析得到。以下是本研究检查的频谱特征的总结，以及一些用于分类的潜在参数。4.4. MFCC MFCC在高频范围内减少不需要的频谱偏移的能力是一个优势。通过使用MFCC，可以精确地描述语音片段的频谱包络。利用MFCC参数化，可以确定某种特定的声道排列是产生声音的最佳方式。图6描述了通过MFCC进行的统计分析。下载：下载高分辨率图像（144KB）下载：下载全尺寸图像图6. MFCC算法的统计分析框图。用于计算MFCC的窗口化方法。在整个过程中，根据方程式（1）应用了离散余弦变换（DCT）、梅尔刻度频率拉伸（Mel-scale warping）和对数压缩。(1)c[n]=∑n=0N?1log(|∑n=0N?1v[n]e?j2πknN|)cos(k(n?0.5)πN)n个MFCC系数表示为c[n]，'N'个通道的梅尔滤波器组产生的输出表示为v(n)，其中n=1,..., N。4.5. 分类器 SVM：要使用基于监督学习的SVM分类器进行分类，需要进行训练。在使用SVM进行分类之前，需要使用监督学习方法对其进行训练。在多个数据集上训练之后，SVM会将传入的数据分为两类。SVM是模式识别任务中强大而高效的工具。SVM建立在超平面（hyperplane）之上。保持演讲者之间的距离适中，可以使类别大小减半。支持向量机（support vector machines）的设计在很大程度上依赖于分类。SVM利用超平面来区分第一类和第二类数据项。通过观察超平面的边缘，可以了解中间平面和平面之间的分离情况。4.6. DT DT是一种通过“分而治之”的算法。该算法依赖音高属性和标签作为输入，以确保正确的操作。当输出矩阵与目标矩阵或标签之间的差异较大时，通常会使用梯度下降反向传播（ramp descent backpropagation）技术来减少这种差异。网络训练完成后，该权重矩阵会显示多种音高变化的分类器。这个矩阵中的权重用于对测试样本进行分类。5. 实验 结果：说话者识别实施构建说话者识别技术是本研究的关键决定。具体来说，这些系统旨在实现自动说话者分类，特别关注它们处理本地口音的方式。系统自动分类说话者的能力是其基本组成部分。表2列出了说话者识别系统使用的分类器，而表3列出了特征向量。我们讨论了支持向量机和决策树（decision tree）的理想组件数量和理想特征向量大小。在比较评估的频谱特征组合时，MFCC显示出最大的潜力，并且表现优于其他特征。因此，SVM被用来区分三种主要的英语变体。使用这种不依赖于所说语言的参数估计方法，可以描述母语者的音素发音。MFCC系数可以用来修改母语和非母语 speech。它们也可以作为倒谱系数，无论语言如何，都能提供准确的声学参数估计。表2. 基于MFCC的分类器的平均说话者识别准确率。性能测试现有技术 [1]提议技术GMMGMM-UBMSVMDT准确率 (%)87.990.994.6095.53EER (%)36.733.312.328.25表3. 基于LPCC的分类器的说话者识别准确率。性能测试现有技术 [1]提议技术GMMGMM-UBMSVMDT准确率 (%)87.990.993.9594.32EER (%)36.733.310.457.65首先，应用SVM模型根据每种目标母语口音的属性来预测匹配的非母语 speech。为了构建语言模型，我们结合了来自上述信号处理技术的MFCC特征向量。这些特征向量是在该方法训练阶段使用M组件生成的。我们的训练方法基于最大似然（Maximum Likelihood）方法，考虑了所有可能的特征和音素组合。研究人员的共同目标是一种通用语言。给定语言的SVM是其ML组成部分的总和，每个部分都具有高斯分布。SVM展示了这些部分。每种母语都使用这种策略提取机器学习参数。SVM分类器使用了来自HIN、BEN和PUN语言组的数据进行训练。通过利用整个训练数据集，我们开发了一个能够跨越不同语言的模型。由于这种整合，三种不同的语言结构被合并成一个UBM（Unweighted Binary Matrix）。这个256组件的UBM是用来自所有三种语言组的声音记录的特征训练的。似然函数被用来生成UBM母语模型。随着研究的进展，MAP方法被用来为每种母语口音构建SVM。我们考虑的所有母语数据都被用来验证SVM模型的有效性。我们追求的自然语言模型与我们的特定组件相当。在现有工作中，卡纳达语（Kannada）、泰米尔语（Tamil）和泰卢固语（Telugu）被用来达到最高的性能水平。所提出的方法使用印地语（Hindi）、孟加拉语（Bengali）和旁遮普语（Punjabi）来实现与现有方法相同的目标。根据i-vector技术，每种母语语音的SVM分类器由一个单一的总变异空间表示，该空间将语言和非语言组成部分结合到一个低维子空间中。因此，语音识别系统使用了SVM分类器。该系统使用表2中显示的数据集进行了训练和测试。还展示了在说话者识别系统中使用三种不同分类器进行的测试。使用表3中指出的训练集，进行了多项封闭集语言识别实验来评估母语口音识别的可行性。我们结合了SVM和DT分类器以及MFCC特征来创建这些系统。表2和表3展示了这种语言口音分类的结果。平均识别率超过93%，表明SVM技术能够有效地区分不同语言的口音。对于HIN、PUN和BEN，SVM的平均值显示在表3中，可以与其他三种母语模型进行比较。每种语言的每个组件的平均值位置不同，如表中所示。表4展示了HIN、PUN和BEN的语言表示。MFCC系数的幅度根据语言模型而有很大差异。除了HIN之外，PUN模型中第3-2组分的幅度显著大于HIN和BEN模型中的第2-2组分。我们使用专门为这项研究开发的说话者识别技术验证了三类非母语英语口音划分的准确性。实验研究的目的是更深入地了解与三种英语方言相关的听觉特征。使用表4中描述的测试集计算了口音分类的估计值。十三个传统MFCC特征的系数被用来准确捕获口音的频谱信息。一些研究的性能分析结果在表4中呈现。表4. 使用母语印度语言进行说话者识别的效率。说话者语言SVM分类器DT分类器BEN96.47%94.45%PUN97.56%92.14%HIN96.78%95.12%在建模过程中，分别使用了MFCC和LPCC的独立和组合声学属性。为了确定一个人的母语。对于每种语言模型，我们可以确定属性测试向量的对数。南印度语言的说话者可以通过他们的英语母语发音来区分。当应用于LPCC和PLP数据时，SVM分类器的效率低于使用MFCC特征时的效率。如图7所示，并在表4中详细说明，仅使用MFCC功能可以最大化系统的性能。当有32个SVM组件时，结果更好。与其他说话者识别系统相比，i-vector分类器对于旁遮普语的最大准确率为94.23%。下载：下载高分辨率图像（179KB）下载：下载全尺寸图像图7. 两种分类器的比较分类效率。基于语音的研究旨在检查基于语段级特征和超语段信息（supra-segmental information）的特征。为了将我们的结果与其他正在进行的研究进行比较，我们进行了这项研究。大多数用于验证的数据涉及英语。在大多数情况下，使用了基于倒谱特征的标准（cestral trait-derived criteria）。图8显示了三类分类问题的混淆矩阵，提供了每个类别性能的详细见解和潜在的错误分类模式。此外，图9显示了组合的F1分数和其他常用指标，如精确度和召回率（precision and recall），确保了超出整体准确性的全面评估。下载：下载高分辨率图像（264KB）下载：下载全尺寸图像图8. 三类分类的混淆矩阵。下载：下载高分辨率图像（173KB）下载：下载全尺寸图像图9. F1分数比较。系统的性能最初是基于分类准确性来报告的，SVM达到了高达96.23%的准确率。为了提供更细致的评估，我们现在包括了混淆矩阵，这些矩阵揭示了每个口音类别（印地语、旁遮普语、孟加拉语）的分类性能，突出了最常见的错误分类模式。此外，还报告了每个类别的精确度、召回率和F1分数，提供了误报和漏报之间权衡的平衡视图。这些指标共同展示了分类模型除了准确性之外的稳健性。此外，我们还详细说明了等错误率（Equal Error Rate，EER）指标，该指标捕捉了误接受率和误拒绝率相等的点，这是说话者识别任务中一个重要的与阈值无关的性能度量。例如，DT分类器的EER为8.25%，强调了其敏感性和特异性之间的权衡。6. 研究的局限性尽管所提出的印度地区口音识别系统展示了有 promising 的结果，但仍需承认几个限制：数据集规模和多样性：尽管数据集涵盖了三种主要印度语言（印地语、旁遮普语、孟加拉语），但相对于印度丰富的语言和人口多样性而言，说话者和记录样本的数量有限。数据集主要由来自选定地区和年龄组的说话者组成，这可能限制了模型对其他人群和方言变化的泛化能力。语言和口音的重叠：所研究的三种语言在语音和音系上具有相似性，这可能导致声学模式的重叠，从而复杂化分类任务。这可能导致错误分类，特别是在实际环境中，说话者可能具有混合或混合口音。语音内容和风格：录音主要是脚本化的朗读语音，在受控条件下录制。本研究未考虑自发对话型或嘈杂的语音类型，这限制了该系统在自然环境（如呼叫中心或公共空间）中的适用性。特征探索较为有限：研究主要集中在频谱特征（MFCC和LPCC）上，尽管这些特征已被证明有效，但引入其他特征（如韵律特征、发音特征或深度学习生成的嵌入）可能会捕捉到更多细微的口音差异。分类器的选择有限：比较主要针对传统分类器，如SVM和决策树，并未广泛探讨在相关任务中表现优异的新兴深度学习架构。数据集排除了那些接触过多种语言或能流利使用多种语言（包括母语）的发言者，这可能无法反映印度实际的多语言使用情况（印度常见语言切换和语言迁移现象）。本研究表明，通过开发一种基于声音特征（尤其是从印地语、旁遮普语和孟加拉语语音信号中提取的特征）来区分印度地区口音的自动化系统，对 speaker 识别领域有所贡献。MFCC与LPCC的结合，以及SVM和决策树等强大分类器的使用，形成了一个新颖的框架，提升了多语言环境下口音识别的理论理解和实际应用水平。理论上，该研究证明了结合频谱特征进行口音识别的有效性，尤其是MFCC特征能够有效区分密切相关的印度口音。分类器性能的仿真也证实了SVM在处理高维度、微妙语音数据方面的优秀表现，进一步支持了先前文献的研究结果，并提供了与印度语言环境相关的实证验证。在实际应用中，该系统表现出色：使用SVM对三种本土语言进行分类的准确率超过96%，展示了其在生物特征认证、个性化人机交互和具有本地口音特征的适应性语言学习系统中的巨大潜力。此外，采用相对传统但功能强大的声学特征使得系统计算负担较轻，适用于资源有限的市场环境。尽管研究结果显著，但仍存在一些不足：数据集仅涵盖了三种主要印度语言，缺乏跨年龄、地区和方言的全面人口统计多样性，从而限制了其普遍适用性；实验设置使用了脚本化且无噪声的对话样本，因此无法准确评估系统对非脚本化或嘈杂自然语音的适应能力；此外，研究未对可能具有更复杂说话特点的先进深度学习模型进行深入分析。未来研究应通过扩展数据集内容、纳入自发对话数据，并探索融合深度学习与传统基于特征的方法的综合模型来解决这些问题。未来研究还可以探讨印度常见的多语言和语言混合环境下的口音识别问题。另一个有前景的研究方向是应用迁移学习和数据增强技术，以弥补代表性不足的口音和变体的数据问题。最终，结合声学特征与发音或视觉语言线索的多模态生物特征系统将显著提升口音识别的准确性和鲁棒性。

**伦理批准**：本研究遵循了所有伦理和专业标准，未使用动物或人类参与实验。
**数据和材料的可用性**：本研究使用了现有网络数据库中的数据和图表，该手稿的发现尚未在其他期刊上发表或审议。
**作者贡献**：所有工作均由各位作者共同完成。
**资金情况**：未接受任何其他机构的资助或拨款。

**CRediT作者贡献声明**：
- **Mahesh K. Singh**：调查、正式分析、数据管理、概念构思。
- **Rajeev Ranjan**：写作与编辑、初稿撰写、监督、软件开发。
- **Durgesh Nandan**：项目管理、方法论研究。
- **Sanjeev Kumar**：验证工作、监督、资源协调。
- **Venkata Lalitha Narla**：监督、软件开发、资源管理。
- **Gulivindala Suresh**：数据可视化、验证工作。