基于动态频谱分析的日本元音在发声变异性下的稳健声学表征：静态共振峰与VISC特征在SVM/RF中的比较

《PLOS One》：Robust acoustic representation of Japanese vowels under phonation variability using dynamic spectral analysis

　　

由发声（phonation）引起的声学变异性，尤其是耳语语音（whispered speech）中的变异性，对稳定的元音表征构成持续挑战。传统基于静态共振峰（formant）的描述符往往无法捕捉此类条件下元音的动态频谱行为。本研究评估日本元音在正常发声与耳语发声下声学特征表征的稳健性，比较静态共振峰测量与由元音固有频谱变化（Vowel Inherent Spectral Change, VISC）导出的动态频谱特征。动态特征用于表征连续的共振峰轨迹模式，而支持向量机（Support Vector Machine, SVM）与随机森林（Random Forest, RF）分类器作为分析探针，用于评估表征稳定性，而非作为算法优化的目标。结果表明，与仅静态表征相比，纳入动态频谱信息可在不同发声类型间实现更一致的元音判别，且在不同分类框架中观察到相似性能趋势。这些发现提示，分类结果的差异主要由声学表征的性质驱动，而非模型选择。该研究强调表征层面设计对于发声引起变异性下稳健语音信号分析的重要性，并支持在可变发声条件下使用低维动态特征进行元音建模。

语音处理研究依赖声学表征（acoustic representation，指语音信号在声学空间中的编码结构）来捕捉语言相关信息。正常发声语音建模已有较多进展，但声学表征在不同发声条件下是否保持稳定常被隐含假定，且该假定未被充分检验。耳语语音因无周期性声带振动、缺乏基频并减弱谐波结构，导致声学分析和面向正常发声的语音处理系统面临持续挑战。既有耳语研究多关注分类性能，较少直接考察声学表征本身在发声变异下是否稳定；研究对象也多集中于非声调语言或声调语言，对日语这类音高重音语言关注有限。同时，传统静态共振峰描述多在元音中点测量F₁（第一共振峰）和F₂（第二共振峰），难以充分反映元音内部动态频谱行为。因此，研究人员以日语为对象，比较静态共振峰特征与VISC（Vowel Inherent Spectral Change，元音固有频谱变化）动态特征在正常和耳语发声下的元音表征稳健性，并将SVM（Support Vector Machine，支持向量机）和RF（Random Forest，随机森林）作为分析探针，而非算法优化目标。研究旨在回答发声变异如何重塑元音声学空间、动态特征纳入后跨分类框架的稳定性，以及如何解释分类器行为作为表征稳健性证据。结论是动态频谱信息与静态信息结合可提升跨发声类型的元音判别一致性，且SVM与RF呈现相似趋势，提示分类结果差异主要反映声学表征性质而非模型选择；其意义在于强调表征层面设计对发声变异下稳健语音信号分析的重要性，并支持低维动态特征用于可变发声条件下的元音建模。

关键技术方法可概括为：数据来源于JVS（Japanese Versatile Speech）语料库，选取30名日语母语者（15男15女）、正常与耳语两类发声、覆盖五个日语元音，共2410个手动校验元音样本；原始录音经SPTK（Speech Signal Processing Toolkit）降采样至24 kHz。用Praat/Parselmouth提取F₁、F₂，并针对耳语调整最大共振峰数为n+1、共振峰上限为f+100 Hz；元音边界手动标注，以中点15 ms窗平均，排除6.15%不合格样本。VISC以20%与80%时间点计算VL（vector length，向量长度）与α（spectral angle，频谱角）。构建静态特征（SF）、动态特征（DF）及SF+DF特征集，用SVM/RF分类，70%/30%划分、5折交叉验证防止同一说话者泄漏，50次迭代；并以SHAP（SHapley Additive exPlanations）分析RF特征重要性。

4.1 描述性统计：通过正常与耳语元音的F₁、F₂均值、共振峰位移比及VISC参数统计，发现耳语元音共振峰总体升高，F₁升高约31%–114%（p<0.01），F₂升高约4%–25%（p<0.05），且位移随共振峰和元音不同而非均匀；正常语音中F₁较低的/i/和/?/具有较大的R_F1，F₂较高的/i/和/e/具有较小的R_F2。耳语语音的VL较正常语音缩短，/a/差异最大（34.16 Hz，p<0.01），/e/仅1.37 Hz（n.s.）；α在/a/、/i/、/e/多位于0°至90°，在/?/、/o/多位于0°至–90°，且发声类型间差异较小。F₁×F₂空间置信椭圆显示耳语元音重叠和离散更大。由此得出，发声引起的频谱位移非均匀，静态中点测量存在局限，而VISC可刻画元音内动态且α相对稳定。

4.2 基于分类的声学特征表征分析：通过SVM与RF比较SF、DF、SF+DF三类表征，发现SVM中SF+DF较SF显著提升正常语音（79.20% vs. 75.60%）和耳语语音（62.71% vs. 58.65%）分类准确率（p<0.001），/a/和/o/可达88%，耳语中/?/和/o/提升超过5%；仅DF时准确率明显下降。RF中SF+DF同样显著提升正常语音（78.09% vs. 72.40%）和耳语语音（61.34% vs. 56.19%）准确率（p<0.001），减少/i/与/e/误分并使/?/准确率提高约15%，但RF总体略低于SVM；仅DF亦下降。SHAP分析显示正常语音中静态共振峰贡献占优；耳语中F₁平均SHAP由0.124降至0.075，α在/a/、/i/、/?/分别增加33%、38%、29%，且耳语/?/的α重要性（0.0654）超过F₁（0.0571），与耳语/?/的F₁大幅上移109.8%（384.32 Hz至806.23 Hz）而F₂仅升高8.6%相符。结论是动态特征单独不足以可靠分类，但与静态共振峰结合可提供互补信息并增强稳健性。

讨论部分总结认为，动态VISC特征与静态共振峰结合可提高跨正常和耳语发声的元音可分性，SVM与RF趋势相似，说明分类差异主要由声学表征性质驱动。RF表现略低并非固有局限，而与低维特征空间中SVM的边界形成优势有关；加入VISC后SVM与RF差距由2.46%降至1.37%。补充的12维MFCC（Mel Frequency Cepstral Coefficients，梅尔频率倒谱系数）基线总体准确率更高，但加入VISC的增益较小，正常语音SVM由86.48%升至87.22%，耳语由76.42%升至76.67%；RF正常由82.19%升至82.75%，耳语由74.58%升至75.29%，支持动态性质且研究目标在于解释声学语音机制而非追求最高准确率。VISC单独效果较差与静态分类器不显式建模时序、VISC以汇总参数表征动态、端点差异或线性斜率简化发音动态有关；LSTM（Long Short-Term Memory，长短期记忆网络）和DTW（dynamic time warping，动态时间规整）等可进一步建模时序和发音动态。跨语言上，日语以单元音为主，但VISC不只源于双元音目标，也源于发音连续性和协同发音；日语正常语音VL约180–225 Hz，动态较紧凑，20%–80%窗不能完全消除邻近辅音协同发音，为自然连续话语研究的限制。日语五元音系统中静态共振峰已捕捉主要音系区分，动态信息主要作为补充；DF单独较低，组合后跨发声类型和分类框架提升约3.5%–5.5%。样本规模限制动态特征潜力，未来需扩大数据。VL在耳语中较小、α跨发声相对稳定，α具有工程应用潜力。

研究结论翻译：总之，本研究通过整合静态共振峰测量与源自VISC的动态频谱特征，考察发声引起变异性下的元音表征。研究结果表明，在正常和耳语语音中，将动态特征与静态信息结合可获得更稳定且更具判别性的元音表征。这些效应在不同分类框架中一致，提示性能差异主要反映声学表征的性质。不同模型间分类性能差异可归因于学习框架与低维声学表征的交互方式。总体而言，这些发现强调表征层面建模在实现跨多种发声模式（包括耳语等非正常条件）稳健元音分类中的关键作用。所提特征兼具低维度和高计算效率，适合实时语音处理应用，尤其适合资源受限的边缘设备生态。