深入探讨端到端文本到语音模型内部的表示机制:语音和声学信息是如何被编码的?
《Computer Speech & Language》:A closer look at internal representations of end-to-end Text-to-Speech models: How is phonetic and acoustic information encoded?
【字体:
大
中
小
】
时间:2026年05月02日
来源:Computer Speech & Language 3.4
编辑推荐:
马丁·朗莱(Martin Lenglet)| 奥利维尔·佩罗坦(Olivier Perrotin)| 杰拉德·贝利(Gérard Bailly)
格勒诺布尔阿尔卑斯大学(Univ. Grenoble Alpes)、法国国家科学研究中心(CNRS)、格勒诺布尔国立理工学院(Gr
马丁·朗莱(Martin Lenglet)| 奥利维尔·佩罗坦(Olivier Perrotin)| 杰拉德·贝利(Gérard Bailly)
格勒诺布尔阿尔卑斯大学(Univ. Grenoble Alpes)、法国国家科学研究中心(CNRS)、格勒诺布尔国立理工学院(Grenoble-INP)、GIPSA实验室(GIPSA-lab),法国格勒诺布尔,邮编F-38000
**摘要**
近年来,深度神经架构在包括文本到语音(Text-To-Speech, TTS)在内的各种语音处理领域展现了突破性的性能。模型规模不断扩大,包含更多层和数百万个可训练参数,以实现近乎自然的合成效果,但这种增长以计算出的中间表示的可解释性为代价。然而,这些神经模型所执行的统计学习为语言和语音产生提供了宝贵的信息来源。本研究旨在开发统计工具,以缩小这些先进处理技术与语音科学之间的差距。通过线性探索模型表示中的语音和声学特征,所提出的方法有助于理解神经TTS如何以无监督的方式组织语音信息,并通过对大规模数据集的统计学习提供关于语音规律性的新见解,这些数据集超出了人类的专业知识范围。本研究更进一步,利用这些见解设计了用于语音合成模型的新兴控制机制,而无需额外的数据或训练过程。所提出的控制在与语音表现力感知相关的各种声学和韵律参数上进行了评估。在多说话人的法语数据集上对两个基础TTS模型Tacotron2和FastSpeech2进行的实验表明,这些控制机制具有良好的性能,强调了在更广泛领域中使用可解释性方法的价值,使神经模型不仅被视为建模工具,而且成为探索其潜在机制和结构的分析框架。这种方法有助于获得更全面的见解,从而改进技术和其应用。
**1. 引言**
过去十年中,主要语音会议和期刊上关于语音生成领域的贡献显著增加,导致了大量用于文本到语音(TTS)合成的神经模型的发展。从技术上讲,这促进了每个模型组件的多样化设计,显著推进了语音技术。然而,这种多样性与一个持续存在的限制形成鲜明对比:这些模型的评估通常仅限于合成输出的质量(Wagner等人,2019年;Bailly等人,2025年),几乎无法揭示某些系统为何表现优于其他系统。尽管模型数量众多,但我们对它们潜在机制的科学理解仍然有限,凸显了技术进步与科学洞察之间的关键差距。在本文中,我们提出了一种替代且互补的方法来评估语音合成器,而不是仅基于输出信号。我们引入了一种系统性的、与架构无关的方法来探索TTS模型的内部表示。我们的目标是分析声学和语音信息在TTS模型中的编码方式,作为深入理解深度神经语音合成系统的第一步。
**1.1. 多样化的神经TTS编码器-解码器架构**
我们提出系统性和与架构无关的方法的动机在于,TTS模型的多样性围绕着带有条件的编码器-解码器架构。编码器通过各种可训练层对文本输入序列进行上下文化处理,然后解码器使用该上下文化序列来预测目标梅尔频谱图或直接生成语音波形(Lim等人,2022年)。最先进的系统在编码器和解码器采用的架构上有所不同。其中最常见的模型包括:Tacotron2(Shen等人,2018年)使用卷积网络处理局部范围上下文,并在其编码器中使用长短期记忆(LSTM)模块处理更长的上下文,同时使用基于自回归LSTM的解码器;FastSpeech2(Ren等人,2021年)在编码器和解码器中都使用了Transformer块(Vaswani等人,2017年)。这两种模型都输出梅尔频谱图,再通过神经声码器(Van den Oord等人,2016年;Prenger等人,2019年;Kong等人,2020年;Lee等人,2023年)生成语音波形。随后出现的模型如Grad-TTS(Popov等人,2021年)或DiffVoice(Liu等人,2023年)采用了扩散模型,而VITS(Jaehyeon Kim等人,2021年)则结合了变分自编码器和规范化流。最新的范式如Chen等人(2025年)使用来自神经音频编解码器的波形解码器,并通过重建和对抗性损失进行训练(Défossez等人,2023年)。编码器和解码器之间的接口通过文本到帧对齐机制实现,该机制可以通过显式的持续时间预测器(Ren等人,2021年;Popov等人,2021年)、无监督注意力层(Shen等人,2018年)或受大型语言模型(LLM)预测任务启发的自回归Transformer架构(Zhang等人,2024年;Lyth和King,2024年;Chen等人,2025年)来实现。
除了编码器和解码器块之外,还经常引入条件化方法来解决给定输入文本的语音变化性问题,即表达性语音合成。实际上,从文本生成语音是一个一对多的问题:仅凭文本不足以唯一确定要发音的句子的韵律和声学结构。说话者的特征(年龄、性别、社会背景等)(Resnick,2012年;Stuart-Smith等人,2014年;Becker,2014年;Foulkes和Docherty,2006年)、其身体、心理和情绪状态以及沟通意图都是影响话语音系和语音结构的众多因素,特别是语调(Bolinger,1989年;Cruttenden,1997年;Wichmann,2000年),这些因素与语言内容相协调。因此,为了考虑这种多样化的说话风格,神经语音合成框架现在通过额外的输入来补充文本条目,以引入TTS模型的偏差。例如,Stephenson等人(2022年)的文本增强方法引入了音节或单词级别的韵律和声学参数调制,Lemerle等人(2025年)在语音模型提示中对话语段落之间的风格进行了标记。相比之下,说话者或全局风格嵌入是应用于整个输入序列的偏差。说话者编码器可以是可训练的代码本(Skerry-Ryan等人,2018年;Shin等人,2022年)、在说话者验证任务上预训练的嵌入(Jia等人,2018年),或者通过音频参考层学习得到(Hsu等人,2019年)。在解耦文本和说话者信息后,可以将说话风格捕获为残差信息。这通常是通过编码参考语音信号来实现的,该信号在推理过程中不需要与所需的语言内容对齐即可实现风格转换(Skerry-Ryan等人,2018年;Wang等人,2018年;Zhang等人,2019年;Min等人,2021年;Lenglet等人,2023b),最近还使用了LLM(Minchan Kim等人,2021年;Shin等人,2022年)或自监督音频表示(Chen和Rudnicky,2022年;Chen等人,2025年)。有趣的是,由于TTS系统中一致使用编码器-解码器架构,说话者和风格嵌入几乎总是系统地添加到编码器和解码器之间的表示空间中,而且所有说话者和风格编码器的架构变体在不同系统之间完全可以互换。这种无限可能的额外编码器组合是TTS模型多样化的原因之一。
**1.2. 评估和解释TTS模型性能**
如上所述,这种多样性经常面临仅基于输出的评估限制,无法深入了解使特定模型根据给定标准产生更优语音合成的因素。这种限制在最近的比较评估中显而易见,例如Perrotin等人(2025年)的研究表明,所有三种类型的架构(基于Tacotron2的、基于FastSpeech2的以及随机模型)仅基于合成孤立句子的语音质量的感知和绝对评分就能达到优异的性能。通过这项实验,作者强调了这种评估在区分架构设计与输出质量的各种贡献(如训练数据的处理和准备以及模型训练程序的选择)方面的难度。这个问题在模型设计中更为突出,其中消融研究和超参数搜索通常依赖于输出信号评估,再次导致对性能差异的根本原因了解不足。总体而言,这些观察结果强调了需要更全面的评估方法,以揭示TTS模型性能的复杂性。
这个问题的答案部分在于神经模型学习的中间或潜在表示,即嵌入。揭示内部神经层中编码的特征对于TTS模型特别有趣,因为这些模型经常使用外部输入文本或输出信号的潜在表示来实现更精确的控制。如上所述,最近的TTS模型可能整合了来自说话者验证任务、LLM或自监督音频表示的预训练表示。然而,由于这些中间表示的训练大多不受限制,因此生成的声学、韵律、语音、句法或语义信息可能高度纠缠。这些神经模型的不可解释性构成了在更苛刻的环境和应用中开发这些系统的障碍(Gunning等人,2021年)。
这使我们回到本文的目标:提出一种方法来分析声学和语音信息在TTS模型内部表示中的编码方式。这种方法旨在更好地理解这些深度神经架构中信息的结构,基于两个主要贡献:
**线性探索**
我们引入了一种用于线性探索神经TTS模型内部嵌入中的声学和韵律表示的方法。为了覆盖多种架构和框架(CNN、RNN与Transformer块、无监督注意力与持续时间预测、并行生成与自回归),我们在Tacotron2和FastSpeech2模型上对一组声学特征进行了评估。我们成功揭示了每个特征在两个模型连续层中的变化方向(DV)的编码情况。图1用轮廓图展示了FastSpeech2中三个关键层的这一过程。
**因果控制**
为了验证所强调的特征DV是否被模型用于计算输出梅尔频谱图,我们展示了因果控制的可行性,即沿着特征DV移动嵌入是否会导致生成语音信号中相应声学特征的变化。我们将沿着特征DV的嵌入移动称为嵌入偏差。因果控制的质量取决于应用它的模型和层。这两种贡献的视觉和音频示例可以在我们的演示页面上找到,线性探索和因果控制的代码也可以在线获取。在第2节回顾了深度神经语音建模中探索表示空间的方法后,第3节描述了在嵌入中跟踪声学和语音DV的程序,以及使用这些嵌入偏差进行因果控制的方法。第4节“中间嵌入的分析”和第5节“语音特征的因果控制”分别展示了特征跟踪和因果控制的结果。第6节讨论了我们的方法对任何TTS模型和任何声学特征的通用性,并总结了本文。
**下载:**
下载高分辨率图像(751KB)
下载全尺寸图像
**图1. 我们的线性探索方法示意图。**
左图:从TTS嵌入(EL=[e1L,…,eNL]中提取的声学特征(P=[P1,…,PN]的线性预测器的训练,其中e∈Rd,N是输入字符的数量)。在解码器中,<.>表示对每个输入字符的帧级嵌入进行平均。以FastSpeech2为例。FFT代表前馈Transformer,NV代表神经声码器。右图:使用线性预测器展示了FastSpeech2端到端TTS对一个测试话语的基本频率(fo)轮廓(蓝色轨迹)的预测过程:从上到下分别是字符嵌入、文本编码器的输出和梅尔频谱图解码器的输入,这些嵌入被映射到推断出的语音信号的fo(橙色轨迹)。与用TTS训练的预测器不同,线性预测器是事后拟合的。
**2. 相关工作**
我们在文献中发现了两种探索深度神经模型内部表示的方法。第一种方法仅通过因果控制来评估表示的结构,即通过评估内部表示的修改对输出信号的影响。这种基于输出合成的评估方法再次提供了对那些表示中编码的信息的有限洞察。第二种方法涉及探测神经层,即直接在内部表示中量化信息。它起源于语音生成领域之外的领域。这两种方法都在本节中进行了介绍。
2.1. 寻求TTS模型的可控性
文献中探索TTS系统中间表示的主要动机是获得对语音输出的控制。随着参考语音信号编码器的广泛使用(Skerry-Ryan等人,2018年),很快就出现了结构化参考潜在空间并实现对合成风格控制的解决方案。训练后探索是在结构化的参考潜在空间中识别可解释的控制维度的一种方法。Wang等人(2018年)提出了全局风格令牌(GST)架构,其中GST层学习了一组有限的、针对话语的风格令牌,旨在从参考嵌入中学习解耦的表达特征,Lenglet等人(2023b年)进一步将其扩展到针对单词或音素的风格令牌(LST)。同样,Zhang等人(2019年)通过变分自编码器(VAE)对参考嵌入进行了降维。通过这两种方法,作者表明,可以通过选择适当的定制令牌组合或在VAE潜在空间中沿各个维度采样来控制诸如平均音高、音高变化和说话速度等表达特征。Sorin等人(2020年)使用主成分分析(PCA)可视化了参考嵌入,并展示了不同风格在降维空间的第一维度中被投影出来,尽管在训练过程中没有指定风格标签。他们推导出了用于控制合成风格的风格偏差向量。同样,van Rijn等人(2021年)研究了通过人类采样来控制GST空间的可行性,以达到期望的风格。另一种方法是在进行参考潜在空间训练时使用监督。Wu等人(2019年)在训练Tacotron2-GST模型时为每个令牌施加了特定的标记风格。他们展示了即使在部分标记数据的情况下也能获得良好的情感识别分数。但是,这里的推理仅限于训练期间看到的有限风格数量。相比之下,Minchan Kim等人(2021年)、Shin等人(2022年)和Bailly等人(2024年)使用了预训练的BERT模型(Devlin等人,2019年)来约束大量风格标签的音频参考编码器的训练。因此,在推理时,可以通过训练期间未看到的自由语音标签来选择说话风格。这种方法使得对潜在空间的语义探索成为可能,但需要一个标注有风格的大型语料库。
4. 除了高级风格控制之外,一些工作还针对韵律和声学参数的独立调制——如音高、持续时间和强度(Raitio等人,2020年;Mohan等人,2021年;Iliescu等人,2024年)——以及声音质量特征,如粗糙度、 breathiness或creakiness(Rautenberg等人,2025年;Lameris等人,2025年;Lameris和Ward,2025年)。在这些研究中,通常为每个语音特征实现一个专门的编码器,并以监督方式进行模型训练。
如上所述,所有这些研究的共同点是,通过对结果语音信号的观察来评估参考潜在空间的探索和/或结构化,使用声学指标或感知测试。虽然这些方法在控制方面表现令人满意,但关于这些嵌入编码了什么以及它们如何与文本嵌入交互仍知之甚少。特别是,请注意,风格嵌入要么被连接(Skerry-Ryan等人,2018年;Lee和Kim,2019年;Sorin等人,2020年),要么被添加(Wang等人,2018年;Wu等人,2019年;Zhang等人,2019年)到文本编码器的输出中,而且这种实现选择很少有明确的理由。连接会增加内部空间的维度数量,从而成比例地增加模型的内存占用。连接还假设局部文本嵌入和话语风格嵌入不一定共享维度。然而,没有证据来验证这一假设。另一方面,添加话语风格偏差强调了这两种表示驱动相同的声学和韵律特征。因此,话语风格偏差被视为要应用的平均行为,它由文本编码器的输出进行调制。在本文提出的嵌入偏差方法中,我们强调了如何设计话语风格偏差以有效实现话语中平均特征的修改,因此提倡添加范式。为了证明这一点,需要开发探测方法来分析特征在模型层中的编码方式。
2.2. 探测深度神经网络中的特征
探测神经模型内部嵌入中编码的特征(Belinkov,2022年;R?uker等人,2023年)最初出现在语音生成之外的领域。Zeiler和Fergus(2014年)展示了在图像分类上训练的连续卷积层学会了识别输入图像中越来越复杂的模式。对每一层执行的任务的更深入理解帮助作者设计了更周到的模型架构,从而在他们的识别任务中取得了更好的性能。同样,Yang等人(2021年)在基于生成对抗网络(GAN)的潜在空间中识别了编码场景照明、房间类型或布局的方向。他们还展示了通过沿发现的方向施加偏差来控制房间照明需要打开灯光:像暂停和说话速度一样,所需维度的分类控制和连续控制是自然有限的(如第5.3节所示)。在与语言相关的任务中,例如神经机器翻译中,Bau等人(2019年)识别了编码性别和时态的神经元。他们表明,对这些神经元的偏差可以在翻译性别或时态隐含的语言时控制这些分类特征。
随着语音编码的兴起——无论是通过语义表示(来自带有掩码任务的自监督模型)还是声学表示(通过带有重建任务的无监督神经音频编解码器获得),如Borsos等人(2023年)所形式化的——探测特征是一种识别语音模型中编码的语义和/或声学信息的方法。例如,Wells等人(2022年)、Vaidya等人(2022年)和Lavechin和Hueber(2025年)展示了在自监督神经模型的连续层中,如wav2vec(Baevski等人,2020年)和HuBERT(Hsu等人,2021年)中,语音、声学和发音特征得到了表示。他们的发现表明,中间层和顶层分别最好地编码高级音素和单词特征,中间层最好地编码发音特征,而早期层编码低级频谱特征。这些发现为根据所需信息类型选择中间表示提供了依据。同样,Sadok等人(2023年)和Jacquelin等人(2024年)证明了在语音VAE的潜在空间中对基频和共振峰频率的分段线性编码。最近,Zhang等人(2024年)使用互信息度量来量化他们的语音语言模型SpeechTokenizer的潜在残差向量量化层中存在的文本或语音信息量。Sadok等人(2025年)后来扩展了这项工作,进一步研究了包括SpeechTokenizer和BigCodec(Xin等人,2024年)在内的神经音频编解码器的潜在残差向量量化层中对音素类别、说话者和音高的编码。转向更高级的风格编码,Adigwe等人(2025年)识别了WavLM模型层中与语音话语的自发性程度相关的变化方向。
与关于神经TTS的丰富文献相比,实际上很少有研究仔细研究编码到中间嵌入中的特征。表1列出了这类研究的非详尽列表,重点关注展示特定特征或使用创新方法探索潜在空间的工作。到目前为止,已经研究了三种类型的表示:
表1. 文献中嵌入分析的各种粒度。SC:语音编码;TTS:文本到语音;Emb. comb.:嵌入组合;⊕:连接;+:添加。
参考领域基线模型粒度嵌入组合探测的特征潜在空间中的因果控制
Wells等人(2022年)SCHuBERT语音?语音?
Vaidya等人(2022年)SCwav2vec/HuBERT语音?信号/音素/单词?
Sadok等人(2023年)SCVAE声学?共振峰/音高?
Jacquelin等人(2024年)SCVAE声学?共振峰/音高?
Sadok等人(2025年)SC神经音频编解码器语音/声学?音素/说话者/音高?
Adigwe等人(2025年)SCWavLM风格?语音自发性程度?
Perquin等人(2021年)TTSTacotron字符?语音?
Jia等人(2018年)TTSDeepVoice说话者⊕性别手工制作的伪说话者
Hsu等人(2019年)TTSTacotron2说话者/风格⊕性别/噪声条件?
Tits等人(2021年)TTSDC-TTS风格⊕eGeMAPS人类采样
Lenglet等人(2022b)TTSFastSpeech2韵律+说话速度潜在空间中的转换
?imko等人(2023年)TTSTacotron2韵律+韵律参数潜在空间中的转换
Suni等人(2025年)TTS风格TTS2韵律/风格+韵律参数/风格标签潜在空间中的转换
字母和音素嵌入:作为TTS系统的基本构建单元,音素和字符嵌入在所呈现的架构中起着核心作用。在French Tacotron中发现了正字法输入序列的内部表示编码了相应的音素(Perquin等人,2021年)。尽管该研究仅提供了对语音空间的定性观察,但它标志着更好地理解TTS嵌入的第一步。
说话者嵌入:Shuai Wang等人(2017年)表明,为说话者验证学习的说话者嵌入编码了说话者身份和性别,但也编码了语音内容和通道信息,这些可能会干扰文本编码器编码的语言内容。这些来自验证任务的高级说话者嵌入已成功用于TTS,以减轻推理期间所见说话者的限制(Jia等人,2018年)。
风格嵌入:第三,为了探索话语风格表示中的声学特征,Tits等人(2019年)、Tits等人(2021年)提出在参考嵌入中识别话语级别的平均声学参数。他们的方法包括计算潜在空间中对应于连续声学参数变化的方向。他们发现从音频测量的声学参数与从潜在空间预测的声学参数之间存在强相关性。尽管这种分析是由创建可解释的风格控制界面的目标驱动的,但作者并未将这种声学参数的识别用于控制。这种方法激发了我们关于FastSpeech2模型文本编码器潜在空间中说话速度编码的第一个研究(Lenglet等人,2022b年),在那里我们同样探测了与音节持续时间相对应的变化方向。我们进一步研究了这种变化方向或嵌入偏差给出的说话速度的因果控制。我们的工作之后,?imko等人(2023年)将这种分析和控制扩展到了Tacotron2模型的风格编码器中的基频和分散度以及频谱倾斜。同一作者后来在基于扩散的StyleTTS2模型的风格编码器中复制了他们的发现(Suni等人,2025年),并展示了在风格嵌入空间中的插值以实现有效的风格控制。
本文旨在将中间嵌入的分析进一步推进一步,通过在两个TTS系统的所有层以及帧级别探测大量分段(音素身份的声学相关)和超分段(韵律变化的特征)。与Tits等人(2019年)、Tits等人(2021年)相比,本研究旨在识别局部表示中编码的内容是作为音素还是字符嵌入。总体而言,对神经嵌入的更深入理解标志着将语音技术作为语音科学的统计分析工具使用的重大步骤,如第4节中进一步发展的那样。如果在结构化和探索潜在空间以进行风格控制时主要应用了因果控制,那么通常需要针对控制类型进行专门的训练程序。在我们的方法中,我们旨在通过训练后探测声学特征来揭示潜在空间中的控制方向,即一种可以应用于任何预训练模型的方法。特别是,我们将在TTS模型的几个层中展示分段和超分段语音特征的可控性度量,如第5节所示。据我们所知,这是对TTS模型中语音特征事后可控性的首次定量分析。方法
本节描述了首先探测TTS神经模型中间表示(称为嵌入)中的声学和语音特征的方法,并从它们的主要变化方向中推导出因果控制。图1总结了所介绍的程序。第3.1节详细介绍了从合成语音中提取音素声学特征的过程。然后,根据第3.2节描述的程序训练线性预测器来跟踪这些特征在中间嵌入中的变化。第3.3节介绍了因果控制。第3.4节给出了本研究中使用的TTS模型及其训练程序。
3.1 声学特征提取
尽管eGeMAPS特征(Eyben等人,2015年)在情感计算中显示出巨大潜力,但大多数参数是在较大的时间尺度上测量的,通常是在话语级别。由于我们的目标是在音素级别提取感兴趣的特征,因此我们考虑了一组较小的局部特征,这些特征既定义了音素的频谱身份(称为音段特征),也定义了与音素身份无关的更广泛的韵律变化(称为超音段特征)。测量特征的全部列表见表2。它包括:
- **共振峰**:由于文本编码器被认为会编码语音信息,共振峰很可能在其嵌入中被编码。
- **韵律参数**:选择了三个韵律参数——音素持续时间(D,计算为Mel频谱帧数加1的对数)、平均基频(fo,以半音为单位)和能量(E,以分贝为单位)——因为它们在表达控制中的普遍性(Zhang等人,2019年;Raitio等人,2020年;Ren等人,2021年;Mohan等人,2021年)。
- **频谱倾斜**:频谱倾斜(ST,以分贝/八度为单位)、重心(CoG,以半音为单位)和频谱平衡(SB1kHz)也被包括在内,因为它们在语音区分和语音质量中起作用。
- **音位信息**:序列中的相对位置(RP,一个从第一个音素到最后一个音素的线性斜坡,范围从0到1)被作为一个额外的超音段特征,以探索TTS架构执行的循环处理与并行处理可能需要以不同方式编码相对位置。由于使用了自注意力层(Vaswani等人,2017年),并且受到图像处理的强烈启发,系统地添加了正弦位置编码来模拟序列信息。实际上,并行数据处理本身无法访问序列中符号的相对位置。另一方面,像LSTM这样的循环网络本质上会顺序生成隐藏表示。因此,这种序列性质的编码可能不需要在潜在表示中。然而,我们将展示在文本到声音映射的关键阶段会计算相对位置。
为了按输入字符进行分析,需要对合成语音进行分割。为此,我们依赖于编码器和解码器之间接口的模型计算的自动对齐。对于配备了持续时间预测器的模型(如FastSpeech2),这种对齐是直接的,因为持续时间预测器计算与每个单独输入符号对应的帧数。另一方面,基于注意力的模型(如Tacotron2)产生的注意力图需要解释。我们之前提出了一种方法,考虑到模型在注意力权重最大的步骤中专注于某个特定字符。这种方法由Lenglet(2023年,第2.2.2节)详细说明,并在附录A中回顾。模型计算的时间对齐与合成结果一起保存,所有声学特征都是用Praat(Boersma,2001年)按音素测量的。由于选定的特征包括仅在语音的有声部分测量的参数(即fo),因此在训练这些特征的线性预测器时只考虑元音。所有参数都是在元音的中心部分(33%–66%)上平均的。
表2. 在神经TTS的潜在表示中跟踪的声学特征。半音(st)是以1 Hz为参考计算的。所有声学参数都是在元音的持续部分上平均的。
**特征类型** **声学特征** **缩写** **单位**
- **音段特征** **F1** **F1st** **半音** **F1st** **F1中心频率**
- **F2** **F2st** **半音** **F2中心频率** **F2st** **F2中心频率**
- **F3** **F3st** **半音** **F3中心频率** **F3st** **F3中心频率**
- **频谱重心** **CoG** **半音** **CoGst** **频谱重心**
- **频谱平衡** **SB1kHz** **分贝** **1 kHz处的频谱平衡** **SB1kHz** **分贝**
- **超音段特征** **Duration** **D** **对数(1 + 帧数)** **持续时间** **D** **对数(1 + 帧数)**
- **基频** **fo** **半音** **平均基频** **fo** **半音**
- **能量** **E** **分贝** **能量** **能量** **E** **分贝**
- **频谱倾斜** **ST** **分贝/八度** **频谱倾斜** **ST** **分贝/八度**
- **相对位置** **RP** **线性斜坡** **RP** **相对位置** **RP** **线性斜坡**
3.2 在TTS嵌入上训练线性预测器
在本节中,我们提出了我们初步工作(Lenglet等人,2022b)中最初描述的方法的扩展,以识别字符和音素嵌入中的声学和韵律特征。所提出的方法基于统计学习,这意味着需要一个代表性的嵌入样本来训练准确的后续声学预测器。然后,这个过程包括在这些中间嵌入上训练多个线性预测器,以研究在编码/解码过程的任何阶段可以预测每个声学和语音特征的程度。这些预测器的拟合优度(R2)的评估可以解释为每个特征在预测过程的任何步骤中是否存在线性编码的指标。所提出的回归过程的详细分解如下:
- **合成训练语料库的一个子集**:在模型完全训练后,使用音素输入在推理模式下合成训练语料库的一个子集(在我们的案例中为5%)。保存在编码器和解码器的连续层中计算的中间嵌入。为了限制这些合成中测量的音频特征中的异常值的影响,我们选择了韵律特征与训练语料库平均特征最匹配的话语。更具体地说:(a) 在这个合成集上按话语平均持续时间、基频和能量;(b) 在整个合成语料库上平均相同的特征;(c) 仅保留与语料库平均值相比MSE最低的生成话语的一半(最终为训练语料库的2.5%)。这种选择确保线性预测器在分布中最可信的部分上进行训练。
- **嵌入空间减少(回归之前):**所提出的回归可以在初始潜在空间或减少的版本上进行。在大多数模型中,中间潜在空间的一些维度之间存在强相关性(正面和负面)。然而,多线性回归依赖于解释变量独立的假设,因此这里使用多维缩放(MDS)(Kruskal和Wish,1978年)来减少潜在空间。选择MDS而不是其他线性减少技术(如PCA或独立成分分析(ICA),因为我们发现嵌入之间的余弦距离更好地反映了相似/不同音素之间的接近度/差异。为了在限制维度数量的同时使用准确的减少表示,只保留至少解释总方差90%的维度。因此,保留的维度数量取决于模型和层。请注意,内部空间维度较高的模型需要在减少的空间中更多的维度来解释90%的方差。
- **按层进行多线性回归**:类似于Tits等人(2021年),在嵌入上计算多线性回归,以(a)评估哪些特征可以从嵌入中线性预测,以及(b)提取与每个特征的连续变化相关的潜在空间中的方向。与Tits等人(2021年)不同,这种回归是应用于音素嵌入,而不是按话语风格的嵌入。这种回归过程应用于模型的每一层。由于解码器在频谱帧级别对嵌入进行上采样,因此通过平均每个音素的帧嵌入序列(33%–66%)来计算按音素的嵌入。这个序列由音频信号的自动分割给出。最后,在减少的空间中使用最小二乘多线性回归估计声学和韵律特征,使用LBFGS求解器(Nocedal和Wright,1999年)。
- **简约维度选择(回归的精细化):**预测器在减少的空间中给出最低的残差误差,但仍然依赖于许多维度来解释每个特征。为了进一步减少每个特征涉及的维度数量,对每个特征应用简约维度选择。这意味着(a) 一次忽略一个维度来计算相同的多线性回归。保存所有预测和测量声学特征之间的相关性。(b) 为了未来的回归忽略减少相关性最小的维度。(c) 重复此过程,直到相关性与减少空间中最初可能的最优相关性相差1%。平均而言,这种选择将计算回归的减少空间的维度数量减少了一半,对方法的预测能力影响很小。
5. 结果,最终回归f按层预测任何连续的声学或韵律特征,遵循方程(1):
$$
P^\hat{n}_L = a_P^L \cdot en_L + b_P^L
$$
其中$P^\hat{n}_L$是输入字符n在第L层的任何特征P的近似值,$en_L \in \mathbb{R}^d$是输入字符n在第L层的嵌入坐标,$d$是简约选择后的减少维度数量,$a_P^L \in \mathbb{R}^d$是沿$d$维度的参数P在第L层的回归系数向量,$b_P^L$是截距。$T$是转置运算符。
我们还将此过程扩展到分类预测器。与预测声学特征的连续变化类似,分类预测指示模型在哪个层做出音系决策。我们训练了分类预测器来预测输出音素和从正字法输入中预测法语连音的存在,以及在词边界处插入停顿。在这种情况下,多线性回归被线性判别分析(LDA)的分类所替代。输出音素目标根据Lenglet(2023年,第2.2.3节)描述的字母到声音映射(L2S)设置,并在附录B中报告。
3.3 来自潜在空间分析的嵌入偏差
方程(1)的一个含义是,特定连续特征P在减少空间中的最大变化方向直接由回归系数$a_P^L$给出。然后可以通过在模型任何层L的减少空间中沿这个方向平移来获得参数P的连续控制。为了便于控制,使用$a_P^L$的伪逆$a_P^L^\dagger = a_P^L / \||a_P^L||^2$作为要添加到音素或字符嵌入中的嵌入偏差:
$$
en_{biased}^L(k) = en_L + k \cdot a_P^L^\dagger
$$
结合方程(1)和(2),我们看到k直接是$P^\hat{n}_L$的偏移量,因此以与预测特征相同的单位表示:
$$
P^\hat{n}_{biased}^L(k) = f_n^{biased}^L(k) = f_n^L + k \cdot a_P^L^\dagger = a_P^L \cdot en_L + k \cdot a_P^L^\dagger + b_P^L = a_P^L \cdot en_L + b_P^L
$$
然后可以将这个偏差加到模型相应层L的文本嵌入序列中。请注意,为了在推理时控制特征,必须将$a_P^L^\dagger$投影回非减少的潜在空间,这是可能的,因为MDS是一种可逆的线性空间减少方法。因此,在实践中,嵌入在非减少的潜在空间中按照以下方程进行移动:
$$
e^{biased}_n^L(k) = e^{biased}_nL + k \cdot a_P^L^\dagger
$$
其中$e^{biased}_n^L \in \mathbb{R}^D$是输入字符n在第L层非减少空间中的嵌入坐标。WMDS是从非减少空间到减少空间的MDS投影矩阵。与第3.2节中描述的线性预测器类似,嵌入偏差$a_P^L^\dagger$是从在训练语料库的一个子集上生成的合成中进行的统计分析中推断出来的。这种方法可以应用于模型产生的合成语音上测量的任何连续声学参数,使其非常通用。此外,这种方法不需要任何额外的训练或数据。
3.4 训练神经TTS模型
本文研究了TTS研究中两个基础模型的内部表示:Tacotron2(Shen等人,2018年)和FastSpeech2(Ren等人,2021年)。如第1.2节所述,这两个标志性模型不仅代表了最近TTS系统中仍然使用的两种主导范式——自回归生成(Valle等人,2020年;Du等人,2024年;Chen等人,2025年)和显式长度调节(Kim等人,2020年;Miao等人,2020年;Sang和Thu,2021年;Jaehyeon Kim等人,2021年;Jeong等人,2021年;Eskimez等人,2024年)——而且还包含了当代架构中使用的核心神经网络模块。通过研究Tacotron2和FastSpeech2,我们有效地测试了我们的方法在最新TTS系统的关键构建模块上的表现,这些模块包括卷积神经网络(CNNs)、循环神经网络(RNNs)和Transformer块。这使我们能够评估我们的方法在各种架构组件中的通用性和鲁棒性。尽管自回归模型在该领域重新占据了主导地位——特别是在大语言模型(LLMs)的兴起下,它们既作为前端也作为后端,使用固定或可变长度的令牌在文本、语音、视频、手势和其他模态之间进行映射——但我们的方法旨在具有适应性。我们预期它能够应用于任何层,包括前端、编码器、解码器和后端。在第6节中,我们进一步讨论了将我们的因果回归和控制框架扩展到离散语音表示和随机层(Lin和He,2025年;Popov等人,2021年;Liu等人,2023年)。虽然FastSpeech2和Tacotron2共享类似的编码器/解码器架构,但FastSpeech2用多头自注意力层(FFT,Vaswani等人,2017年)替换了Tacotron2中使用的卷积和循环LSTM层(Hochreiter和Schmidhuber,1997年)。此外,FastSpeech2用持续时间预测器替换了Tacotron2中用于学习输入序列与输出梅尔频谱图对齐的注意力网络(Chorowski等人,2015年)。这个持续时间预测器被训练来预测输入序列中每个音素对应的频谱图帧数。这样,FastSpeech2可以在开始解码过程之前预测输出序列的长度。因此,FastSpeech2的解码器可以并行生成所有频谱图帧。相比之下,Tacotron2的解码器是自回归的,这导致推理和训练速度较慢。正如Shen等人(2021年)所指出的,尽管速度较慢,自回归解码器有助于提高音频输出的自然度。因此,这两种架构根据使用场景的不同具有各自的优缺点。然后值得分析这两种模型的潜在表示,因为它们代表了两种不同类型的模型。由于编码器在其中扮演的中心角色,我们特别关注由编码器计算的嵌入。这些字母或音素输入嵌入已经通过编码器进行了上下文化处理,应该包含Tacotron2的注意力网络和FastSpeech2的持续时间预测器都能读取的持续时间信息。此外,这些嵌入还被解码器用来“绘制”输出频谱图,因此应该同时包含频谱和韵律线索。
3.4.1 TTS模型的架构
Tacotron2和FastSpeech2都基于在线实现。Tacotron2的解码器被修改为每步生成两个梅尔频谱图帧,这加快了训练和推理的速度,同时不会降低整体合成质量。它还在几个结束帧上计算门损失,以确保序列标记的准确预测,如Lenglet等人(2021年)所述。FastSpeech2遵循Chien等人(2021年)描述的修改:在音素级别而不是帧级别预测归一化音高和能量。音高预测器预测fo值,而不是后续版本中推广的连续小波变换(Suni等人,2017年)。持续时间、音高和能量预测器依次放置,因此能量预测器依赖于音高预测器选择的音高嵌入,而持续时间不受韵律嵌入的影响。最后,在解码器之后添加了一个类似Tacotron2的后网络。FastSpeech2的整个架构如图1所示。此外,我们选择分别以半音和分贝来预测fo和能量。
两个模型都在编码器的输出端实现了一个额外的音素预测任务。根据附录B,根据表B.5中总结的激活规则,从正字法输入中选择音素目标。此外,当需要时,双元音被设置为单个正字法输入的目标:“exemple”被转录为/e g&z a? _ p l _/。对于音素输入,目标音素与单词的初始输入序列相同。标点符号和空格在/_/和/__/之间分开,分别表示静音(持续时间为零)和有非零持续时间的声音。这种分类是通过线性投影后应用softmax函数到编码器的输出来实现的。交叉熵损失被评估并加入到总损失中。这种音素预测任务被证明可以在不需要音频参考的情况下帮助训练文本编码器,而是使用提供的发音词典(Lenglet等人,2023a)。作者分享了更新后的FastSpeech2实现。
本研究试图根据TTS架构识别中间空间中的韵律和声学特征。请注意,FastSpeech2的方差适配器明确地塑造了文本编码器的输出,以强制在模型的这个位置编码音高、能量和持续时间信息。为了公平比较这两种研究的架构,训练了三种模型变体:
- 不使用任何韵律预测器(FastSpeech2的持续时间预测器是必需的,与原始Tacotron2设置相同):FS?P?E,TC;
- 使用韵律预测器但不通过韵律嵌入注入预测结果:FS?E,TCP;
- 使用韵律预测器并在解码过程中重新注入韵律嵌入(与原始FastSpeech2设置相同):FS,TCP+E。
所有变体都在表3中总结。与FastSpeech2不同,Tacotron2在推理时不使用持续时间预测,因为文本到帧的对齐是由注意力网络隐式完成的。此外,还训练了一个没有音素预测的FastSpeech2版本FS?phon,以验证这个子任务对嵌入中编码的特征的潜在影响。如果我们假设显式的韵律和音素预测器旨在塑造文本编码器的输出,以强制在编码器输出中编码音高、能量、持续时间和音系信息,那么即使移除了这些显式计算,这些特征也应该仍然被模型编码。
3.4.2 训练设置
表3中的所有模型都在Bailly等人(2021年)提出的对齐语料库的一个子集上进行了训练。该语料库包含来自一位法国女性发音者的44,626条话语。整个数据集都有音素转录和手工检查的时间对齐。所有模型都使用混合输入进行训练,即同时使用正字法和音素输入(Kastner等人,2019年)。对于正字法输入,使用附录B中描述的字母到声音的模式来确定哪个图素应该接收目标音高、能量和持续时间参数。静音字符被赋予零目标持续时间。语料库的5%(44,626条话语中的2,230条)被随机选为测试集,剩余95%(44,626条话语中的42,396条)作为训练集。在这个训练集中,随机选择了5%的话语(2,120条)作为开发集,用于训练线性预测器。数据集中的音频样本采样率为22,050 Hz。梅尔频谱图使用80个系数从0到8000 Hz计算。窗口大小设置为1024个样本(约46.44 ms),跳跃大小设置为256个样本(约11.61 ms)。
所有模型都训练到收敛,FastSpeech2的变体大约需要40个周期,Tacotron2的变体需要100个周期。对于Tacotron2,批量大小设置为64。训练阶段开始于10个周期的粗略模型初始化,在此期间后网络被丢弃,学习率固定为10^-3。这个阶段使模型能够启动预测过程。然后重新激活后网络,学习率呈指数级下降,直到第90个周期时达到10^-5。在最后四分之一的周期中,激活了门损失的微调,乘法因子λ=10,如Lenglet等人(2021年)所述。对于FastSpeech2,批量大小设置为32。前10个周期的学习率固定为10^-3。在这个初始化步骤之后,学习率呈指数级下降,第32个周期后达到10^-4。最终波形的合成由神经声码器WaveGlow(Prenger等人,2019年)完成,预训练模型与NVIDIA实现共享。
注意,我们在训练语料库上对声码器进行了50个周期的微调。
TCP+E(在文本编码器输出端重新注入韵律预测器和嵌入)从未产生令人满意的合成质量,因为注意力层缺乏收敛性。我们假设Tacotron2中计算注意力权重的循环LSTM层不适合处理输入序列中连续文本嵌入的韵律嵌入的变异性。因此,TCP+E被排除在进一步分析之外。
4. 中间嵌入的分析
本节描述了第3.2节中描述的回归过程的评估。如所解释的,在训练阶段之后,使用每个模型变体合成开发集,并保留了其中一半(1,060条)韵律特征与训练语料库平均特征最匹配的话语。所有中间嵌入都被保存下来,并训练线性预测器从这些嵌入中检索生成的声学特征。通过连续特征的拟合优度(R2)或分类任务的分类性能(F1分数)来评估给定线性预测的可靠性。除非另有说明,否则所有呈现的结果都是使用音素输入获得的。为了评估模型变体和层对每个回归的拟合优度(R2)的影响,我们对每个模型和层获得的回归残差进行了配对Bartlett测试,以评估分布之间的方差差异。随后应用了Bonferroni校正,显著性水平设置为p<0.05。图1展示了FS的嵌入层、文本编码器和解码器输出处的fo预测的定性示例。结果分析的组织结构如下:第4.1节关注由文本编码器从输入序列计算出的音素序列的关键识别因素——音段特征。其次,第4.2节研究了超音段韵律特征。
4.1. 音段特征编码
下载:下载高分辨率图像(867KB)
下载:下载全尺寸图像
图2. 按层对音段特征的多线性回归的拟合优度R2。x轴表示模型的连续层(从左到右):“Phon. Emb.”表示音素嵌入,“Pos. Enc.”表示位置编码器,“FFT”表示前馈变换器,“Conv”表示卷积层。垂直虚线表示编码器和解码器之间的接口。声学特征在表2中有详细说明。平均频谱特征的预测用虚线显示,而与平均值偏差的预测用点线显示。
下载:下载高分辨率图像(714KB)
下载:下载全尺寸图像
图3. 按层评估的音素分类性能,使用加权F1分数进行多类分类(所有音素、元音和塞音-辅音),以及使用F1分数进行双类分类(静音和连读)。静音和连读检测在单词边界处进行评估。x轴表示模型的连续层(从左到右):“Phon. Emb.”表示音素嵌入,“Pos. Enc.”表示位置编码器,“FFT”表示前馈变换器,“Conv”表示卷积层。垂直虚线表示编码器和解码器之间的接口。
4.1.1 频谱线索
解码器输出处的梅尔频谱图的“绘制”(例如,共振峰和谐波在频率带中的放置)在很大程度上依赖于从编码器嵌入中编码的音段频谱线索。由于频谱线索是特定于音素的,所提出的分析在回归之前考虑将频谱特征分解为两个因素:(1)每个音素类别的平均特征;(2)这个平均特征与每个音素上实际计算的特征之间的差异(Δ Features)。这种分解使我们能够区分来自所选音素输入的贡献以及通过连续模型层的上下文化。图2报告了按层计算的多线性回归的拟合优度。首先,我们观察到所有神经模型都能将每个音素类别的平均共振峰直接编码到音素嵌入中(R2 >0.8)。由于音素类别与前三阶共振峰之间存在直接映射,这表明每个音素类别的平均频谱特征是从每个模型的输入处的音素嵌入层直接编码而来的。另一方面,每个音素类别与这些平均特征的差异取决于上下文(例如,协同发音、由于韵律变化等)。因此,与平均特征的差异在连续的层中越来越被很好地建模,直到到达解码器的输出,在那里这些表示被投影到80个维度以计算预测的Mel频谱图。对于所有模型和特征,第一层和最后一层回归之间的差异是显著的(p<0.05)。有趣的是,无论模型如何,仅编码器本身无法实现上下文化。解码器仍然执行了大部分频谱特征的上下文化工作。解码器输出处的R2显著高于解码器输入处的R2(p<0.05)。在FS和FS?phon的情况下,这种效应得到了加强,因为它们重新注入了音高和能量嵌入,暂时降低了频谱表示的质量。对于这两个模型和所有特征,编码器输出处的R2显著低于编码器的最后一个变换器层FFT4的输出(p<0.05)。Tacotron2变体在其编码器输出处更好地编码了频谱特征的线性表示(R2约为0.4,而FastSpeech2变体的R2为0.2(p<0.05))。这种现象的一个可能解释是,Tacotron2的自回归解码器执行的操作比FastSpeech2中的多头自注意力块堆栈少,这可能限制了Tacotron2编码器计算出更接近预测频谱图的表示。添加韵律预测器并没有强烈影响这些观察结果。4.1.2. 音素预测所有模型中对平均频谱特征的早期编码——这些特征与音素身份密切相关——表明这种对音素表示的早期编码可能也适用于正字法输入。为了探索这一假设,本节使用正字法输入来生成中间正字法嵌入。使用线性判别分析(LDA)对这些嵌入进行了线性分类器的训练。这些分类器按层的性能在图3中报告。后者区分了对所有音素(蓝色)、元音(红色)、塞音-辅音(黄色)和法语连音(绿色)的分类性能。由于解码器中存在字符嵌入本身就表明该字符有非零持续时间,因此沉默和连音的预测仅限于编码器。无论模型如何,音素表示都出现在编码器的非常早期层中。不出所料,元音比塞音-辅音需要更多的上下文化才能被正确预测。从第一嵌入层开始,元音和塞音-辅音之间的F1分数差异可以由法语中相应字符可能的音素输出的可变性来解释(即,一种正字法不透明的语言)。词边界处的沉默和连音在过程中较晚被编码。这两种音系行为依赖于文本嵌入中对持续时间的编码。实际上,输入字符“space”产生沉默与否的唯一区别是预测的这个字符的持续时间(对于可选连音位置的最终辅音也是如此)。因此,这表明只有在实现音素预测任务时,FastSpeech2的编码器输出处才会出现持续时间编码。另一方面,Tacotron2在沉默和连音预测方面的性能较差,因为Tacotron2依赖于其注意力图来预测音素持续时间。注意力过程是自回归的,这不会将持续时间计算限制在文本编码器的输出。值得注意的是,在这种情况下,实现持续时间预测器的TCP比TC具有更好的预测性能。总体而言,Tacotron2的持续时间预测不如FastSpeech2准确,从而导致预测性能较差。这一假设将在第4.2节中得到验证。最后,这些结果显示了音素预测子任务的效果:FS?phon是唯一一个在文本编码器输出处没有实现音素预测的模型,其分类性能明显较差。这种效果在沉默预测上更为明显。如第3.4节所述,使用两个符号(/_/和/__/)来区分静音字符(持续时间为空)和沉默字符(持续时间非零)。因此,当实现音素预测器时,中间表示被塑形以最小化词边界处沉默字符和静音字符之间的混淆,从而提高了暂停的预测准确性。Bailly等人(2023年)评估了这些预训练表示应用于字母到音素转写的性能,结果在法语和英语上的预测准确率达到了99%,优于Taylor和Richmond(2019年)报告的早期端到端系统的拼写性能。这些结果支持了更好地理解神经模型操作的潜在表示的好处,这使得能够设计出优于现有方法的仔细子任务。4.2. 超音段特征编码超音段特征指的是(但不限于)超越音素身份局部范围的声调和节奏模式。与音段特征不同,超音段特征对音素的依赖性较低:在话语的某个位置,每个参数的预期平均值大致相同,无论音素身份如何。因此,多线性回归的目标被设置为每个参数的原始值。图4显示了Tacotron2和FastSpeech2按层计算的多线性回归的拟合优度。这两种架构以不同的方式编码超音段特征。如图4(b)所示,由于实现了韵律预测器,TCP的变化很小。即使在没有预测器的情况下,所有超音段特征也可以从编码器输出中比音段特征更准确地线性预测。解码器中的循环过程似乎对fo和ST最有益,其输出处的相关性达到最大(p<0.5)。前三个卷积层引入了来自相邻音素的上下文信息,这在一定程度上有助于编码韵律信息。然而,三个卷积层可能过多,如第三层预测性能的下降所示(p<0.05)。第三卷积层性能的下降也在图2和图3中表现出来。这一结果表明,两个卷积层可能足以对TTS编码器中的文本嵌入进行上下文化。另一方面,FastSpeech2的内部表示对实现的预测器非常敏感:FastSpeech2变体对所有超音段特征在编码器输出处的R2有显著影响(p<0.5)。实际上,图4(a)显示,在没有韵律预测器的情况下,FS?P?E在文本编码器的输出处既不编码fo也不编码E,而是在解码器的后期编码。同样,ST在训练期间从未被明确地作为预测任务的目标,它只出现在所有模型的解码器的最后几层。事实上,除了FS?phon之外,模型变体对解码器输出处的ST的R2没有显著影响。再次,FastSpeech2的解码器比Tacotron2更复杂,允许其编码器计算更抽象的隐藏表示,这些表示逐渐转换为频谱特征,以便在解码器输出时“即时”绘制Mel频谱图。音素在序列中的相对位置(RP)的编码显示了有趣的特性。FastSpeech2实现了显式的正弦位置编码,该编码在编码器开始和解码器开始时与字符/音素嵌入相加(图4(a)中的“Pos Enc”层)。如图4(a)所示,这一特征在编码器中逐渐减弱,因为不同层的R2有显著差异(p<0.5)。这种可视化证明了在Transformer网络中定期重新注入这种位置编码的必要性,这在Vaswani等人(2017年)的研究中并不清楚,同时也验证了在更深的基于Transformer的网络中使用替代位置编码的合理性(Al-Rfou等人,2019年)。在没有显式编码的情况下,这种相对位置是由Tacotron2的Bi-LSTM层隐式计算的。因为Tacotron2的解码器是自回归的,它必须预测生成序列的结束并相应地调节声音。这种因果解码过程可能受益于能够访问相对于序列结束的当前位置。下载:下载高分辨率图像(878KB)下载:下载全尺寸图像图4. 按层对超音段特征的多线性回归的拟合优度R2。x轴表示模型的连续层(从左到右):“Phon. Emb.”指音素嵌入,“Pos. Enc.”指位置编码器,“FFT”指前馈Transformer,“Conv”指卷积层。垂直虚线表示编码器和解码器之间的接口。声学特征在表2中有详细说明。4.3. 多说话者评估为了评估我们的方法对不同说话者的鲁棒性,我们在六位不同的法语说话者(4位女性,2位男性)上训练了六个版本的FS模型。多说话者语料库在表4中有描述。训练程序与第3.4.2节中的类似:所有模型都使用相同的字母到声音对齐方法进行混合输入训练。对于每位说话者,他们的话语中有5%被保留为测试集。所有版本都从零开始训练13,000次迭代,批量大小为32个话语。学习率在前3000次迭代期间设置为10-3,然后在10,000次迭代后指数衰减到10-4。使用的声码器与第3.4.2节中描述的WaveGlow相同。对于所有变体,我们使用与FS相同的开发集训练了线性预测器。表4. 多说话者语料库的描述。说话者性别# 话语数量持续时间(hh:mm:ss)平均持续时间(s)标准持续时间(s)ADF653805:02:142.7741.217IZF73100:30:482.5280.897ROF128901:16:573.5821.800MLBF238201:55:042.8981.554DGM747606:17:483.0322.145YBM101100:43:022.5541.888图5显示了多线性回归对音段(上)和超音段(下)参数的拟合优度。对于所有特征和层,说话者之间的R2差异大多是显著的,除了编码器层中的RP。尽管如此,效应大小很小:与图2、图4相比,显示出说话者之间高度一致的趋势,包括平均共振峰值的早期编码;解码器中协同发音的逐步编码以及与平均音段特征的差异;编码器中fo、E和D的编码,这是由韵律预测器强制的(详见第4.1节音段特征编码、第4.2节超音段特征编码)。因此,除了证明我们的方法与说话者无关之外,我们还强调了FastSpeech2模型在编码韵律和声学信息方面的一致行为。为了简洁起见,在结果展示中,我们回到NEB单说话者FastSpeech2和Tacotron2变体。下载:下载高分辨率图像(950KB)下载:下载全尺寸图像图5. FS模型上多线性回归按层对音段(上)和超音段(下)特征的拟合优度R2。x轴表示模型的连续层(从左到右):“Phon. Emb.”指音素嵌入,“Pos. Enc.”指位置编码器,“FFT”指前馈Transformer,“Conv”指卷积层。垂直虚线表示编码器和解码器之间的接口。声学特征在表2中有详细说明。4.4. 讨论这种对神经TTS连续层中频谱和韵律特征构建的可视化,据我们所知,是首次尝试以无监督的方式理解此类模型学习的计算动态,并突出了这些表示的丰富性。特别是,这些结果首先验证了文本编码器作为主要上下文化工具的作用,它学会了从输入符号编码声学输出的变异性。从第一个模型层开始就在音素嵌入中找到了平均音段值,这足以设置解码过程的频谱目标。然后,连续的神经层进一步对序列进行上下文化,并预测预期和持续的协同发音效应(Modarresi等人,2004年)。韵律是通过这一过程逐步预测的。实际上,在所有Tacotron2变体编码器以及FS和FS?phon编码器的输出中,对于大多数超音段特征(ST除外),文本表示已经达到了最佳拟合度。有趣的是,这种对fo和E的早期编码需要在FastSpeech2中实现韵律预测器,而在Tacotron2中则不需要(见图4(a)中的模型FS?P?E和图4(b)中的模型TC)。FastSpeech2的早期韵律预测器使模型能够预测韵律变化,这似乎有助于整体解码过程,正如Ren等人(2021年)报告的更好的感知分数所显示的那样。Tacotron2和FastSpeech2之间的这种差异可能是由于Tacotron2解码器的结构更简单,它应该比Transformer层更直接地“读取”内部表示。随着模型复杂性的增加,无法保证在基于Transformer(或基于Conformer)的模型中找到所有重要韵律参数的通用编码空间。这些结果证实,添加预测器迫使模型构建一个结构良好的音素表示空间,从而便于通过线性偏差进行控制。一种通用的方法是使用所提出的方法来设计逐层编码给定参数的预测子任务,以简化训练过程,并将这些层转换为显式的控制空间。从图4(a)中呈现的结果来看,在编码器输出端实现音高和能量预测器的合理性值得怀疑。在没有显式预测的情况下(模型FS?P?E),这些特征自然会在解码器的后期出现。因此,预计在解码器内部会有更好的预测性能。然而,尽管超音段特征可能没有在文本编码器的输出中完全编码,但此时已经确定了每个字符的预测持续时间,以及从图3的结果中产生的音素序列。根据构造,持续时间预测需要在这个最终的编码器层中实现,以便在解码过程之前进行音素到帧的对齐。因此,潜在的 utterance-wise 风格偏差也应该应用在这个层中(例如,说话者偏差 Skerry-Ryan等人,2018年,Jia等人,2018年,Hsu等人,2019年,风格偏差 Skerry-Ryan等人,2018年,Wang等人,2018年,Sorin等人,2020年),因为持续时间和节奏在表达性TTS中起着重要作用。因此,在同一层上设置所有显式的韵律预测器可以确保该层上韵律控制的一致性。总体而言,对潜在表示的这种事后分析使我们能够基于该领域的实际知识来解释模型行为。我们认为,理解模型的预测过程是构建不仅更强大,而且更有意义的模型的前提。所提出的方法证明了在中间嵌入中编码了准线性表示。然而,无论是模型架构还是训练过程都没有强制对声学特征进行线性编码。所测量的相关性可能是这些神经模型计算的隐藏表示丰富性的副产品。为了验证这些相关性是从编码特征到生成合成的因果效应,我们设计了一个因果控制程序,以确保这些线性偏差在最终生成中得到有效利用,因为中间表示可能会被计算和使用,但最终可能只作为“幽灵”存在。这个程序将在下一节中描述。
5. 音素特征的因果控制
在Tacotron2和FastSpeech2架构中,选择了一组具有最高拟合度(R2)的层来实现嵌入偏差的控制。对于Tacotron2,在编码器中选择了三层:第一和第三卷积层(Conv1和Conv3)之后,以及Bi-LSTM层之后。控制也在解码器的上下文向量(CV)中进行了评估,该向量定义为文本编码器计算的嵌入的线性组合,这些嵌入按每个解码器自回归步骤的注意力权重进行加权。尽管某些参数在Tacotron2解码器的循环层的隐藏状态中编码得更好,但改变循环层的偏差会导致不稳定性,因此循环层被排除在测试之外。对于FastSpeech2,控制是在编码器的第二和第四个前馈Transformer(FFT)层(编码器中的FFT2和FFT4)之后进行评估的。在解码器中,控制是在第三、第五和第六个FFT层(解码器中的FFT3、FFT5和FFT6)之后进行评估的。这种选择使我们能够专注于每个系统最佳的控制层,并计算这些嵌入偏差提供的有效控制增益。从测试集2230个话语中选择了500个话语进行评估。为了避免在所提出的评估过程中出现饱和效应,这些话语的平均持续时间、基频和能量接近于平均特征。
5.1. 连续控制
为了评估所提出的嵌入偏差方法提供的连续特征的可控性,测试子集是根据方程(3)生成的,其中嵌入偏差在[-3, +3]范围内变化(步长为0.5,±2.5被排除),对于每个声学特征P。然后在有偏合成上测量声学特征,以评估每个给定偏差的影响。尽管偏差是仅使用元音嵌入计算的,但它被加到输入序列中的所有嵌入上。这种偏差添加的贡献类似于风格或说话者嵌入,这些通常也是按话语总和的(Wang等人,2018年,Wu等人,2019年,Zhang等人,2019年)。每个特征的音频示例可以在我们的演示页面上找到(脚注2)。图6展示了我们对可控性的评估。以TCP的Conv1和Bi-LSTM层为例:对于这两层,对于测试集中每个元音和[-3, +3]范围内的每个偏差,都在合成上测量了fo。目标和实现的偏差都是相对于真实训练集中fo的标准差(std)来表示的。为了便于解释,实现的偏差通过Sigmoid回归表示为目标函数的函数。这种回归使我们能够测量两个方面:
图6. 展示了TCP的Conv1(左)和Bi-LSTM(右)两层对fo的可控性评估:嵌入偏差的拟合度分别为R2 = 0.19和0.65(见图4):Conv1提供的控制是无效的,而Bi-LSTM提供的控制显示了[-2.03, +2.03]的可控fo范围,如水平虚线所示。Sigmoid回归的拟合度(Rσ2)衡量了所提方法实现的控制周围的变异性。这种变异性应该尽可能小,以确保控制的一致性。选择Sigmoid回归而不是更简单的线性回归是为了考虑潜在的饱和效应,如图6右侧标题所示的Bi-LSTM层所示。在这个例子中,Sigmoid紧密跟随实现的偏差,导致Rσ2接近1(0.93)。相比之下,在Conv1层(左侧标题)中,偏差几乎没有影响:因此,Sigmoid的残差误差相当于数据的方差,所以Rσ2接近0(0.02)。
实现的控制范围:所提方法应尽可能接近目标[-3, +3] std范围。这个实现的范围由Sigmoid回归的极值给出。在我们的例子(图6)中,Bi-LSTM层的实现控制范围是[-2.03, +2.03] std,而Conv1层则没有控制范围。实际上,我们对偏差效应的观察通常显示在增加或减少参数时是对称的。因此,以下范围以绝对值表示。
图7(a)–7(d)展示了Tacotron2和FastSpeech2变体所有连续特征的可控性评估。纵坐标显示了控制范围随层深度的变化。每个点的大小表示Sigmoid回归的拟合度。图中每个参数上方的符号*表示显示最佳可控性的层(最高控制范围和拟合度)。可控性与图2、图4中线性编码特征的定位密切相关。无论是否存在韵律预测器,Tacotron2在Bi-LSTM层之后对所有特征(E除外)都显示出最佳的可控性性能(无论是Rσ2还是控制范围)。将偏差添加到编码器的输出允许注意力机制考虑这个偏差,而将偏差添加到上下文向量则绕过了注意力机制,这解释了上下文向量中持续时间控制性能的下降。FastSpeech2的可控点在层之间分布得更均匀。带有韵律预测器的FS、FS?phon和FS?E在编码器输出处显示出最佳的fo和持续时间可控性(图7(d))。令人惊讶的是,尽管有能量预测器的存在,能量预测器对FS?E在编码器输出处的能量控制几乎没有影响。相反,能量在解码器输出处更可控,类似于FS?P?E。在没有音高预测器的情况下,通过嵌入偏差对fo的控制也更接近解码器输出。与Tacotron2类似,音段特征在解码器输出处也是最大程度可控的(图7(b))。
可实现的控制范围强烈依赖于模型和被控制的特征。图7(a)–7(b)显示了Tacotron2和FastSpeech2变体所有连续特征的可控性评估。纵坐标显示了控制范围随层深度的变化。每个点的大小表示Sigmoid回归的拟合度。图中每个参数上方的符号*表示显示最佳可控性的层(最高控制范围和拟合度)。可控性主要与图2、图4中线性编码特征的定位相关。无论是否存在韵律预测器,Tacotron2在Bi-LSTM层之后对所有特征(E除外)都显示出最佳的可控性性能(无论是Rσ2还是控制范围)。将偏差添加到编码器的输出允许注意力机制考虑这个偏差,而将偏差添加到上下文向量则绕过了注意力机制,这解释了上下文向量中持续时间控制性能的下降。FastSpeech2的可控点在层之间分布得更均匀。带有韵律预测器的FS、FS?phon和FS?E在编码器输出处显示出最佳的fo和持续时间可控性(图7(d))。尽管有能量预测器的存在,能量预测器对FS?E在编码器输出处的能量控制几乎没有影响。相反,能量在解码器输出处更可控,类似于FS?P?E。在没有音高预测器的情况下,通过嵌入偏差对fo的控制也更接近解码器输出。与Tacotron2类似,音段特征在解码器输出处也是最大程度可控的(图7(b))。
可实现的控制范围强烈依赖于模型和被控制的特征。图7(a)–7(b)显示,音段特征通常较不可控,其范围在Tacotron2中为[0.5, 1.5] std(TC在这方面表现优于TCP),而在FastSpeech2中为[0.5, 2] std。只有F3在TC和FastSpeech2变体中超过了2 std。另一方面,音高和能量在两种架构中都实现了[1.5, 2] std(图7(c)–7(d))。FastSpeech2由于有明确的持续时间预测器而在持续时间方面表现更好。Tacotron2的注意力机制对所提出的控制的鲁棒性较差。与超音段特征相比,音段特征控制的性能减弱可能是因为计算偏差的性质。偏差的计算不考虑音素的身份,并且无论如何都会添加。这种方法依赖于所有音素嵌入都以与潜在空间相同的方向编码音段特征的假设。然而,线性预测器对音段特征的有限预测性能(图2)与超音段特征(图4)相比可能表明这个方向并不唯一,应该根据每个音素进行调整。相比之下,超音段特征预计在各个音素之间是共享的,从而导致共享偏差的更好性能。
图7. 所提出的嵌入偏差方法对连续特征的可控性。纵坐标表示控制范围,而Sigmoid回归的拟合度由每个点的大小表示。垂直虚线标出了编码器和解码器之间的接口。范围顶部的*表示具有最佳可控性的层。
图8. 顶部:通过因果控制(±2 std)在文本编码器输出处调整FS的fo,用于句子“la devanture de presque toutes ces misérables boutiques était grillagée de fer”。虚线表示{?2,?1,0,+1;+2}std的ground truth fo训练分布的值。注意:(a) 当合成中的无偏fo已经达到训练分布的极值时,例如[tut](最大值)或[mizerablq]的最后一个音节(最小值)时,会发生局部饱和;(b) 偏差可能会修改fo的轮廓,如?2 std处的平音调与无偏合成中的上升音调相比所示。底部:跟随因果fo控制的能量的共变,表示为与无偏合成的差异。仅报告浊音的音量。图中未浊音的音素背景为灰色。注意,调整fo确实会导致有偏合成中能量的变化。
图9.预测单个参数在其他参数上的影响,是在进行1标准差(std)的因果控制后计算得出的,结果按从左到右的顺序分别为:真实值(ground truth)、FS文本编码器输出处的因果回归器(causal regressors)、FS合成的声学信号、TC文本编码器输出处的因果回归器(causal regressors)以及TC合成的声学信号。每个图表顶部显示了每个预测值或声学影响与真实值之间的成对均方根误差(RMSE)。方差(Var)仅比较对角线元素;协方差(Covar)仅比较对角线以外的元素;而“全部”(All)则比较整个矩阵。
5.2. 反映数据集中特征的变化和协方差
到目前为止,我们已经证明一方面可以探究模型层中语音特征变化的线性方向(图2、3、4),另一方面这些变化方向的因果控制已经达到饱和状态(图6)。这种差异突显了任何模型中因果控制位置下游所有层非线性的作用。有趣的是,我们将展示这些非线性实际上以两种互补的方式模拟了训练数据集中遇到的声学和韵律特征的复杂变化和协方差。首先观察到的非线性是控制参数变化的饱和现象,如图6所示。因果控制之后的层倾向于将参数限制在其经验变化范围内。当对一个参数进行全局移动时,如果该参数的变化幅度超过真实值分布的一个标准差,通常会导致变化幅度的限制。图8顶部展示了在因果控制下,将fo轨迹移动+2标准差(蓝色曲线)和-2标准差(绿色曲线)后的结果。水平虚线标记了真实值训练分布中{?2,?1,0,+1;+2}标准差的值(右侧坐标)。尽管无偏轨迹以真实值分布的均值为中心,但±2标准差的偏置轨迹实际上是以±1标准差为中心的。这是由于整个轨迹的全局饱和效应造成的。此外,这个例子还展示了两种局部失真:(a) 当合成中的无偏fo已经达到训练分布的极值时,会出现局部饱和,例如[tut]中的最大值或[mizerablq]最后一个音节的最小值;在这些地方,fo的移动幅度显著减小甚至消失;(b) 偏置可能会修改fo的轮廓,例如在-2标准差的情况下,发音末尾的音调变得平坦,而在无偏合成中则是上升的音调。这个例子说明了由模型非线性引起的局部和全局效应。这些效应本质上是由于模型无法超出学习到的fo训练分布进行外推所致。Perrotin等人(2021年)也对神经声码器观察到了这种现象并进行了量化。一个直接的结果是模型能够精确模仿语音特征变化的自然限制:当自然声音的音高增加时,它会在声音fo范围的极限处达到饱和。
这导致了声音的第二个自然行为的建模:特征之间的协变。图8底部显示了在相同因果fo控制下,合成信号的能量偏差与无偏合成以及浊辅音音素相比的情况。一个显著的结果是,当fo增加(或减少)2标准差时,能量的整体增加(或减少)。能量偏差的幅度与fo偏差的幅度高度相关,即当fo饱和且变化较小时,能量偏差也会变小。自然声音中能量和fo的协变是一个被广泛记录的现象(Liénard和Di Benedetto,1999年),这个例子展示了FS捕捉这种协变的能力。为了量化这一点,图9展示了基于真实值训练集计算出的自然协变以及FS和TC对所有超音段参数的建模协变。对于每个模型,预测的影响包括在文本编码器输出上计算出的所有参数的预期协变,以及每个参数移动1标准差后的结果。这些协变取决于潜在空间中所有超音段参数变化方向之间的幅度和角度。声学影响包括在经历相同因果控制后的合成信号上测量的协变。所有结果都以真实值训练集中每个参数的标准差表示。然后我们在每个图表顶部计算了三种类型的误差:(1) 真实值矩阵的对角线元素与每个影响矩阵之间的RMSE(Var),以量化参数在受控时的预测或实际变化程度;(2) 真实值矩阵对角线以外的元素与每个影响矩阵之间的RMSE(Covar),以量化模型预测或实现的协变程度;(3) 整个真实值矩阵与每个影响矩阵之间的RMSE(All)。关于参数的变化,我们回想一下,根据构造,嵌入偏差的计算是为了使预测的影响等于目标控制,因此预测影响矩阵的对角线为1标准差,与真实值的误差为0标准差(Var)。相比之下,FS的声学影响对角线与真实值之间的RMSE为0.45(TC为0.44),这再次表明对于给定的因果控制(这里是1标准差),相应参数的最终幅度是饱和的。
现在来看协变(对角线以外的部分),真实值结果反映了Liénard和Di Benedetto(1999年)确定的与发声力度相关的协变,即fo、D和ST与E之间的增加。还观察到了fo和ST之间的相关性。总体而言,FS和TC在预测和声学影响上都在一定程度上遵循了这些趋势。从数量上看,TC在预测协变方面有更好的表现(Covar误差为0.18标准差),而FS为0.31标准差,这主要是由于TC在预测真实值中持续时间D与其他参数之间的正交性方面有更好的表现。尽管如此,FS在生成的信号中捕捉到了更多的自然协变(Covar误差为0.12标准差),而TC为0.19标准差(声学影响)。这表明FS主要在其解码器内部模拟了协变,这得益于FFT六层的高非线性(相比之下TC解码器只有两层LSTM),并且能够补偿编码器输出处的不准确预测。
5.3. 分类控制——暂停的情况
同时,这种线性偏差方法也被用于控制离散的音系特征。端到端模型学习在词边界产生暂停的能力被作为这种控制的例子。与人类策略相比,TTS模型在修改说话速度时往往无法再现自然的暂停变化(Lenglet等人,2022b)。在本节中,我们展示了我们的因果控制提供了一种根据说话速度添加/抑制暂停的可靠方法。由于暂停的存在是由词边界处字符的预测持续时间决定的,因此这里的控制仅应用于编码器层。出于同样的原因,偏差仅添加到空格和标点符号上,而不是对整个话语进行连续控制。分类线性偏差的方向是根据第4.1.2节中训练的LDA分类器计算得出的。在暂停的情况下,LDA预测器计算出区分与暂停相关的嵌入和与静音字符相关的嵌入的最佳超平面的坐标。然后,将分类嵌入偏差定义为垂直于该超平面的向量。为了模拟自然声音产生静音的倾向,通过说话速度评估了真实值中潜在静音定位的释放静音比例。这项评估显示,这个比例在最快和最慢的话语中分别介于0%到20%之间。因此,暂停控制被评估为线性偏差改变这一比例的能力在0%到20%之间。
这种评估同样在测试子集上进行。计算了五个中间偏差,以将暂停的目标比例设置为[0%,5%,10%,15%,20%]。我们观察到,实现的偏差相对于目标偏差在[0%;20%]区间内呈线性变化,而连续特征则显示出饱和现象,并用Sigmoid回归进行了拟合(图6)。因此,通过报告实现偏差与目标偏差之间的线性回归(RL2)的拟合优度以及实现的控制范围来评估可控性,如图10(a)–10(b)所示。大多数模型的可控性有限,与预测相比。FastSpeech2的表现优于Tacotron2,FS实现了完整的[0%;20%]控制范围目标。这一结果再次强调了持续时间预测层对线性控制的鲁棒性,与Tacotron2的注意力机制相比。语音预测层有助于模拟这种行为,正如FS?phon的表现较差所显示的。这种性能下降是由于在FS?phon上评估的暂停分类准确性较差所预期的。
下载:下载高分辨率图像(317KB)
下载:下载全尺寸图像
图10. 所提出的嵌入偏差方法对编码特征的可控性。控制范围以坐标表示,而线性回归的拟合优度(在0%–20%范围内)由每个点的大小表示。范围顶部的*表示可控性最好的层。
下载:下载高分辨率图像(795KB)
下载:下载全尺寸图像
图11. 嵌入偏差持续时间控制(底部)与编码前输出Mel频谱图的线性插值(中间)的对比,使用了FS。与无偏合成相比,这两句话的长度分别延长了1.38。这句话是:“,son audace/ne l’e?t pas abandonné/devant un tribunal ordinaire;”。‘/’符号不属于输入序列;它们被包含进来是为了让读者了解嵌入偏差控制在哪里添加了暂停。橙色框表示频谱图中这些暂停的位置。这些音频示例可以在我们的演示页面上找到(脚注2)。
以一个定性例子作为总结,图11展示了使用线性插值对输出Mel频谱图进行线性拉伸(中间图)与结合了持续时间和暂停的嵌入偏差控制(底部图)之间的对比。为了同时选择持续时间和暂停控制,Lenglet(2023)详细分析的真实性训练数据揭示了暂停百分比与相对说话速度之间的线性关系。这允许推导出一个启发式方法,根据目标持续时间修改来计算目标暂停百分比(公式(C.1))。这句话是:“,son audace ne l’e?t pas abandonné devant un tribunal ordinaire;”,目标持续时间系数为1.38,相应的暂停持续时间控制为14.2%。嵌入偏差方法在名词“son audace”和动词“ne l’e?t”之间引入了100毫秒的明显暂停,在动词“e?t pas abandonné”和地点补语“devant”之间引入了200毫秒的另一个暂停,这些在底部图中用橙色框标出。单词的分割也更好,词边界处的残余能量更少。在线性拉伸中缺乏暂停的情况通过单词的过度延长得到了补偿。在我们之前的工作(Lenglet等人,2022b)中,我们使用主观比较平均意见得分(42名参与者)比较了持续时间的因果控制和线性拉伸。我们展示了在使用Tacotron2时,对于延长和收缩的持续时间控制存在统计学上显著的偏好,而在使用FastSpeech2.5.4时仅对延长有偏好。讨论表明,所提出的控制方法表明,在每种架构的至少一层中,所有测量的声学特征都可以在一定程度上被控制。然而,不同特征之间的控制范围差异很大,我们已经证明,高拟合度是可控性的必要条件,但不是充分条件。通过层对声学和韵律特征的跟踪表明,这些特征是从前一层的部分表示逐步构建的,除了在解码器的最后阶段外,几乎没有衰减(见图2、图4)。然而,缺乏衰减并不一定意味着模型在每一层都能访问所有研究的特征。从图4和图7可以看出,对于FS和FS?E,能量和音高似乎是从编码器的输出线性编码到解码器的最后一层的。然而,在FS?E中,仅通过线性偏置来控制能量是可能的,而对于FS的解码器来说,这种方法对音高没有任何效果。在某一层存在线性表示并不意味着模型有效地利用了它来计算输出特征:这些特征可能会被暂时使用,随后不再使用,或者被替换,甚至被复制。实际上,在嵌入中可能同时存在同一特征的不同表示。这一点也在VAE潜在空间中观察到,其中同时编码了不同模式之间的变异性(Jacquelin等人,2024年)。此外,还可以使用部分回归方法——例如在频谱图的每个梅尔带中将对数fo转换为谐波的过程中使用的那些方法。这些观察结果表明,嵌入不仅编码了各种声学和韵律特征,还编码了这些特征的多种变体。这在FS中尤为明显,因为在编码器输出处添加的音高嵌入并没有消除文本嵌入中的线性音高表示,而是增加了另一层音高编码。这种多层次编码可能有助于模型避免特征从一个层传递到另一个层时的丢失,这可能是由于多头Transformer块的非线性造成的,或者可能是训练期间强制丢弃的副作用(Hinton等人,2012年)。在能够进行因果控制的情况下,我们仅使用这种方法,突出了这两种模型捕捉训练数据中发现的非线性的能力,尤其是在语音特征的自然变化和共变方面。我们认为,这种方法及其相关的可视化(见图9)构成了评估TTS模型解耦语音参数的相关范式,这对于可控语音合成来说通常是所追求的(Wang等人,2018年)。在我们的特定案例中,vanilla FS和TC中观察到的特征纠缠也可以被视为一种优势,因为当一个语音特征的控制伴随着所有其他相关参数的共变时,效果会更加自然。本节说明了如何通过更深入地理解神经模型计算的潜在表示,为TTS设计新的精细控制机制开辟了道路,特别是识别用适当的非线性特征预测器替换因果回归器的关键位置。这种分析是在音素嵌入层进行的,被视为TTS模型计算的语音表示的原子构建单元,但不仅限于这种用例,也可以在帧级、音节级或话语级进行。
6. 总结、结论和展望
我们的研究结果总结。本文提出了一种系统分析神经TTS模型中间嵌入的方法论。所提出的分析强调了声学和语音特征是如何准线性编码到这些潜在表示中的。这些发现证实了文本编码器作为上下文化模块的作用,它确定了从输入文本序列生成的语音序列。然而,这项研究还揭示了文本编码器计算的嵌入并没有完全编码所有分段特征。解码器必须通过建模共发音因素来补充这些信息。同样,我们还强调了基于Transformer的解码器也建模了训练数据中实际存在的超分段特征的共变。在中间层识别和定位声学和语音学特征使得设计称为嵌入偏置的线性偏置成为可能。正如所展示的,这些偏置仅基于模型计算的中间表示的方差分析,就赋予了对所识别参数的控制能力。这种方法不需要任何额外的训练数据,也不需要训练辅助预测器来控制所识别的特征。我们通过探索嵌入偏置的因果控制潜力来补充这种系统分析。我们发现了两个关键特点:(a) 一些虚拟偏置编码了在中间层计算的信息,但对输出没有直接影响;(b) 非线性效应,可能是由于声学解码器造成的,例如饱和(确保每个输出都在其经验变化范围内),以及对自然语音特征共变的建模,限制了对任何参数的自由控制,但更好地保持了声音参数变化的自然性。令人惊讶的是,简单的线性预测器在潜在空间中对于预测和控制任务表现良好。然而,非线性预测方法也可以用于分析神经TTS计算的潜在空间,特别是用于识别变化领域或解决已识别的非线性效应。另一种可能性是考虑多线性回归,以在统一的控制机制中封装预测并解耦多个维度之间的共变。
一种通用方法?正如本文所示,所提出的方法论适用于任何声学参数——无论是连续的还是分类的——以及编码器-解码器架构的任何层。尽管我们的研究仅限于研究Tacotron2和FastSpeech2,选择这些模型的相关性在于它们在现代TTS系统中的架构多样性和基础性作用。Tacotron2集成了CNNs、RNNs、注意力机制和自回归生成过程,而FastSpeech2采用了基于Transformer的编码器-解码器结构,并具有显式的持续时间建模。这些模型共同涵盖了支撑当代TTS架构的核心组件。随着生成模型范式的转变,最先进的TTS向概率自动机的演变——这与90年代末的统计参数化语音合成紧密相关(Zen等人,2009年)——以及它们对文本和语音令牌的处理,突显了评估我们的分析方法论对离散和随机潜在表示适应性的需求。令人鼓舞的是,Zhang等人(2024年)和Sadok等人(2025年)对各种语音编解码器编码的潜在残差向量量化语音表示的最新分析表明,无论是语义的还是声学的,离散表示都可以像连续表示一样高效地被探究。因此,我们可以有信心地对任何基于令牌的自回归TTS的输出表示进行线性探究(例如,AudioLM Borsos等人,2023年;VALL-E Chen等人,2025年;Spark-TTS Wang等人,2025年)。有趣的是,一些最新的模型,如VibeVoice(Peng等人,2025年),提倡在生成过程中回归连续表示。这使得我们的方法更加相关,因为它可以直接按照本文中介绍的方式应用。至于随机过程,Suni等人(2025年)证明了在StyleTTS2模型的扩散模块上游层中探究和控制声学特征是可行的(Li等人,2023年)。对于随机层本身,视觉领域的新兴方法(例如,Montero等人,2022年;Hu等人,2023年)为探索基于扩散的TTS中的语音信号提供了有希望的见解(Popov等人,2021年;Liu等人,2023年;Li等人,2023年)。我们还注意到,所有这些最新的研究(Zhang等人,2024年;Sadok等人,2025年;Suni等人,2017年)都是针对产生波形的端到端模型进行的,这表明我们的分析方法可以轻松应用于FastSpeech2 + 神经声码器的端到端版本(例如,Lim等人,2022年)。在解码器的最顶层编码分段和超分段特征并输出波形的工作值得进一步研究,但这留待未来的工作。最后,我们提出的范式不需要任何额外的训练或数据,使其成为设计任何TTS模型和控制任何声学特征的控制机制的一个有吸引力和成本效益高的解决方案。
客观评估与感知评估可控TTS。本文的主要目的是提供一种方法和工具,以研究语音生成模型中如何编码语音和声学信息。在使用线性探究在不同模型层中定位此类信息之后,我们引入了因果控制来验证模型层中编码的信息是否有效地传播到语音输出。在这方面,我们通过测量生成语音中的声学特征变化来进行客观评估,这足以回答这个问题。现在我们已经建立了这样的控制,很明显,将这种方法应用于高质量的可控TTS是一个自然的后续步骤,在这种情况下,听力测试将是必不可少的。然而,对可控合成的主观评估提出了复杂的研究问题、假设和方法论,这取决于所提出的控制类型。在低级声学参数修改的特定情况下,正如我们在本工作中所做的那样,单独修改某些参数(例如,共振峰位置、重心)产生的信号并不代表自然的语音产生,因为从生理学上讲,不能仅修改这个单一参数。因此,在没有真实值和可识别的声音目标的情况下,应该提出什么正确的问题给听众?如果不是从自然性的角度,那么主观判断将基于什么标准?在这种控制下,只有那些相对独立于其他参数并且能够被说话者自然控制的参数才能被感知评估。这就是我们在第5.3节中报告的持续时间的情况。第二种方法是控制更高级的语音特征,这些特征反过来可以被听众识别和评估。这可能包括控制超/欠发音、韵律变化、说话者的个性特征等。自下而上的方法将包括构建从低级到高级的映射,以使用我们的因果控制进行高级修改。自上而下的方法将应用我们的线性探究分析来研究哪些低级声学参数受到学习到的控制嵌入的影响(例如,说话者嵌入、风格嵌入)。这两种方法都在本文的讨论范围之外,但提供了有希望的展望。
最先进的TTS模型提供了额外的输入,包括语言(Lux等人,2024年)、说话者(Gong等人,2024年)和风格嵌入(Lenglet等人,2023b),这些输入以离散或连续表示或提示的形式提供。它们还整合了来自说话者(例如,Littlejohn等人,2025年)、对话者(例如,Défossez等人,2024年)和环境(例如,兴趣对象、房间声学或环境噪声)的行为信号(Yuguchi等人,2022年)(例如,物体、房间声学或环境噪声)。这项工作首先为使用我们的线性探究方法将TTS模型的中间表示与这些外部输入连接打开了大门。在设计条件模块时,应对其编码的表示和TTS模型的内部表示进行双重分析,以确保:(1) 这些模块确实编码了TTS模型可以用来改进其预测的特定信息;(2) 这些表示在TTS模型能够最好利用这些额外信息的适当层进行整合。其次,研究潜在内生和外在表示之间的协变可能会提供关于人类/系统协同适应的宝贵见解。这样的分析还可以推进人际通信的理论(Kasirzadeh和Gabriel,2023年;Street,2024年),促进技术进步和科学进展。此外,来自神经TTS模型的预训练中间表示可以用于执行与语言相关的子任务。例如,已经展示了在语音转录方面的巨大潜力(Bailly等人,2023年;Bailly和Perrotin,2025年)。这种方法可以扩展到预测其他语音层面,如超音段特征(例如,重音、呼吸、声调或停顿)。从文本输入中预测音段或韵律特征也有助于计算机辅助语言培训,例如提供在线阅读指导(Godde等人,2017年;Gerbier等人,2018年)或发音纠正。更广泛地说,因果控制是一种理解TTS模型在生成语音信号时决策过程的方法,这一目标与可解释人工智能(XAI)研究相一致(Gunning等人,2021年;Burkart和Huber,2021年)。虽然与医疗保健等领域相比,XAI对于合成语音的重要性可能较低——因为在医疗保健领域预测梅尔频谱图特征不会引发与医学诊断相同的伦理问题——但其价值在于推动科学理解的发展。通过适当的工具和方法论分析,神经模型的统计学习可以为语言提供宝贵的见解。分析深度学习模型学习到的相关性以最大化其预测能力,可以揭示人类语音产生的机制,从低级别的音位共变到高级别的音系组织。
**CRediT作者贡献声明:**
Martin Lenglet:撰写——审稿与编辑、撰写——初稿、可视化、验证、软件、方法论、调查、形式分析、概念化。
Olivier Perrotin:撰写——审稿与编辑、可视化、监督、方法论、概念化。
Gérard Bailly:撰写——审稿与编辑、监督、资源管理、项目协调、方法论、资金获取、数据整理、概念化。
**关于写作过程中生成式AI和AI辅助技术的声明:**
在准备这项工作时,作者使用了DeepL和Le Chat - Mistral AI来改进某些段落的英文表达。使用这些工具/服务后,作者对内容进行了必要的审稿和编辑,并对出版物的内容负全责。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号