基于特征解耦与自适应损失阈值重加权的零样本情感语音合成方法

《PLOS One》：Zero-shot emotional speech synthesis based on feature decoupling and adaptive loss-threshold reweighting

　　

基于深度学习的零样本语音合成（zero-shot speech synthesis）在说话人泛化方面已取得显著进展，但在细粒度情感场景下的稳定建模仍具挑战性。现有系统通常通过共享或紧密耦合的路径处理文本与情感条件，这可能引入语义内容与情感表达之间的相互干扰。此外，对逐样本条件流匹配（Conditional Flow Matching, CFM）损失进行统一平均，可能无法为高损失情感样本提供充分的优化侧重。本研究提出一种基于CFM的零样本情感语音合成方法。情感-文本解耦注意力（Emotion–Text Decoupling Attention, ETDA）通过并行交叉注意力流处理语义与情感条件，并经由自适应门控融合加以整合，使两种条件在融合前各自保留其信息。研究基于基频与能量特征，通过分类器筛选与K-Means聚类构建16类细粒度情感空间，所得标签通过可训练查找嵌入（lookup embedding）映射为连续表示。在训练阶段，自适应损失阈值重加权（Adaptive Loss-Threshold Reweighting）依据小批量损失统计量估计阈值，并为个体CFM损失超过该阈值的情感样本赋予更大权重。在ESD数据集上的说话人分离（speaker-disjoint）评估中，该方法取得词错误率（word error rate）为[数值]、倒谱失真（mel-cepstral distortion）为[数值] dB、情感表现力平均意见分（emotional expressiveness mean opinion score）为[数值]的结果。受控文本长度扩展及对固定高损失情感子集的分析进一步表明，在所评估条件下，该方法能更一致地维持语言内容与情感表达。上述结果表明，所提方法在细粒度零样本情感语音合成中，能够在一定程度上改善内容保持、情感表达与声学重建。

论文解读：基于特征解耦与自适应损失阈值重加权的零样本情感语音合成

一、研究背景与问题

深度学习已显著推动声学建模与高保真语音生成的发展。以提示条件驱动的零样本语音合成系统，如VALL-E、NaturalSpeech 2和CosyVoice，能够从短参考语音中复现说话人特征，并为训练中未见过的说话人合成语音。然而，细粒度情感合成要求模型同时保持语言内容、说话人身份和目标情感，其难度远高于普通零样本合成。现有系统往往通过特征拼接、共享注意力或紧密耦合的条件路径引入多种条件，虽然便于信息交换，但语义与情感线索可能在各自信息尚未充分表征之前便发生交互，影响语言内容保持与情感一致性，尤其在生成内容增多时更为明显。此外，标准条件流匹配训练通常在小批量内对逐样本损失取平均，对所有话语赋予相同的名义系数，导致高损失情感样本可能得不到充分的优化侧重。已有损失重加权方法如Min-SNR主要根据信噪比调整扩散时间步的贡献，并未直接考虑同一小批量内不同话语之间的差异。

二、研究内容与结论

针对上述两个问题，研究人员提出一种基于条件流匹配的细粒度零样本情感语音合成框架。该框架由三个主要模块构成：情感-文本解耦注意力（ETDA）、16类细粒度情感空间构建，以及自适应损失阈值重加权。ETDA通过并行双流交叉注意力分别处理语义与情感条件，再经自适应门控融合加以整合，避免两种条件在解码器中过早直接交互。16类细粒度情感空间通过分类器筛选与基于基频和能量特征的K-Means聚类构建，所得标签经可训练查找嵌入映射为连续表示。自适应损失阈值重加权根据小批量损失统计量估计阈值，为损失超过阈值的样本赋予更大权重，且不排除任何样本。在LJSpeech和ESD数据集上的实验表明，该方法在客观与主观评估中均优于多个代表性基线系统，消融研究验证了各模块的贡献。

三、主要技术方法

研究人员采用基于条件流匹配（CFM）的声学生成框架。输入文本经字素到音素前端转换为音素序列并编码为语义表示；情感标签经可训练查找嵌入映射为连续情感表示；参考语音经预训练wav2vec 2.0编码器提取说话人表示。说话人表示通过自适应归一化全局条件化声学特征，语义与情感表示则分别输入ETDA的并行交叉注意力流。ETDA包含语义流与情感流两套独立投影参数，各自执行多头缩放点积注意力，再经自适应门控融合输出。训练阶段采用自适应损失阈值重加权，依据小批量内逐样本损失的均值与标准差估计阈值，为超过阈值的样本按超出程度赋予额外权重。推理阶段，学习到的概率流常微分方程经数值积分生成梅尔频谱，再由预训练HiFi-GAN声码器转换为波形。数据集方面，LJSpeech用于中性语音训练与域内评估，ESD情感子集按说话人级别划分，18位说话人用于训练，2位未见说话人用于测试。

四、研究结果

客观声学评估。 在LJSpeech上，该方法获得较低的词错误率（WER）、倒谱失真（MCD）和较高的说话人相似度（SIM），略优于最强的外部基线StyleTTS 2和CosyVoice。在ESD上，所有系统表现均弱于LJSpeech，反映多说话人与情感变化的难度增加，但该方法仍保持更低的WER和MCD以及更高的SIM。

主观感知质量评估。 在LJSpeech上，该方法在自然度（NAT）和说话人相似度（SIM）上略高于StyleTTS 2和CosyVoice。在ESD上，该方法在自然度、说话人相似度和情感表现力（EMO）三个维度均保持相对较好的结果，而非仅改善单一感知属性。

消融研究。 将自适应门控融合替换为等权融合导致ESD上WER和MCD升高，NAT、SIM和EMO下降。移除ETDA产生更广泛的变化，其中移除语义注意力对WER影响更强，移除情感注意力则更明显降低情感表现力。移除自适应损失阈值重加权主要影响ESD上的声学重建与情感表达，MCD升高而EMO下降。

文本长度扩展条件下的情感一致性。 研究人员构建三组配对文本条件，原始8-12词文本分别扩展至20-30词和35-45词。三个系统的WER均随文本扩展而升高，但该方法的变化幅度小于CosyVoice和w/o ETDA变体。目标情感后验概率轨迹显示，在扩展条件下该方法在Rage、Ecstasy和Despair三类情感上保持相对更高的值。

高损失情感样本分析。 从ESD测试集中选取Rage、Ecstasy和Despair三类各20个最高损失样本构成固定子集。该方法在三个情感类别上均获得更低的MCD和更高的MOS-EMO，其中Despair类别的差异更为明显。梅尔频谱图比较显示该方法保留了更多连续的局部时频结构。

细粒度情感表示可视化。 t-SNE可视化显示，原始声学特征分布中不同类别存在大量重叠，而学习到的情感嵌入中若干类别形成较紧凑的局部簇，类别间分离更清晰，但部分声学相关的情感类别仍存在部分重叠。

五、讨论与结论

讨论部分指出，客观与主观结果表明该方法在LJSpeech和ESD上总体优于所评估的基线系统，在ESD的细粒度情感条件下差异更为明显。消融与文本长度依赖结果支持ETDA的贡献，自适应损失阈值重加权改善了高损失情感样本的处理。研究存在若干局限：CFM推理仍需多步数值积分，可能限制实时部署；16类情感空间源自特定语料库，可能依赖分类器、声学特征与聚类设置；参考提示时长及普通话中局部音调与情感交互需要更系统的评估。未来工作将关注减少推理步数、更广泛的跨语料库验证、自然长形式情感语音以及更精细的韵律控制。

研究结论为：该研究提出一种集成情感-文本解耦注意力和自适应损失阈值重加权的条件流匹配框架，用于细粒度零样本情感语音合成。该框架联合改善条件建模与训练优化，并引入由分类器筛选和声学聚类导出的16类细粒度情感空间。在LJSpeech和ESD上的实验表明，该方法在客观与主观评估中均较代表性零样本语音合成基线取得一致性改进。消融研究显示ETDA、自适应门控融合和自适应损失阈值重加权均对整体性能有积极贡献。文本长度扩展、高损失情感样本和t-SNE可视化分析为所提框架提供了额外证据。总体而言，该框架在所评估条件下改善了细粒度零样本情感语音合成的语言内容保持、情感表达与声学重建。