P2Mark：用于神经语音生成的即插即用参数级水印

《Artificial Intelligence》：P2Mark: Plug-and-play Parameter-level Watermarking for Neural Speech Generation

　　

• •
  用于神经语音生成的即插即用水印模块。
• •
  用于白盒保护的参数级水印融合机制。
• •
  水印梯度正交投影优化方法。
• •
  在两类语音解码器（声码器和编解码器）上验证了有效性。

引言

生成模型的近期进展显著加速了神经语音生成（NSG）的发展。近期的多个NSG系统[1]、[2]、[3]、[4]能够生成高质量的人类相似语音，使非专业听者难以区分合成语音与真实语音。尽管这些技术可以支持许多应用，例如更真实的人机交互，但恶意使用可能会威胁财产安全和社会稳定。例如，恶意用户可能会利用NSG技术创建逼真的语音，用于欺诈及其他非法目的[5]、[6]、[7]。

为确保NSG的安全使用，音频水印已成为一个关键的研究课题。其主要目标是将不可察觉的水印嵌入合成音频中，从而在不损害合成音频质量的前提下实现合成语音的区分。当前的音频水印方法大致可分为两类：音频级水印[8]、[9]、[10]、[11]、[12]和特征级水印[13]、[14]、[15]。如图1所示，音频级水印直接将水印信息嵌入合成语音中，从而保护和追踪语音本身。相比之下，特征级水印将水印视为一种附加特征，在语音生成之前对其进行编码并与声学特征融合。尽管这些方法为安全使用NSG提供了有前景的解决方案，但在源代码和模型权重均公开的开源场景中，它们表现出显著的局限性。在此类环境中，用户可以轻松修改几行代码来移除水印模块，例如在水印阶段之前提取输出，或在特征融合之前移除水印嵌入，如图1（a）和（b）所示。这表明缺乏白盒保护能力。这些方法也无法保护开源模型的版权和开发者的知识产权。

为应对源代码和模型权重开源场景下的可追溯性和版权保护挑战，我们提出了一种新颖的参数级水印技术，将水印直接嵌入模型权重中（如图1（c）所示）。在实施该方法之前，必须强调几个关键的设计考量。首先，发布者应能够方便且灵活地将水印信息嵌入生成模型中。这要求水印方法能够以即插即用的方式集成到现有框架中，允许动态更新水印信息而无需重新训练水印模型。其次，对于能够访问源代码和模型权重的用户，发布的系统不应暴露允许未经授权修改嵌入水印的代码级接口。在模型权重发布后，通过白盒鲁棒性分析评估更强的参数操纵。

为满足上述要求，受通过适配器向模型注入知识的启发[16]、[17]，我们提出了一种参数级水印技术，即Plug-and-play Parameter-level WaterMarking（P2Mark）。具体而言，我们通过水印低秩适应（WM-LoRA）模块将水印信息嵌入预训练的语音生成模型中。在训练过程中，我们提出了一种梯度正交投影优化策略，以确保生成音频的质量和水印保留的准确性。训练完成后，发布者可以随时灵活地设置不同的水印信息，而无需重新训练。对于模型权重的发布，水印信息被合并到模型权重中，使水印在发布后能够抵抗简单的代码级移除或操纵。

目前，NSG系统主要依赖两类波形解码器进行语音生成：声码器用于从梅尔频谱重建波形，编解码器解码器用于将离散声学标记转换为波形。为评估我们所提方法的有效性，我们在这两类解码器上实现了P2Mark，使我们的解决方案适用于主流的NSG系统：基于声码器的P2Mark（P2Mark-Vocoder）和基于编解码器的P2Mark（P2Mark-Codec）。实验结果表明，与最先进的（SOTA）音频水印方法相比，我们的方法在水印提取准确性、水印不可察觉性和抗攻击鲁棒性方面均实现了具有竞争力的性能。白盒参数分析进一步考察了多实例权重平均和直接融合权重扰动。

本文的主要贡献总结如下：

• •
  参数级即插即用水印。我们提出了P2Mark，一种参数级水印技术，通过即插即用模块将水印信息无缝地直接集成到模型权重中。即使模型完全开源（包括源代码和模型权重），嵌入的水印也能抵抗简单的代码级移除或篡改。
• •
  优化策略。为减轻水印优化与音频质量优化之间的干扰，我们引入了一种采用梯度正交投影的训练优化方法。该方法有效地在训练过程中平衡了音频质量的保持和水印提取的准确性。
• •
  全面验证。为全面评估我们所提方法的有效性，我们针对主流NSG架构设计了P2Mark的实现方案。大量实验证明了我们在不同语音生成框架中的通用性，在水印提取准确性、水印不可察觉性和抗多种攻击的鲁棒性方面实现了具有竞争力的性能。评估还涵盖了未标记样本的误报风险、作为多实例攻击的白盒模型平均、平均条件下的共享所有者编码，以及直接融合权重扰动。

章节摘要

相关工作

本节首先回顾最新的NSG方法以及NSG所采用的波形解码器。然后，我们回顾数字水印技术的演进与分类。最后，我们全面概述现有的音频水印研究。

P2Mark概述

图2概述了我们提出的P2Mark方法。我们的方法为NSG实现了即插即用的参数级水印融合，为开源模型提供了白盒保护。

首先，如图2（a）所示，预训练一个语音波形解码器，将声学模型（如梅尔频谱或声学标记）获得的声学特征转换为语音波形。然后，如图2（b）所示，我们训练一个即插即用的WM-LoRA模块。水印在

数据集

我们使用LibriTTS数据集[64]进行了实验，这是一个源自LibriVox项目有声读物的知名多说话人英语语料库。LibriTTS专为语音合成（TTS）应用而设计，提供高质量的多说话人音频数据。它包含约585小时的录音，采样率为24kHz，来自2,456位说话人。在训练过程中，我们使用了train-clean-100、train-clean-360和train-other-500子集。在验证过程中，我们随机选择了200条

结论

本文提出了P2Mark，一种面向开源神经语音生成的即插即用参数级水印方法。P2Mark使用WM-LoRA将水印消息编码为可合并的权重偏移量，使发布者能够在发布前设置或更新水印，并仅发布普通的合并后生成器权重。所提出的WGOPO策略减少了训练过程中水印保持与语音质量优化之间的冲突。在声码器和编解码器解码器上的实验表明

局限性与未来工作

尽管P2Mark在NSG的即插即用开源保护方面展现了有效性，在水印提取准确性和生成音频质量方面表现优异，但仍有若干局限需要解决。首先，随着水印容量的增加，训练复杂度也随之增长，当尝试将水印容量扩展到64位时，模型难以收敛。克服这一挑战并找到进一步增强

CRediT作者贡献声明

Yong Ren：撰写——审阅与编辑、撰写——初稿、可视化、验证、软件、资源、项目管理、方法论、调研、数据管理。Jiangyan Yi：撰写——审阅与编辑、监督、资源、资金获取。Tao Wang：撰写——审阅与编辑、方法论。Jianhua Tao：监督、资源、资金获取。Zheng Lian：撰写——审阅与编辑、撰写——初稿、监督。Zhengqi Wen：监督、资金获取。

利益冲突声明

作者声明不存在可能影响本文所述工作的已知竞争性经济利益或个人关系。

Yong Ren|Jiangyan Yi|Tao Wang|Jianhua Tao|Zheng Lian|Zhengqi Wen|Chenxing Li|Ruibo Fu|Ye Bai|Xiaohui Zhang