ASWmark：一种用于音频分类数据集的版权保护方法

《Expert Systems with Applications》：ASWmark: A Copyright Protection Approach for Audio Classification Datasets

　　范学峰|王一丽|田志毅|邢帆|马继新|周晓毅
中国海南省海口市海南大学信息与通信工程学院，570228

摘要
高性能深度神经网络（DNN）模型的成功在很大程度上依赖于庞大的训练数据集。这些数据集的宝贵属性使它们成为未经授权利用的吸引目标，因此需要强大的版权保护机制。现有研究通过验证第三方模型是否在特定数据集上进行训练来实现了一定程度的保护。然而，仍存在几个未解决的问题：（1）水印嵌入通常会降低模型的一致性，从而降低在原始任务上的性能；（2）由于缺乏全面的鲁棒性评估，在实际部署后的转换（如微调、压缩或输入预处理）中，验证的可靠性往往不足。为了解决这些问题，本文提出了ASWmark，一种用于音频分类数据集的新水印框架。ASWmark将对抗性示例生成算法与概率启发式搜索策略结合起来，构建具有固有对抗性属性的优化触发器集。本研究使用两种灵活的水印嵌入策略（PreTrained和FromScratch方法）全面评估了该框架。实验结果表明，ASWmark有效保护了数据集的版权，同时保持了高一致性、鲁棒性和可移植性。

引言
近年来，深度神经网络在自然语言处理（Elkhail, Bacha, Malik, 2025; Min, Ross, Sulem, Veyseh, Nguyen, Sainz, Agirre, Heintz, Roth, 2023; Peral-García, Cruz-Benito, García-Pe?alvo, 2024; Zhang, Gao, Xiao, Wang, Liu, Liang, Zhang, 2026）、计算机视觉（Gajjar, Sanyal, Shah, 2023; Ma, Ma, Jiao, Liu, Liu, Li, Yang, 2023; Tan, Wu, Zhou, Wang, Chen, 2024; Xie, He, Fang, Ghamisi, 2020）、图像处理（Gao, Long, Zhou, 2024; Ghodhbani, Saidani, Zayeni, 2023; Hu, Li, Huang, Gao, 2019; Lu, Song, Zhu, 2026b）、语音识别（Dhanjal, Singh, 2024; Liu, Chen, Gao, Gai, 2023; Lu, Liu, Li, Liu, Li, Cheng, Zheng, 2026a; Yeo, Kim, Choi, Kim, Ro, 2024）等领域取得了突破性进展，其出色的性能在很大程度上依赖于大规模、高质量的训练数据集。然而，收集和注释这些数据集通常需要大量的人力和财力资源，使它们成为宝贵的知识产权资产。尽管许多高价值数据集的许可协议明确限制了将其用于教育或研究目的，并禁止未经授权的商业利用，但在实践中有效的防止其未经授权传播和滥用的技术保障措施仍然很少。因此，为数据集开发可靠的版权保护机制不仅对于维持健康的数据共享生态系统至关重要，也有助于鼓励数据开放和技术合作。
鉴于数据版权保护与模型训练对数据的需求之间的日益增长的冲突，当前的技术环境迫切需要突破性创新。在早期阶段，音频数据版权保护的研究和实践主要集中在数字水印等传统方法上（Bassia, Pitas, Nikolaidis, 2001; Hua, Huang, Shi, Goh, Thing, 2016; Khaldi, Boudraa, 2012）。然而，当这些方法应用于数据集版权保护领域时，它们显示出局限性。根本原因是未经授权的用户非法使用数据集时，通常只发布基于这些数据集训练的模型，而不会披露原始训练数据。
目前，保护音频分类数据集的有效方法是创建一个触发器集，并在发布前将其纳入原始数据集。如果混合数据集被非法用于模型训练，模型中将会植入后门。在检测到可疑模型时，通过快速验证其对触发器集的反应可以确定是否发生了侵权（Kim, Lee, 2020; Tang, Feng, Liu, Yang, Hu, 2023）。尽管现有方法（Tang et al., 2023）可以保护音频分类数据集，但仍有几个问题未得到解决：1. 水印嵌入过程通常会降低与仅在干净数据上训练的基线模型相比的主要任务性能；2. 更重要的是，现有的音频数据集保护方案通常缺乏全面的鲁棒性评估。这种疏忽削弱了在水印受到标准输入预处理或常见的训练后修改（如微调和剪枝）时的可验证性。
为了解决这些问题，本文提出了音频数据集水印框架ASWmark，用于识别音频分类数据集的所有权。核心方法包括使用对抗性示例生成算法产生通用对抗性扰动。对抗性生成涉及仔细计算并将微小的低幅度噪声注入音频数据中。这种计算出的噪声利用了神经网络中的漏洞，故意使模型将修改后的音频错误分类为特定的预定目标标签。然后将这些扰动应用于要保护的每个数据集样本，生成一个对抗性示例池（AEP）。随后，使用概率启发式搜索算法（例如模拟退火）来解决从该池中选择最佳触发器集这一具有挑战性的全局优化问题。采用这种复杂的基于优化的选择策略的原因至关重要：依赖随机或简单的贪婪选择通常会导致缺乏多样性或在进行模型训练时容易被移除的次优触发器集。通过利用模拟退火，我们确保选择了高度鲁棒且分布广泛的样本子集，最大化水印对抗攻击的生存能力，同时严格限制修改样本的数量以保持数据集的原始效用。该算法从AEP中选择一部分样本作为触发器集。选定样本的数量限制在要保护的数据集的2%以内，以确保低开销。之后，将触发器集样本混合到干净数据中以生成最终的水印数据集。此外，在生成对抗性扰动的过程中，基础优化最小化了L2范数以保持整体音频保真度。为了进一步稳定训练过程并抑制可听见的伪影，我们还加入了L1正则化项。这种结合方法严格限制了扰动的幅度，同时鼓励较稀疏的扰动向量，从而最小化人耳可感知的失真，保持较高的整体声学保真度。
ASWmark的关键优势在于以下几个方面：首先，框架中包含的对抗性扰动是专门设计来绕过人类感知的，确保了高隐秘性，而不影响水印的成功率（WSR）。这一特性使ASWmark能够悄无声息地运行，使未经授权的方难以检测到嵌入的水印。其次，我们战略性地使用C&W优化来确保最小的可感知失真，并利用模拟退火来导航触发器选择的离散优化空间，防止陷入贪婪方法常见的局部最优解。这种优化的选择过程产生了一个高度多样且有效的触发器集。结合通用对抗性扰动的固有泛化能力，它增强了ASWmark的整体鲁棒性，保证了可靠的数据集所有权验证。因此，ASWmark为音频分类数据集的所有权保护提供了一个有力的解决方案。
为了评估ASWmark，我们在两种现实威胁模型下评估了后门嵌入：PreTrained和FromScratch方法（Jinwei, 2022）。PreTrained方法模拟攻击者使用非法获取的水印数据子集对现有模型进行微调。相反，FromScratch方法假设攻击者完全从头开始使用完整的水印数据集训练模型。通过这两种方法进行后门嵌入后，我们通过对训练模型进行各种模型修改和数据预处理攻击来评估ASWmark框架的鲁棒性。

本文的贡献可以总结如下：
• 音频分类数据集的创新版权保护框架：本文提出了ASWmark水印框架，为音频分类数据集的分布和利用提供了更全面和有效的保护。
• 高保真度触发的协同优化策略：为了克服对抗强度和模型一致性之间的固有权衡，我们设计了一种独特的结合机制，将对抗性扰动生成与概率启发式搜索（模拟退火）相结合。这种方法确保触发器集在感知上与原始样本相似，同时在嵌入高效水印的同时保持高原始任务性能。
• 灵活的水印嵌入策略：ASWmark框架采用了两种水印嵌入方法：PreTrained和FromScratch方法。这一设计有效解决了攻击者使用数据集的部分进行非法微调或使用整个数据集训练模型的情况。
• 全面的实验验证和性能评估：为了克服缺乏全面鲁棒性评估的问题，我们在三种不同的架构（RawAudioCNN、VGGNet和Audio Spectrogram Transformer（AST）以及广泛认可的音频数据集（如AudioMNIST、Google Speech Commands（GSC）和ESC-50）上进行了广泛的测试。结果表明，所提出的方法在CNN和Transformer框架下都具有高保真度、有效性和强大的鲁棒性，特别是在抵御复杂模型修改和数据预处理攻击方面表现突出。

本文的后续部分组织如下：
第2节讨论了音频分类数据集版权保护的相关工作。
第3节概述了ASWmark框架中使用的基本概念以及本研究中提出的威胁模型。
第4节详细介绍了ASWmark框架的过程。
第5节首先介绍了评估指标和实验配置，然后彻底检查了关于保真度、鲁棒性、有效性和可移植性的实验结果，并透明地讨论了框架的局限性和未来的研究方向。
第6节全面讨论了ASWmark与现有方法之间的概念区别。
最后，第7节总结了本研究得出的结论。

相关工作
本节回顾了不同模态下现有的数据集版权保护方案。通过分析先前的方法，我们建立了技术背景，并确定了当前音频数据集保护中的关键局限性，我们的ASWmark框架旨在解决这些问题。

图像数据集的版权保护。Li等人（Li et al., 2020）提出了一种后门嵌入水印方法（BEDW），该方法通过植入预定义的后门来验证所有权。

初步
基于相关工作中发现的空白，本节建立了我们方法论的理论基础。我们详细介绍了所需的数学概念和算法，并随后定义了决定我们框架防御架构的精确对抗性威胁模型。

ASWmark框架
在之前建立的理论基础和威胁模型的基础上，本节探讨了ASWmark框架的核心技术实现。我们系统地详细介绍了从对抗性触发器生成到最终数据集验证协议的整个流程。本文中提到的一些符号的定义在表1中引用。

实验
为了实证验证前一节中建立的理论框架，本部分进行了全面的性能评估。直接针对引言中确定的现有方案的关键局限性，我们的实验设计旨在回答两个问题。首先是，在水印数据集上训练的深度神经网络是否能够保持与干净基线相比的不受影响的主要任务性能。
讨论
为了清楚地区分所提出的ASWmark框架与现有的基于后门的数据集水印方法（例如Tang等人（Tang et al., 2023）），我们强调了两个区别。首先，在触发器选择方面，传统方法通常使用随机选择策略将预定义的固定模式叠加到目标类样本上。然而，这种随机机制本质上无法保证在水印受到复杂部署后修改时的生存能力。

结论
为了解决音频分类数据集版权保护中的关键挑战，本文介绍了ASWmark，这是一个高度鲁棒的音频数据集水印框架。该框架利用对抗性生成算法根据原始数据集制作通用对抗性扰动。然后将这种扰动应用于数据集以构建对抗性示例池。利用模拟退火算法来处理复杂的全局优化问题。

资助
本项工作得到了中国国家自然科学基金（编号62362025）和海南省关键研发计划项目（编号ZDYF2022GXJS224）的支持。

CRediT作者贡献声明
范学峰：概念化、方法论、软件开发、数据整理、撰写——初稿、可视化。
王一丽：软件开发、形式分析、撰写——审阅与编辑。
田志毅：研究、资源管理、数据整理、验证。
邢帆：软件开发、可视化、撰写——审阅与编辑。
马继新：监督、项目管理、撰写——审阅与编辑。
周晓毅：概念化、监督、项目管理、资金获取、撰写——审阅。

利益冲突声明
作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。