面向任务的鲁棒深度神经网络模型隐写术

《TRENDS IN FOOD SCIENCE & TECHNOLOGY》：Task-Oriented Robust DNN Model Steganography

　　**摘要**- 面向任务的隐写术用于秘密 DNN 模型的安全传输。- 通过特征融合和共享模型参数增强任务鲁棒性。- 基于特征选择的数据混合在隐写模型中实现有效的任务耦合。- 授权用户在黑盒环境下通过密钥访问秘密任务。- 大量实验验证了在不同模型和学习任务上的鲁棒性。**引言**如今，人工智能技术进一步发展，DNN 模型被广泛应用于计算机视觉、自然语言处理、多模态学习等领域。高性能的 DNN 模型通常需要大量的训练资源，因此已成为需要保护的知识资产。因此，在公共渠道中安全传输 DNN 模型引起了越来越多的关注，特别是这些为秘密任务设计的模型。隐写术是一种将秘密信息不可感知地嵌入载体数据以完成隐蔽传输的技术[1]。通常，秘密信息被编码为一串比特，载体数据可以是各种多媒体数据类型，如图像[2]、音频[3]和视频[4]。关于如何安全传输用于秘密任务训练的秘密 DNN 模型，一种可行的方法是将秘密 DNN 模型视为秘密信息，选择传统多媒体作为载体数据进行嵌入。然而，由于 DNN 模型通常包含大量参数，传统多媒体数据通常无法提供足够的嵌入空间。随着多任务学习[5]、[6]、DNN 后门[7]、[8]和 DNN 模型水印[9]、[10]的发展，学者们已经确认了 DNN 模型中存在冗余参数，这些参数可以为隐写术提供更大的嵌入空间。尽管这些范式都利用了 DNN 的冗余容量，但它们追求的目标本质上不同。多任务学习旨在通过共享表示来提高多个显式可访问任务的性能，而 DNN 后门和模型水印则是为了嵌入触发-响应映射或所有权信息用于模型认证。与这些范式不同，面向任务的 DNN 模型隐写术旨在实现一个可独立执行的秘密任务的隐蔽部署，而不是提高多个可访问任务的性能或嵌入所有权信息。具体而言，秘密任务需要被不可感知地隐藏在载体 DNN 模型中，使得未授权用户只能访问载体任务的正常功能，而隐藏的任务只能由授权用户使用相应的密钥来恢复和执行。如图1所示，发送方首先使用密钥将秘密任务嵌入到载体 DNN 模型中，生成用于公开传输的隐写 DNN 模型。接收到隐写 DNN 模型后，未授权用户只能执行正常任务，而授权用户可以借助密钥恢复并执行秘密任务。尽管最近的研究已经证明了面向任务的 DNN 模型隐写术的可行性，但这一领域仍处于起步阶段。现有方法主要强调秘密任务的成功隐藏和恢复，而很大程度上忽视了隐写模型在实际传输和部署过程中的鲁棒性。在现实场景中，传输的 DNN 模型通常会受到模型修改操作，如微调、剪枝和量化，以进行模型适应、压缩或优化。由于现有方法没有在载体任务和秘密任务之间明确建立强任务耦合，这些修改很容易在保留载体模型正常功能的同时损害隐藏任务。这种鲁棒性的缺乏大大限制了面向任务的 DNN 模型隐写术的实际部署。为了解决这一问题，我们提出了一种鲁棒的面向任务的 DNN 模型隐写方法。我们的方法通过在模型优化过程中建立载体任务和秘密任务之间的强耦合来增强隐写 DNN 模型的鲁棒性。具体而言，我们提出了一种密钥控制的特征融合策略来融合从两个任务数据集中提取的特征，从而影响反向传播过程中的参数更新。因此，秘密任务成为所学表示的不可分割的一部分，而不是一个可以独立移除的组件。因此，移除秘密任务不可避免地会降低正常任务的性能。此外，所提出的方法保留了载体 DNN 模型的原始架构，不引入额外的传输开销，并能够授权用户在黑盒场景中恢复和访问秘密任务。主要贡献总结如下：- 我们提出了一种鲁棒的面向任务的 DNN 模型隐写方法，用于可执行秘密任务的安全传输，使授权用户能够在黑盒场景中使用密钥恢复并执行秘密任务。- 我们设计了一种特征选择操作，从正常任务数据集中选择具有代表性特征的样本进行特征融合，从而降低了秘密任务嵌入的难度。- 我们设计了一种密钥控制的特征融合策略来融合正常任务和秘密任务数据集的特征，从而增强隐写 DNN 模型中两个任务之间的耦合。- 在多个 DNN 模型和两组任务上的实验结果表明了所提方法的有效性，尤其是其对抗常见模型修改攻击的鲁棒性。本文其余部分组织如下。第2节综述相关工作。第3节概述问题定义。第4节介绍我们的面向任务的 DNN 模型隐写方法。第5节给出实验结果和分析。第6节总结全文。**章节摘要****相关工作**根据不同的载体数据，数据隐藏方案通常可分为两大类：(i) 以传统多媒体为载体数据，和 (ii) 以 DNN 模型为载体数据。本节简要回顾这两类数据隐藏方案。**问题定义**给定一个需要安全传输的、为秘密任务训练的 DNN 模型，我们的目标是将该秘密任务隐藏到一个具有正常任务的载体 DNN 模型中，获得一个鲁棒的隐写 DNN 模型。这里，正常任务指的是载体模型原本执行的良性任务，而秘密任务是指要隐藏的机密任务。所提出的框架对两个任务之间的语义相似性没有要求，只假设两个任务都可以……**所提方法**在本节中，我们详细介绍了所提方法，该方法包含三个主要组件：(a) 特征融合阶段，(b) 秘密任务嵌入和 (c) 秘密任务访问，如图2所示。在(a)中，首先通过特征选择操作从正常任务数据集中选择预先混合的图像集。然后，使用密钥进一步混合秘密任务数据集的特征和预先混合的图像集，获得混合数据集。在(b)中，任务保真度损失和……**实验结果与分析**在本节中，首先介绍实验设置。然后从保真度、隐蔽性、安全性和鲁棒性方面分析所提方法的表现。最后给出消融实验。**结论**在本文中，我们提出了一种面向任务的鲁棒 DNN 模型隐写方法，用于秘密 DNN 任务的安全传输。所提方法将秘密任务嵌入到载体 DNN 模型中，同时保留正常任务功能。为了增强鲁棒性，我们设计了一种基于特征选择的特征融合策略，通过鼓励正常任务和秘密任务共享更丰富的特征表示来加强两者之间的耦合。此外，还使用了密钥……**未引用的浮动元素**表8。**CRediT 作者贡献声明****黄林：** 撰写 – 初稿、软件、方法学、调查、概念化。**李鹏鹏：** 可视化、验证、形式化分析、数据整理。**王伟：** 撰写 – 审阅与编辑、方法学。**秦川：** 撰写 – 审阅与编辑、监督、项目管理、概念化。**冯国瑞：** 验证、调查。**张新鹏：** 撰写 – 审阅与编辑、监督。**利益冲突声明**作者声明，他们没有已知的竞争性财务利益或个人关系可能影响本文所报告的工作。**作者：** 黄林|李鹏鹏|王伟|秦川|冯国瑞|张新鹏