RetPur：基于扩散技术的哈希检索中针对黑盒定向攻击的防御方法

《Digital Signal Processing》：RetPur: Diffusion-Based Defense Against Black-box Targeted Attacks in Hashing Retrieval

　　刘亚辉|吴嘉松|洛特菲·森哈吉|华中师范大学，新一代人工智能技术及其跨学科应用重点实验室，教育部，南京，中国

摘要：深度神经网络在基于哈希的图像检索任务中取得了显著成效。然而，它们仍极易受到对抗性扰动的影响，从而导致错误的或被操纵的检索结果。尤其是有针对性的攻击，可以通过生成预定的检索结果严重降低模型性能。尽管对抗性净化技术在防御此类威胁方面展现出潜力，但其在图像检索任务中的应用尚未得到充分探索。本研究提出了RetPur，一种用于单模态和跨模态图像检索的基于扩散的净化框架。我们通过四种有针对性攻击方法对RetPur进行了评估，并进一步研究了其在跨模型迁移场景下的鲁棒性。该方法首先采用高斯滤波进行初始噪声抑制，然后利用去噪后的图像相似性来指导基于扩散的迭代净化过程，从而获得更纯净的输出。此外，该框架还引入了一种特征引导的损失函数，结合SSIM值以及从预训练的VGG-16网络中提取的深度特征，以在保持亮度、对比度和纹理等低级结构属性的同时，保留高级语义信息。在单模态和跨模态基准测试上的大量实验表明，RetPur在各种有针对性攻击下都能显著提升检索精度和鲁棒性，其性能接近于在干净数据集上的表现，且无需重新训练模型。

1. 引言
深度学习模型在各种视觉任务中表现出强大性能，包括分类、检索、物体检测和分割等。其中，哈希检索系统在高效搜索和管理大规模数据方面发挥着关键作用，其应用范围涵盖图像检索、多媒体搜索和推荐系统[1] [2] [3] [4] [5] [6]。虽然这些系统在大规模数据管理方面表现出色，但它们易受对抗性样本的攻击，这降低了系统的可靠性，带来了严峻挑战[7] [8] [9]。对抗性样本是指那些微小且难以察觉的扰动，它们能够误导模型产生错误输出[10] [11] [12] [13]。在哈希检索系统中，对抗性攻击尤为令人担忧，因为它们会通过返回错误的文本描述和视觉结果来破坏检索过程。与主要在受到攻击时输出错误标签的分类模型不同，哈希检索系统必须保持不同模态（如图像和文本）之间的语义一致性，这使得防御策略更加复杂。

目前针对对抗性攻击的防御策略可分为三类。对抗性训练[14] [15] [16] [17] [18]旨在通过在训练过程中加入对抗性示例来增强模型的鲁棒性，但它往往难以很好地泛化到不同类型的攻击。对抗性检测[19] [20] [21] [22] [23]则试图识别对抗性样本，但在将其与正常数据区分开来方面存在困难。相比之下，对抗性净化[24] [25] [26] [27]则是直接对测试数据进行处理，去除其中的对抗性噪声，使其恢复到原始的纯净状态。这种方法高效、易于集成且用途广泛，可应用于不同任务而不增加模型的复杂性。最近在去噪扩散概率模型（DDPMs）方面的进展[24] [25]证明了其在对抗性净化方面的有效性，即通过条件引导逐步优化含噪输入。与传统依赖固定噪声假设的方法不同，DDPMs[28] [29] [30]能够精确恢复语义和结构特征，因此特别适合用于防御复杂且动态的对抗性攻击。

尽管对抗性净化在分类任务中已得到广泛研究，但其在检索系统中的应用仍然有限[31]。哈希检索系统尤其容易遭受黑盒攻击，因为其模型参数通常不对用户开放，这就增加了此类威胁的实际危害性。此外，与非随机降低模型性能的非针对性攻击不同，有针对性攻击会利用系统输出来实现特定的、往往具有危害性的目标，从而对系统的可靠性和用户信任度构成严重威胁。为应对这些挑战，本研究聚焦于哈希检索系统中的有针对性对抗性攻击，包括在白盒环境下生成的攻击以及在相应的黑盒迁移环境下进行的评估，强调了针对这类威胁开发强大净化技术的迫切需求。

为防御哈希检索中的有针对性对抗性攻击，我们提出了RetPur，一种基于扩散的预净化框架。提出RetPur的灵感来源于这样一个观察：对抗性扰动虽然在视觉上难以察觉，却能显著改变查询的哈希表示。RetPur无需修改或重新训练检索模型，而是在检索之前将带有对抗性的查询恢复到接近纯净图像的分布状态，从而在输入层面降低攻击效果。为避免在净化过程中破坏与检索相关的内容，RetPur在扩散恢复过程中融入了感知和结构引导，使得净化后的图像能够保持语义一致性和视觉真实性。这一设计使得RetPur能够作为即插即用的防御模块，应用于单模态和跨模态哈希检索系统。

在单模态和跨模态哈希检索基准测试上的大量实验表明，RetPur在多种有针对性的对抗性环境下都能持续提升检索的鲁棒性。实验结果还显示，RetPur能够在保持纯净样本检索行为的同时减轻对抗性影响，体现了其作为通用预净化防御框架的有效性和灵活性。如图1所示，对抗性扰动可能会使哈希检索系统返回在语义上无关的图像和文本结果。经过净化后，RetPur有助于将查询恢复到更可靠的视觉表示状态，从而使检索系统能够得到语义一致的结果。这种即插即用的设计使得RetPur既适用于单模态哈希检索场景，也适用于跨模态哈希检索场景。

下载：下载高分辨率图片（616KB）
下载：下载全尺寸图片
图1. 基于哈希的图像检索系统中的对抗性攻击与净化过程示意图。

总之，本研究的主要贡献如下：
—一种用于哈希检索的基于扩散的预净化框架：我们提出了RetPur，这是一种即插即用的防御框架，无需修改底层检索模型，即可提升单模态和跨模态哈希检索系统对抗有针对性攻击的鲁棒性。
—一种保留语义的净化策略：RetPur旨在抑制对抗性扰动，同时保留对可靠哈希检索至关重要的语义和结构信息，从而减少对抗性检索错误并保持视觉真实性。
—在多种检索场景下的全面验证：我们在不同的有针对性对抗性环境、检索任务、哈希架构以及净化配置下对RetPur进行了评估。实验结果证明了其作为预处理防御模块的鲁棒性、通用性和实用性。

本文的其余部分结构如下。第2节回顾了关于对抗性攻击、对抗性净化以及哈希检索的相关研究。第3节介绍了所提出的RetPur框架及其基于引导的扩散净化策略。第4节阐述了实验设置、比较结果、消融研究、敏感性分析以及泛化能力评估。最后，第5节对全文进行总结，并探讨了本研究的局限性及未来发展方向。

2. 相关工作
2.1 哈希检索系统
基于哈希的检索方法由于能够将高维数据映射到汉明空间中的紧凑二进制代码，因而成为近似最近邻（ANN）搜索的一种高效解决方案。这些方法大致可分为单模态和跨模态两类，进而又可细分为监督学习和无监督学习框架。

单模态哈希检索侧重于将同一模态内语义相似的对象映射到相似的二进制代码。这类方法效率极高，被广泛应用于大规模哈希检索任务中。无监督单模态哈希方法则试图在不依赖语义标签的情况下学习二进制代码，通常采用保持数据样本之间的结构一致性或度量关系等技术。例如，深度优先哈希（DPH）[2]采用基于优先级的排序方法生成二进制代码，而深度解耦离散哈希（DUDH）[32]则结合无监督表示学习与相似度矩阵分解来构建哈希码。尽管这些方法具有可扩展性和无需标签的特点，但往往存在“语义间隙”问题，从而导致检索性能不佳[33]。相比之下，监督学习单模态哈希方法则利用类别标签或成对相似度来指导二进制代码的学习。例如，深度监督哈希（DPSH）[1]通过最小化成对损失函数来优化哈希码，而HashNet[34]则通过引入连续松弛技术来提升性能。这些方法还被拓展用于处理更复杂的任务，如多标签哈希检索[35]，展现了监督学习方法在单模态哈希领域的多样性。最近的研究从不同角度进一步提升了单模态图像哈希的性能。以代码本为中心的深度哈希方法端到端地优化了语义哈希中心与神经哈希函数，提高了所学哈希码的区分度[36]。深度相关性对齐哈希则重新审视了非对称图像检索中离散化的作用，通过引入基于相关性对齐的量化方法来提升查询与库之间的一致性[37]。尽管有了这些进展，深度哈希系统对抗有针对性攻击的鲁棒性仍需进一步研究。

跨模态哈希检索系统则旨在处理多模态数据，实现不同数据模态之间的交互与相似度计算。与单模态系统类似，跨模态哈希也可分为监督学习和无监督学习两类。监督学习跨模态哈希利用标签注释将不同模态的数据表示对齐到同一个汉明空间中。深度跨模态哈希（DCMH）[38]率先将深度学习应用于跨模态哈希检索，实现了特征学习与哈希码学习的端到端整合。最近的进展还包括深度对抗性离散哈希（DADH）[3]，它通过结合三元组约束的对抗性训练来生成更强大的哈希码。无监督学习跨模态哈希方法则依靠数据的内在结构和无监督表示学习来避免手动标注的需求。这类方法通常旨在缩小不同模态之间的语义差距。例如，无监督深度跨模态哈希（UDCMH）[39]通过结合多模态矩阵分解与深度神经网络来实现语义对齐，而深度联合语义重构哈希（DJSRH）[40]则构建了联合语义亲和矩阵来保持不同模态之间的邻域关系。深度图邻居一致性保持网络（DGCPN）[4]则利用图结构来增强不同模态之间的一致性，以无监督方式捕捉邻域信息并保持图拓扑结构。此外，基于聚合的图卷积哈希（AGCH）[41]通过采用基于GCN的聚合策略进一步推动了这一领域的发展，实现了不同模态二进制代码的统一。最近的跨模态哈希研究进一步提升了检索的可靠性和语义对齐程度。例如，Li等人[42]引入证据学习来建模跨模态相似度估计中的不确定性，从而提高检索结果的可靠性。Tu等人[43]则利用多种实例级匹配关系来增强细粒度的跨模态对齐。在哈希码学习方面，联合非对称离散哈希（JADH）[44]研究了跨模态检索的联合非对称离散优化问题，旨在更好地学习各模态特有的表示与二进制哈希码。此外，Han等人[45]对多义语义信息进行了建模，以更好地表示模糊的跨模态语义，而Tu等人[46]则通过为图像和文本模态使用共享的生成解码器来缩小各模态特有的建模差距。尽管这些方法从不同方面提升了跨模态检索的性能，但它们对抗有针对性攻击的鲁棒性仍需进一步研究。

尽管单模态和跨模态的哈希检索系统在效率和准确性方面都已取得显著进步，但它们仍面临着语义间隙和对抗性攻击等挑战。该领域的后续研究致力于解决这些限制，以提高基于哈希的检索方法在各种应用中的鲁棒性和可靠性。

2.2 哈希检索系统中的对抗性攻击
对抗性攻击已成为检索系统面临的一大威胁，凸显了单模态和跨模态系统中的脆弱性。对于单模态检索系统，非针对性攻击[47] [48] [49] [50]通过引入干扰来破坏特征提取和排序机制，从而降低整个系统的性能，往往使得检索结果毫无意义。相反，有针对性攻击[51] [52] [53] [54]则通过操控检索结果来产生攻击者预先设定的特定结果，暴露出相似度度量方法的脆弱性以及语义对齐方面的不足。后续研究还将有针对性攻击应用到了深度哈希检索领域。HUANG提出了一种基于扩散的黑盒攻击框架，旨在提升哈希模型之间的对抗性迁移能力[55]。Tu等人[56]则利用训练样本中的哈希码作为全点语义引导，训练出一个用于生成有针对性对抗性示例的攻击生成器。在跨模态检索系统中，对抗性攻击同样是个严重问题。非针对性攻击[57] [58] [59] [60] [61]利用文本和图像嵌入等不同模态之间的特征错位来破坏检索精度。另一方面，有针对性攻击[31]则利用跨模态依赖关系来实现精确的攻击目标，比如调整检索排名，使不同模态下的结果符合攻击者的要求。最近的跨模态攻击研究还进一步考虑了目标语义构建和高效的攻击生成方法。主码引导的靶向攻击（PGTA）通过整合跨模态实例与标签，为跨模态哈希攻击获取主码引导的目标语义[62]。Cross-Gen则引入基于生成器的框架，能够在保持强大攻击性能的同时高效生成用于跨模态哈希检索的对抗性样本[63]。这些攻击凸显了嵌入对齐与语义一致性方面的挑战，也强调了需要更具抵御能力的检索系统来应对此类操纵。尽管现有研究大多聚焦于白盒环境，即攻击者可完全访问模型参数和梯度，但这一假设在现实场景中往往并不成立。相比之下，黑盒攻击仅依赖系统输出或有限反馈，构成了更为真实且具有挑战性的场景。其中，黑盒靶向攻击尤为隐蔽，因为它能通过自适应方式操纵输出，以高精度实现攻击者设定的目标。这种适应性加上无法获取模型内部信息的特点，使得黑盒靶向攻击不仅更难防御，而且在实际应用中极具实用性。尽管重要性不言而喻，但针对哈希检索系统中黑盒靶向攻击的防御策略仍鲜有研究。现有的防御方法，如对抗性训练和语义优化，往往难以泛化到未见过的攻击类型，或者存在极高的计算成本，限制了其在实际应用中的效果。为解决这些问题，我们的研究致力于利用先进的对抗性净化技术，在降低对抗性噪声影响的同时，保持检索系统的结构与语义完整性。

2.3 针对对抗性攻击的防御策略
对抗性攻击通过引入微妙扰动利用机器学习模型中的漏洞，从而导致错误预测，给模型的稳健性与可靠性带来巨大挑战。现有的对抗性防御策略可大致分为对抗性训练、对抗性样本检测以及对抗性净化三类。对抗性训练通过在训练过程中加入对抗性样本来提升模型稳健性，例如基于FGSM的对抗性训练[14]以及基于PGD的方法[19]。然而，对抗性训练往往会显著增加计算成本，且容易受到未见过攻击类型的威胁。对抗性样本检测则侧重于利用统计模式或辅助分类器识别对抗性输入，如[21]、[22]中的研究所示。尽管这种方法简单，但却可能被旨在规避检测的自适应攻击所绕过。这些局限性凸显出对抗性净化[24]、[25]、[26]、[27]的必要性，其目标是在推理前对输入数据进行处理，去除对抗性扰动，恢复纯净的表示形式。为同时提升模型的稳健性与泛化能力，近期研究开始将对抗性训练与对抗性净化相结合。基于净化的对抗性训练（AToP）通过随机变换消除扰动，并用对抗性损失函数对净化器进行微调，从而提升模型对未见攻击的稳健性与泛化能力[64]。与此同时，用于对抗性净化的稳健扩散模型引入了由对抗性引导的逆向处理过程，能够在不重新训练扩散模型的情况下，既保留语义内容，又缓解精度与稳健性之间的矛盾[65]。此外，共识防御机制通过聚合输入数据的多种随机增强版本的结果[66]，为提升稳健性提供了额外的测试时机制。这些方法不受模型类型限制，无需重新训练即可应用。不过，这类方法的改进会带来推理延迟，且效果取决于增强版本的多样性及校准程度。尽管已有诸多进展，但大多数防御策略仍集中在图像分类领域，而针对图像检索，尤其是基于哈希的检索方式的对抗性防御研究仍较为匮乏，亟需系统性的研究。在哈希检索系统中，ATRDH[67]通过缩小对抗性样本与纯净样本在汉明空间中的语义差距来减轻对抗性威胁。但它缺乏足够的稳健性，因为该方法将相似性误差视为正则化项，而非采用全面的对抗性训练机制，因此难以有效抵御复杂的攻击。SAAT[68]则通过引入基于极小极大原理的对抗性训练框架来弥补这一缺陷，该框架旨在最小化对抗性哈希码与正常哈希码之间的距离。然而，这种方法会大幅增加模型复杂度，需要大量的计算资源，且高度依赖于对正常哈希码的精确建模。

2.4 用于对抗性净化的生成模型
生成模型在从经过对抗性扰动的输入中重建纯净图像方面展现出良好效果。这类模型通常被作为对抗性净化框架中的预处理组件，为对抗性训练提供了一种实用的替代方案。例如，Defense-GAN[69]就运用生成对抗网络从受损输入中恢复纯净样本。类似地，自回归生成模型，如PixelDefend[70]，也被用于检测和缓解对抗性扰动，证明了其在提升模型稳健性方面的有效性。除了基于GAN的方法之外，去噪自编码器也被提出用于对抗性净化[71]。这些方法利用诸如马尔可夫调整朗之万算法（MALA）之类的算法来优化含噪输入，从而获得更纯净的输出。基于能量的模型（EBMs）结合马尔可夫链蒙特卡洛方法，也被证明是去除对抗性噪声的有效技术[72]、[73]、[74]。此外，基于去噪得分的模型也被视为一种有前景的对抗性输入净化策略[75]。随着扩散模型在图像生成领域的成功应用，对抗性净化研究也得到了进一步发展。有多项研究[24]、[25]、[76]提出了去噪扩散概率模型及其改进版本，用于净化受扰动的测试数据集。不过，这些研究主要集中于使用CIFAR-10和ImageNet等常见基准数据集进行的常规分类任务。最近的研究则将这些方法扩展到涉及复杂数据的分类或分割任务，包括3D点云[77]、自我监督的血管分割[26]以及音频信号[27]。人们还从不同角度对基于扩散的净化过程进行了进一步优化。ADBM[78]将对抗性净化视为一种扩散桥接过程，旨在为图像分类任务中的对抗性输入到纯净样本的转换提供可靠路径。IMPure[79]则提出了一种信息掩蔽与重构策略，通过掩蔽可能被破坏的信息并恢复语义内容，从而抑制对抗性扰动。Pei等人[80]提出了一个包含异构噪声整合的分而治之框架，为不同图像区域分配不同的噪声强度，以此提升对图像对抗性攻击的净化效果。不过，这些方法主要是为面向分类的稳健性评估设计的，其在基于哈希的检索系统中的有效性仍需进一步研究。在此基础上，我们旨在将对抗性净化方法拓展到基于哈希的检索系统领域，填补当前研究中的这一重要空白。

3. RetPur：基于扩散的检索净化模型
为应对基于哈希的检索系统在面对对抗性扰动时的脆弱性，我们提出了检索净化（RetPur）这一全新框架，它基于预训练的去噪扩散概率模型构建。RetPur专为防御黑盒靶向攻击而设计，通过恢复受损数据集的语义与结构完整性，从而提升检索系统的稳健性与准确性。该框架采用两步净化流程，结合高斯去噪与基于特征的语义融合，逐步将对抗性样本与其对应的纯净样本对齐。此外，RetPur还融入了基于梯度的扩散机制，能够在去除噪声的同时精确且自适应地保留数据的关键视觉与上下文特征。为便于全面理解，我们在表1中总结了与RetPur框架相关的扩散模型理论基础、核心概念及数学符号。

表1. 所用符号及其说明
符号 | 说明
----|----
x0 | 原始（纯净）图像样本
xadv | 经过扰动生成的对抗性图像样本
xt | 扩散过程中第t步的图像状态
T | 扩散过程的总步数
βt | 第t步的扩散系数
αt | 噪声调度参数，其中αt=1?βt
pdata | 原始数据集的分布
pnoise | 正向扩散后完全被噪声覆盖的数据的分布
q(xt∣xt?1) | 从xt?1通过添加高斯噪声生成xt的概率
pθ(xt?1∣xt) | 从xt去除高斯噪声后恢复xt?1的概率
H(?·?) | 净化过程中使用的高斯去噪滤波器
D(x, y) | 基于SSIM及VGG特征差异的相似度计算方法
? | 正向扩散过程中添加的高斯噪声
μθ | 反向扩散步骤中预测的均值
σt2 | 反向扩散过程中的方差参数

3.1 扩散模型基础
扩散模型是一类功能强大的生成模型，在图像合成、去噪以及数据净化等任务中表现优异。RetPur正是基于此，利用去噪扩散概率模型（DDPM）[81]来应对检索系统中的对抗性扰动。DDPM定义了两个长度为T的马尔可夫链：一个是正向过程，逐步为纯净图像x0?～?pdata添加高斯噪声；另一个是反向过程，通过用参数化模型分布pθ近似真实数据分布，学习去噪并重建数据。在RetPur中，反向去噪过程以对抗性样本为条件，从而在去除对抗性噪声的同时保留语义内容。需要说明的是，N(x;μ,Σ)表示在点x处，均值为μ、协方差为Σ的高斯分布的概率密度函数；而N(μ,Σ)则指的是分布对象本身。这一符号区分解决了模型公式中高斯函数使用上的潜在歧义。

正向扩散过程：设x0?～?pdata表示从数据分布中抽取的样本。正向过程通过长度为T的马尔可夫链将x0逐步转化为纯高斯噪声，每一步都会注入方差逐渐增大的高斯噪声。形式上，每个时间步t的转移分布可表示为：
(1) q(xt∣xt?1)=N(xt;1?βtxt?1,βtI)，其中βt?∈?(0, 1)是第t步预先定义的小噪声方差，I为单位矩阵。据此，可通过重参数化方式从该分布中抽取样本xt：
(2) xt=1?βtxt?1+βt?t，其中?t～N(0,I)，这一公式实现了噪声的递归注入。为将xt用原始样本x0表示出来，定义αt=1?βt，αˉt=∏i=1tαi。通过递归应用公式(2)，可得：
当t=1时：x1=α1x0+1?α1?1，其中?1～N(0,I)；
当t=2时：x2=α2x1+1?α2?2=α2α1x0+α2(1?α1)?1+1?α2?2，其中?1,?2～N(0,I)≈αˉ2x0+1?αˉ2?，其中?～N(0,I)。通过归纳可得出，任意步骤t时都有：
(3) xt=αˉtx0+1?αˉt?，其中?～N(0,I)。由此可见，xt始终服从具有已知均值与方差的高斯分布。因此，在给定x0的条件下，xt的边际分布为：
(4) q(xt∣x0)=N(xt;αˉtx0,(1?αˉt)I)。当t?→?T时，累积噪声会占据主导地位，此时正向过程的分布将收敛为标准高斯先验：
(5) q(xT)≈N(0,I)=pnoise。

反向采样过程：从xT?～?pnoise开始，反向过程通过逐步去除正向扩散过程中引入的噪声，将含噪声数据xT重构为纯净图像x0。这一过程遵循马尔可夫链，可表示为：
(6) pθ(x0,?,xT?1∣xT)=∏t=1Tpθ(xt?1∣xt)，其中pθ(xt?1∣xt)被建模为高斯分布：
(7) pθ(xt?1∣xt)=N(xt?1;μθ(xt,t),σt2I)。此处，μθ(xt, t)是由神经网络参数化的预测均值，σt2则表示方差，该方差既可以固定不变，也可以通过学习动态调整[81]、[82]。采样过程首先从pnoise中抽取xT，然后依次从xt反推xt?1，直到t=T、T?1，?，1，最终得到纯净的输出x0。

条件梯度：为解决对抗性净化问题，Wang等人[25]通过修改DDPM的反向转换过程，提出了一种引导式去噪扩散框架。他们从无条件采样pθ(xt?1∣xt)出发，引入了条件形式pθ(xt?1∣xt,xadv)，以此引导去噪过程朝向对抗性输入xadv发展。具体而言，通过应用贝叶斯定理，条件反向分布可分解为：
(8) logpθ(xt?1∣xt,xadv)∝logpθ(xt?1∣xt)+pθ(xadv∣xt)。由于p(xadv∣xt)的精确形式难以求解，他们采用启发式方法近似似然项：
(9) pθ(xadv∣xt)∝exp(?s·D(xt,xadv))，其中s?>?0是控制净化强度的引导尺度，D为距离度量指标（如均方误差或负SSIM值）。对近似后的对数似然求梯度，即可得到条件引导项：
(10) ?xtlogp(xadv∣xt)=?s·?xtD(xt,xadv)。按照分类器引导策略[83]，这一梯度被用于调整采样均值。随后将该梯度纳入高斯反向转换的均值中，从而得到最终的引导分布：
(11) pθ(xt?1∣xt,xadv)=N(xt?1;μθ(xt,t)?s·σt2?xtD(xt,xadv),σt2I)。这样一来，模型就能在去除对抗性扰动的同时，恢复与xadv对齐的纯净样本。实验表明，经过净化的图像在分类任务中的表现优于DDPM模型，该方法能有效净化CIFAR10和ImageNet等已分类数据集。

3.2 在局部特征平滑性假设下的理论分析
设x～pdata?Rd表示一个纯净的查询图像，xadv=x+δ为其对抗性版本，且‖δ‖p?≤?ε。此处使用的正向扩散过程遵循Ho等人[81]提出的保持方差的随机微分方程：
(12) xt=αt(x+δ)+1?αtε，其中αt=exp(?∫0tβ(s)ds)，ε～N(0,I)。在检索系统中，净化后的图像会随后经过特征提取函数?:Rd→Rm的处理。与关注离散标签的分类任务不同，检索任务要求连续值嵌入的稳定性，因此有必要在适当的平滑性假设下，分析输入空间中的净化操作如何影响检索所使用的连续特征空间表示。

基于谱范数的利普希茨上界：借鉴针对神经网络的标准利普希茨分析方法[84]、[85]，我们在最终哈希二值化层之前，考虑连续特征提取函数?(?·?)，从而进一步明确局部平滑性假设。此处，?(?·?)的作用是将输入图像映射为连续的检索特征。假设?(?·?)由L个线性层或卷积层以及非线性激活层构成。第l个线性层或卷积层的权重运算符记为Wl，相应的非线性运算则记为σl(?·?)。对于输入到第l个非线性运算中的任意两个特征向量u和v，我们假设σl(·)是非扩张的：(13)∥σl(u)?σl(v)∥2≤∥u?v∥2。在欧几里得范数下，ReLU以及许多池化层或归一化层等常用运算都满足这一条件。基于这一假设，输出特征的变化上界可由所有线性或卷积算子的谱范数之积来确定：(14)∥?(x1)??(x2)∥2≤(∏l=1L∥Wl∥2)∥x1?x2∥2，其中x1和x2是两个输入图像，‖Wl‖2表示Wl的谱范数，即第l个线性或卷积算子的最大奇异值。因此，特征提取器的可接受全局Lipschitz上界可表示为：(15)ρ?≤∏l=1L∥Wl∥2，其中ρ?表示?(·)的全局Lipschitz上界。为保证数值稳定性，该上界也可等价地用对数形式表示：(16)logρ?≤∑l=1Llog∥Wl∥2。这种基于谱范数的表述表明，当各层的谱范数为有限值时，连续型特征提取器也存在有限的Lipschitz上界。不过，对于深度网络而言，这一全局上界通常较为宽松，不应被视为所评估哈希架构的精确或经过验证的Lipschitz估计值[85]。因此，在后续分析中，我们在自然图像流形附近使用局部Lipschitz常数ρloc，该常数用于描述在较小邻域内，特征提取器对干净图像、对抗样本以及净化后图像的局部平滑性。

命题1 局部平滑性下的特征空间影响设x为干净的查询图像，xadv为其对抗版本，xpur为净化后的图像。假设x、xadv和xpur位于自然图像流形周围的局部邻域B(x,r)内，r为该邻域的半径。令ρloc表示该邻域内连续特征提取器?(·)的局部Lipschitz常数。那么对于任意x1,x2∈B(x,r)，有(17)∥?(x1)??(x2)∥2≤ρloc∥x1?x2∥2。如果净化能够降低输入空间与干净图像的偏差，即(18)∥xpur?x∥2≤α∥xadv?x∥2，0≤α≤1，那么净化后图像的特征空间偏差则有界为(19)∥?(xpur)??(x)∥2≤αρloc∥xadv?x∥2。证明见附录A。上述命题并非为任意深度哈希网络提供经过验证的鲁棒性保障，而是给出一种理论解释：若净化能减少输入空间偏差，且特征提取器在自然图像的局部邻域内表现平滑，那么净化后的查询图像其特征空间偏差的上界应会更小。接下来，我们将探讨为何扩散净化能够减弱输入空间的对抗性扰动。以下观察最初是在输入空间中提出的，在我们的检索场景中，它们可作为扰动减弱的理论依据，而命题1则说明了在局部平滑性条件下，输入空间偏差的降低如何进一步导致特征空间偏差的减小。对于对抗性输入xadv=x+δ，其在扩散时间t0时的扩散样本可分解为[25](20)xt0=αt0x+αt0δ+1?αt0ε，ε～N(0,I)。这一分解表明，对抗性扰动会通过因子αt0被削弱，而注入的高斯噪声则会随1?αt0增加。因此，选择合适的扩散深度可在逆去噪之前削弱对抗性成分。从命题1的角度来看，降低剩余的输入空间扰动，可在局部平滑性条件下进一步降低对应特征空间偏差的上界。然而，扩散深度也不宜过大。现有的基于扩散的净化分析表明，逆去噪后的重建误差会受到所选扩散时间的影响。具体而言，对于从xt0开始的逆去噪链的输出x^0，可得到如下输入空间界限[24]：(21)E[∥x^0?x∥2]≤∥δ∥2+1?e?2γ(t0)σ，γ(t)=12∫0tβ(s)ds。这一界限表明，较大的扩散深度虽能提升扰动削弱效果，但也可能增加噪声导致的重建失真。因此，净化步骤需在去除对抗性扰动与保留语义信息之间取得平衡。在命题1的局部平滑性条件下，输入空间中较小的重建误差应会带来特征空间偏差更小的上界。总体而言，这些理论观察为选择能在扰动削弱与重建精度之间取得平衡的合适扩散深度t0提供了依据。在哈希检索的背景下，这一分析应被视为在局部特征平滑性条件下的理论解释，而非针对任意深度哈希网络的经过验证的鲁棒性保障。还需注意的是，最终的哈希二值化操作，例如b(x)=sign(h(x))，在零点附近是不连续的。因此，上述分析是在二值化之前的连续特征表示上进行的，而这正是用于解读深度哈希模型稳定性的常用方法。

3.3 RetPur框架概述RetPur模型引入了一种基于扩散的强大防御机制，用以抵御哈希检索系统中的黑盒定向攻击。该框架由两个主要部分组成：一个预训练的扩散模型和一个引导梯度模块，如图2所示。这一架构能够有效将受损的对抗性样本恢复为原本的干净形态，从而确保准确的检索结果。下载：下载高分辨率图像（677KB）下载：下载全尺寸图像图2. RetPur框架示意图。该模型通过利用预训练的扩散过程和引导梯度模块，来应对基于哈希的检索系统中的对抗性攻击。首先，框架通过扩散模型对对抗性查询添加噪声，再利用U-Net逐步去噪，最终得到净化后的状态。与此同时，引导梯度模块会计算高斯去噪值及相似度指标（如VGG和SSIM），从而迭代优化净化过程。净化后的查询会被输入到哈希检索模型中，即便存在对抗性干扰，也能为文本和视觉输出带来准确的检索结果。预训练的扩散模型：RetPur的核心在于利用在干净图像上预训练好的现成扩散模型来净化对抗性样本。从经过对抗性扰动的图像xadv开始，RetPur首先将其扩散到中间带噪声的状态，而非完全噪声化的状态。随后，逆扩散过程会利用固定的去噪U-Net逐步去除噪声，重构出净化后的图像。在净化过程中，预训练扩散模型的参数保持不变，对抗性样本仅在测试时的净化过程中作为输入使用。引导梯度模块：为进一步提升净化效果，引导梯度模块结合了高斯去噪与基于特征的相似度计算。具体而言：—高斯去噪H：首先进行过滤处理，以降低高频噪声，为后续处理提供更清晰的中间表示。——基于特征的相似度计算D：会对对抗性图像xadv和中间图像xt分别使用两种指标进行评估——基于VGG的感知特征以及基于SSIM的结构属性。这两种指标分别从语义和结构层面提供均衡的评估结果。——梯度计算：通过加权求和的方式结合这些相似度结果，生成引导信号。该信号会在保持预训练扩散模型参数不变的情况下，调整采样路径，从而引导逆扩散过程。与检索系统的整合：一旦图像被净化，就会输入到基于哈希的检索系统中。净化后的查询能够让系统在面临对抗性攻击的情况下，依然从数据库中准确检索出在语义和结构上相关的结果。这种双组件设计确保了RetPur在减轻对抗性噪声影响的同时，仍能维持检索的准确性。总体而言，RetPur实现了去噪与基于特征的精细化处理的无缝结合，为在对抗性环境下的稳健哈希检索提供了高效且灵活的解决方案。

3.4 具有语义融合的引导机制如图3所示，RetPur框架在逆扩散过程中引入了两步引导机制，以此提升对抗性攻击下的净化性能。该机制结合了高斯去噪与基于特征的相似度融合，既能够保留与检索相关的语义和结构信息，又能抑制对抗性扰动。下载：下载高分辨率图像（205KB）下载：下载全尺寸图像图3. 逆扩散过程中的条件梯度更新。首先，会对对抗性图像（xadv）和带噪声的图像（xt）分别进行高斯滤波去噪。之后，再通过VGG特征提取和SSIM计算，获取深度特征与结构相似度。这些结果会通过加权求和相结合，从而为条件梯度更新提供指导，进而优化逆扩散过程中t?1步骤的图像，实现净化目标。高斯去噪用于初步降低噪声在每个逆扩散步骤t中，都会将高斯滤波器H(·)应用于当前的样本xt和固定的对抗性参考图像xadv，从而得到H(xt)和H(xadv)。高斯滤波器的效果取决于其核大小和标准差。在我们的实验中，核大小设置为3，标准差设置为0.5。基于特征的相似度计算在高斯去噪之后，H(xt)表示经过过滤的当前逆扩散样本xt，而H(xadv)则表示经过过滤的原始对抗性查询图像xadv。此时会使用两种互补的指标来评估二者之间的相似度。——VGG特征相似度（DVGG）：为捕捉高层的语义一致性，我们从预训练的VGG-16网络中提取中间特征，记为?(·)，然后计算H(xt)和H(xadv)的特征图之间的余弦距离：(22)DVGG(H(xt),H(xadv))=1?cos(?(H(xt)),?(H(xadv)))，其中cos(·,·)表示特征通道间的平均余弦相似度。——SSIM相似度（DSSIM）：为评估低层的结构一致性，我们采用了结构相似度指数SSIM。基于SSIM的距离定义如下：(23)DSSIM(H(xt),H(xadv))=1?SSIM(H(xt),H(xadv))，其中SSIM(·,·)是通过滑动窗口计算得出的，其取值范围在[0,1]之间。为了引导净化过程，我们会定义一个基于相似度的损失函数，用于衡量经过过滤的当前样本与经过过滤的对抗性参考样本之间的差异。该综合相似度得分的计算公式为：(24)D(H(xt),H(xadv))=ω1·DVGG(H(xt),H(xadv))+ω2·DSSIM(H(xt),H(xadv))，其中DVGG(·,·)表示基于从预训练VGG-16网络提取的深度特征的余弦距离，DSSIM(·,·)则基于SSIM计算结构距离。在我们的实验中，权重ω1和ω2均设置为0.5，这意味着对感知相似度和结构相似度赋予相同的权重。这种联合引导损失机制确保了净化后的输出既能保留高层的语义内容，又能保持低层的结构完整性。条件梯度更新通过计算图像之间的加权差异，得出用于引导逆扩散过程的条件梯度：(25)?G=?s?xtD(H(xt),H(xadv))。利用该引导信号?G，可以在每一步调整逆扩散的采样路径，从而逐步将图像优化为预训练扩散模型所学到的干净图像流形上的图像。需要指出的是，这种更新是在采样过程中对中间样本进行的，而预训练扩散模型的参数则保持不变。通过不断应用这种基于引导的更新方式，既能够抑制对抗性噪声，又能保留重要的语义和结构信息。总体而言，这一流程整合了去噪、特征提取和相似度测量功能，使得在存在对抗性噪声的情况下，仍能实现稳定的图像生成和精准的检索。

3.5 净化与采样算法在本节中，我们将介绍RetPur的净化流程。RetPur采用了在干净图像上预训练好的DDPM模型，其预训练模型设置与DiffPure[24]相同。在净化过程中，扩散模型保持不变，其噪声预测器?θ用于提供在预训练阶段学到的干净数据先验。对抗性样本仅作为测试时的输入使用：它们首先被扩散到中间带噪声的状态，然后再通过引导式的逆去噪过程进行净化。因此，RetPur无需从头开始训练扩散模型，也无需针对对抗性样本对其进行微调，即可实现测试时的净化。根据攻击策略的不同，对抗性样本xadv可以有多种生成方式。在本研究中，我们考虑了两种典型的生成方式。第一种是通过直接在原始图像上添加经过优化的扰动来生成的：(26)xadv(1)=x+δ，其中δ表示对抗性扰动。第二种则是通过生成式攻击模型来生成的：(27)xadv(2)=Generator(x+Decoder(s))，其中s是从对抗性标签中提取的目标语义，生成器则通过合成扰动来实现攻击目标。在这两种情况下，RetPur都将生成的对抗性样本视为需要净化的输入。步骤1：对抗性输入的前向扩散给定一个对抗性样本xadv，RetPur首先将其扩散到中间带噪声的状态，而非从纯粹的高斯噪声开始逆向扩散过程。具体而言，对于选定的净化步骤Tpur，我们有：(28)xadvTpur=αˉTpurxadv+1?αˉTpur?，?～N(0,I)。这一前向扩散步骤能够在部分破坏对抗性扰动的同时，保留输入图像的主要语义结构。净化强度由Tpur控制：较大的Tpur会引入更强的噪声，或许能去除更强的扰动，但同时也可能导致更大的语义偏差。步骤2：带有检索引导的逆去噪从xadvTpur开始，RetPur利用预训练好的DDPM进行逆去噪处理。在每个逆向步骤中，预训练的噪声预测器?θ会估计xt中的噪声成分。DDPM的标准均值计算公式为：(29)μθ(xt,t)=1αt(xt?βt1?αˉt?θ(xt,t))。为更好地保留输入图像中与检索相关的语义内容，RetPur引入了一个基于当前去噪样本与扩散后的对抗性输入之间距离的引导项。具体而言，在每个逆向步骤中，我们会计算：(30)?G=?s?xtD(H(xt),H(xadv))，其中s为引导尺度，H(·)表示过滤操作，D(·)表示距离度量。在我们的实现中，H(·)是通过高斯过滤实现的，而D(·)则是通过结合基于VGG的特征相似度和基于SSIM的结构相似度来计算的。该指导方法旨在让净化后的图像保留与原始查询相关的语义和结构信息，同时抑制对抗性扰动。引导式反向更新可表示为：(31)xt?1=μθ(xt,t)?s?xtD(H(xt),H(xadv))+σtz,z～N(0,I)，其中当t=1时z=0。通过这一引导式反向去噪过程，对抗性输入会被逐步映射回预训练扩散模型所学到的干净图像流形。步骤3：净化后的输出通过从t=Tpur迭代应用引导式反向去噪过程直至t=1，RetPur最终得到净化后的图像作为反向轨迹的输出结果：(32)x^=x0，其中x0是通过递归应用公式(31)中的引导式反向更新得到的。另一种视角下，RetPur也可视为一种测试时净化映射：(33)x^=Rθ(xadvTpur;D(H(xt),H(xadv)),s)，此处Rθ(·)表示由固定预训练的DDPM参数化的引导式反向扩散过程，xadvTpur为对抗性输入的中间噪声状态，D(?·?, ?·?)是基于SSIM/VGG的引导距离，s则为引导强度。净化后的图像x^随后会被输入到基于哈希的下游检索模型中进行评估。由于扩散模型是在干净图像上预训练的，并且在净化过程中保持不变，因此RetPur不会学习对抗性分布。实际上，对抗性样本仅在推理阶段被用于初始化正向扩散过程，以及在反向去噪过程中提供有助于保持检索效果的引导。针对对抗性查询数据集的完整净化流程如算法1所示。下载：下载高分辨率图像（163KB）下载：下载全尺寸图像算法1. RetPur测试时净化流程。4. 实验我们研究了单模态和跨模态检索场景，进行了大量实验，并对模型进行了全面评估，以确保其有效性和稳健性。4.1 数据集与实现细节实验中使用了五个成熟的基准数据集：Wikipedia [86]、IAPR-TC12 [87]、FLICKR-25K [88]、MS-COCO [89]以及NUS-WIDE [90]。遵循标准的划分方案，将每个数据集分为查询子集和训练数据库，具体方法参考[54]和[31]。单模态和跨模态检索任务的性能通过MAP和T-MAP指标进行评估。为检验RetPur的稳健性，我们分析了其在应对对抗性扰动方面的效果，以确保在复杂检索场景下仍能保持稳定性能。如先前的研究[51]、[54]所指出的，为避免统一目标标签带来的意外结果，我们为每个良性样本分配了唯一的目标标签，这些标签是从相应数据集中随机选取的。考虑到不同检索任务之间的差异，我们进一步详细说明了不同的数据集版本和划分方法。——单模态检索任务数据集：如表2所示，我们采用了与[54]中描述的相同数据集和划分方案。表2. 单模态检索模型的数据集划分。数据集总数量训练集查询集数据库类别FLICKR-25K25000500017002330038MS-COCO12221810000500011721880NUS-WIDE19583410500210019373421——跨模态检索任务数据集：对于这类任务，如表3所示，我们使用了与[31]中相同的数据集和划分方法。表3. 跨模态检索模型的数据集划分。数据集总数量训练集查询集数据库类别FLICKR-25K20015500020001801524MS-COCO12328710000500012128780NUS-WIDE19583410500210019373421Wikipedia28662173693217310IAPR-TC12200005000200018000255实现细节实验是在PyTorch框架上进行的，计算设备为NVIDIA 3090 GPU。攻击方法和检索模型均在相同的数据集上训练。所有攻击方法的训练位宽均为32。迭代攻击方法DHTA和P2P的迭代次数分别设置为2000次和500次，而生成型攻击方法ProS-GAN和TA-DCH的迭代次数则分别为100次和150次。对于预训练的扩散模型，我们采用了[81]和[83]提出的架构。总扩散步数T设置为1000，净化步数Tp设置为45。在计算条件梯度时，我们以SSIM作为默认的距离度量标准，引导强度s设为1000。RetPur模型的优化采用Adam优化器，学习率为10?4。4.2 攻击方法与被攻击对象在单模态实验中，我们选择了DPSH和DPH作为代表性的检索系统，并引入了两类攻击方式：迭代攻击（如P2P和DHTA）和生成型攻击（如ProS-GAN）。在跨模态实验中，我们选用了DGCPN和DADH作为代表性系统，并加入了针对性攻击TA-DCH。在主要实验中，对抗性样本的生成依赖于对应的目标哈希模型，这属于白盒攻击生成模式。生成样本后，RetPur作为测试时的预处理模块被使用，在净化过程中不会获取目标哈希模型的梯度、参数、架构或训练过程信息。基于迁移的黑盒设置会在4.6节单独评估。具体设置如下。单模态检索任务在单模态哈希检索任务中，我们采用了三种针对性攻击方法生成对抗性样本，随后对这些样本进行净化处理，以评估检索性能的提升效果。具体而言，P2P和DHTA属于基于迭代的攻击方法[51]，而ProS-GAN[54]则属于生成型攻击。迭代方法由于依赖计算成本较高的迭代梯度，效率较低。相比之下，生成型攻击通过生成能够误导深度哈希网络，使其检索出与目标标签语义相符的图像，从而提供了一种更高效的解决方案。为检验所提模型在多种深度单模态哈希方法下的稳健性，我们选择了两种具有代表性的方法：DPSH[1]和DPH[2]。这些方法被用作构建目标哈希模型的默认目标函数。我们选择VGG-11[91]作为底层网络，将其最后的全连接层替换为一个专门的哈希层，该层包含一个新的全连接单元和Tanh激活函数。跨模态检索任务在跨模态检索任务中，我们研究了图像到图像和图像到文本这两种检索场景。TA-DCH[31]是跨模态哈希检索模型的主要针对性攻击方法。实验在五个基准数据集上进行。首先，通过将TA-DCH应用于查询集图像来生成对抗性样本，然后这些被扰动的样本会经过净化器处理，以消除对抗性噪声。最后，在两个查询系统上评估检索性能。为全面检验模型在各种深度跨模态哈希方法下的效果，我们分别选择了代表监督学习和无监督学习的DADH[4]和DGCPN[3]。鉴于这些哈希模型已展现出最先进的检索性能，我们按照它们原有文献中的描述，使用标准化预处理和实验设置，分别在这些数据集上训练了相应的模型。实验过程中，我们发现DADH在MS-COCO数据集上存在梯度爆炸问题。为解决这一问题，我们对它的损失函数进行了小幅修改，从而实现了稳定的优化和成功的训练。4.3 评估指标参照先前的研究[38]、[51]，我们采用MAP和T-MAP作为评估指标，来衡量净化模型的性能。MAP是衡量哈希检索系统效果的标准指标，其定义如下：(34)MAP=1Q∑q=1Q1Rq∑k=1RqPq(k)，其中Q为查询总数，Rq表示查询q的相关项数量，Pq(k)则是查询q在排名k时的精确度。而T-MAP则通过用攻击者指定的目标标签替换原有的查询集标签，对传统的MAP评估方法进行了改进，其定义如下：(35)T-MAP=1Q∑q=1Q1Rq∑k=1RqPqtarget(k)，其中Q仍是查询总数，Rq表示查询q中按照攻击者指定目标标签划分的相关项数量，Pqtarget(k)则是使用目标标签而非原始标签计算得出的查询q在排名k时的精确度。评估标准如下：较高的MAP分数意味着净化性能更好，而较高的T-MAP分数则表示净化效果较差。4.4 主要结果与基线对比哈希检索可分为两类：一类是单模态检索模型，它输入查询图像，输出数据库中语义相似的图像；另一类是跨模态哈希检索模型，它具有四种输入和输出表示形式：图像到图像（I2I）、图像到文本（I2T）、文本到图像（T2I）以及文本到文本（T2T）。基于上述任务，我们研究了这两种检索模型的攻击方法。在主要实验中，攻击方法首先利用已评估的目标哈希模型生成对抗性查询图像，这属于白盒攻击生成模式。之后仅在测试时使用RetPur来净化这些对抗性查询，净化过程不会涉及哈希模型的梯度、参数或训练过程。4.4.1 单模态哈希检索净化参考[54]中的实验设置，我们选择了相同的三个数据集：FLICKR-25K、MS-COCO和NUS-WIDE。我们将该基于扩散的净化模型与深度哈希检索中两类典型的针对性攻击进行了对比：一类是生成型攻击（如ProS-GAN[54]），这类攻击会根据目标语义合成对抗性样本；另一类是基于梯度的迭代攻击（如P2P、DHTA[51]），这类攻击通过优化手段对现有图像进行扰动。这些攻击方式涵盖了检索系统可能面临的多种真实威胁场景。尽管攻击机制存在差异，但我们的统一净化框架在两类攻击面前都展现出了较强的稳健性。如表4所示，对于生成型攻击（ProS-GAN），净化后的数据在MAP指标上的表现比对抗性样本高出10%到20%，且与干净数据的差距小于1.6%。值得注意的是，净化后数据的T-MAP值甚至低于原始数据，这说明它们更难以被归类到目标类别中。对于迭代攻击，我们的方法能让检索性能恢复到接近干净图像的水平，使得MAP指标显著提升，而T-MAP指标则相对对抗性查询有所下降。与Wang等人[67]报道的对抗性训练方法相比，我们的净化方法取得了相当甚至更好的效果：例如，在FLICKR-25K数据集上，经过P2P和DHTA攻击后，使用DPH模型处理的净化样本的T-MAP值分别达到了64.06和64.28，优于之前的对抗性训练防御方法。总体而言，这些结果证明，我们所提出的净化框架能有效抵御单模态检索场景中的生成型和迭代型针对性攻击。表4. 单模态图像到图像（I2I）检索任务中，P2P、DHTA和ProS-GAN攻击[51]、[67]的量化结果（%）。其中“原始”表示使用干净图像，“攻击方法”指生成对抗性样本，“RetPur”则表示对样本进行净化以恢复准确的检索性能。I2IFLICKR-25KMS-COCONUS-WIDE空白单元格DPSHDPHDPSHDPHDPSHDPHMAPOriginal81.0677.0763.6958.9573.0669.92P2P65.8162.5152.5244.6161.9754.81RetPur80.1776.5863.1558.5672.6269.89DHTA61.0961.0346.1742.4351.9853.89RetPur80.1476.6463.1458.5772.7269.83ProS-GAN63.2964.5845.9744.5453.4550.73RetPur79.5075.9962.8557.7671.5669.14T-MAPOriginal73.6773.2150.5349.2259.1760.27P2P82.0480.5148.6953.1767.8171.28RetPur63.6064.0643.2142.7357.0657.01DHTA88.3983.8560.0159.6769.6875.68RetPur63.9564.2843.4842.9157.4457.21ProS-GAN92.7686.0272.3665.2590.0076.31RetPur72.6072.3146.3046.4154.2553.694.4.2 跨模态哈希检索净化考虑到跨模态检索模型的更广泛适用性，我们选择了TA-DCH[31]攻击生成的对抗性样本作为净化模型的输入，以此探讨净化任务是否适用于查询跨模态数据。具体来说，我们研究了图像到图像和图像到文本这两种检索任务。如图4所示，我们展示了干净图像、被攻击后的图像以及经过净化的图像，同时还展示了放大后的局部区域、差异图，以及对应的检索到的图像和文本。虽然仅从输入图像很难察觉到对抗性扰动，但放大后的区域和差异图可以显示出攻击引入的局部扰动特征。这些细微的扰动会导致检索结果出现明显的语义偏差：被攻击的查询会检索到与无关概念相关的图像和文本，比如室内场景、动物以及无关建筑。应用RetPur处理后，净化后的图像在视觉上会更接近干净查询图像，差异图也显示大部分对抗性响应已被抑制。更重要的是，检索到的图像和文本也会恢复到更接近干净查询的结果，其中包含云、植物、天空、建筑、树木和水等语义一致的内容。这些视觉和检索方面的对比表明，RetPur能够在保留视觉质量的同时，减轻跨模态哈希检索中的对抗性扰动，恢复语义一致性。下载：下载高分辨率图像（1MB）下载：下载全尺寸图像图4. 在跨模态检索场景下，针对MS-COCO数据集，经TA-DCH攻击后，原始图像（上排）、被攻击图像（中排）以及经RetPur净化后的图像（下排）的对比。图中还包含了放大区域和差异图，用以展示细微的扰动和净化效果，而检索到的图像和文本则显示了净化前后的语义变化。如表5和表6所示，我们提出的净化模型同样适用于跨模态检索任务。在图像到图像和图像到文本这两种任务中，净化后的图像表现都很优异，其性能远超攻击后的结果，且接近于使用原始图像查询时的结果。以MAP值为指标来看，净化后的数据在检索模型中的性能相比对抗性样本有了显著提升，其与原始数据的性能差距小于2%。其中，在FLACKR-25K数据集上使用DADH检索模型进行的实验中，我们的方法在图像到图像和图像到文本两种检索任务中的表现均比原始数据好至少3%。4.4.3 纯化在干净数据集上的应用
考虑到更复杂的场景，攻击者可能会随机攻击已检索到的数据集。此时，数据集中部分数据为原始数据，另一部分则为对抗样本。因此需要考虑更为通用的纯化任务。纯化模型的性能需确保在纯化原始数据后的检索效果与纯化对抗样本后的效果相近，均接近原始数据的检索效果。我们针对单模态和跨模态检索任务，对原始数据集进行了系列纯化实验，随后将纯化后的检索结果与原始图像检索结果进行对比，以评估纯化任务对原始数据检索性能的影响。如表7、表8和表9所示，单模态任务的结果表明，纯化数据集的检索结果仅略有下降，降幅在2%以内。结合之前实验的结论，纯化后的对抗样本与原始数据的检索结果差异也在2%范围内。由此可得出更普遍的结论：纯化数据集与原始数据集的检索性能差异均在2%以内，且这些数据集同时包含原始数据和对抗样本。

表7. 单模态检索任务中纯化后原始数据集的定量结果（%）。
I2IFLICKR-25KMS-COCONUS-WIDE
空单元格DPSHDPHDPSHDPHMAPO
原始数据38.0944.9364.7469.3581.9980.5861.9258.4977.9175.60
TA-DCH28.6339.8039.2838.7767.0565.3044.9455.1543.2746.64
RetPur36.2242.9363.2065.7080.5683.2159.6056.4676.5773.71
T-MAP原始数据13.3312.0131.1733.4356.7157.0734.2736.9135.4535.92
TA-DCH42.3723.8052.2979.8588.5796.2761.1745.8387.3186.48
RetPur18.6618.4433.6135.7459.2558.6439.9037.9638.3440.58

表6. 单模态图像到文本（I2T）检索任务中纯化后原始数据集的定量结果（%）。
I2TWIKIIAPRFLICKR-25KMS-COCONUS-WIDE
空单元格DGCPNDADHDGCPNDADHDGCPNDADHDGCPNDADHDGCPNDADHMAPO
原始数据37.7943.1565.2472.4980.5678.4565.2162.2876.4277.65
TA-DCH28.3037.9438.9439.1065.3662.7645.8558.1143.1744.17
RetPur36.1541.3563.4969.2779.1084.8763.6360.3675.3875.21
T-MAP原始数据13.3412.1131.3737.6056.5462.3934.2538.6735.6439.23
TA-DCH42.3423.6752.0781.1185.0793.9862.8247.0687.1684.34
RetPur18.6518.6133.7640.6959.1962.8941.1039.2838.2342.97除非另有规定，净化步骤的参数固定为Tpur=45，引导尺度固定为s=150。如表14所示，所提出的混合SSIM/VGG引导方法在单模态和跨模态场景下均能实现最佳的检索精度。与仅使用VGG、仅使用SSIM、LPIPS或像素级余弦相似度相比，RetPur在单模态场景下获得了最高的MAP值62.85%，而在跨模态场景下则分别获得了最高的I2I MAP和I2T MAP值，分别为56.46%和60.36%。这表明结合结构特征和感知特征进行引导，比仅依赖单一相似度指标更为有效。不同SSIM/VGG权重比例的实验结果进一步表明，0.5/0.5的平衡权重设置能够在检索精度与针对性攻击抑制之间实现最佳平衡。尽管其他一些权重比例会略微改变T-MAP值，但会导致MAP值下降。尤其是当SSIM和VGG被赋予相同权重时，能够获得最高的MAP、I2I MAP和I2T MAP值，这说明在净化过程中，既要保持低级的结构一致性，又要确保高级的感知相似性，才能有效保留与检索相关的信息。高斯参数的消融实验也证实了适度去噪的重要性。默认设置下，核大小为3，标准差σ=0.5时，在两种检索场景下都能获得最佳的检索精度。较大的核尺寸或较高的标准差会导致MAP值明显下降，尤其是在跨模态场景中，因为过强的平滑处理可能会去除有用的语义和结构细节。不采用高斯去噪的设置表现也逊于默认配置，这说明适度的高斯滤波有助于稳定引导过程。表14展示了在MS-COCO数据集上对引导损失成分及超参数的消融研究结果。单模态场景下是在ProS-GAN攻击下对DPSH模型进行测试，跨模态场景下则是在TA-DCH攻击下对DADH模型进行测试，各项指标均以百分比形式呈现。消融类型配置单模态跨模态空单元格空单元格MAPT-MAPI2I MAPI2T MAPI2I T-MAPI2T T-MAP相似度损失RetPur62.8546.3056.4660.3637.9639.28仅VGG62.2146.0056.0559.0938.6940.02仅SSIM61.8946.3055.1558.4138.2439.59LPIPS61.8946.4152.5055.8343.1242.37像素级余弦相似度61.8046.0655.0258.2038.0339.52SSIM/VGG权重0.2 / 0.862.1146.3855.9959.0438.6539.800.4 / 0.662.0746.2855.7058.7738.5839.870.5 / 0.562.8546.3056.4660.3637.9639.280.6 / 0.461.7946.7655.5358.5238.4139.760.8 / 0.261.9245.8555.4258.5738.3639.73高斯参数k=3,σ=0.562.8546.3056.4660.3637.9639.28k=3,σ=0.362.2846.2856.2059.0838.0239.30k=5,σ=0.861.0346.3154.1157.2038.6240.29k=5,σ=1.060.5546.4053.3156.4338.6340.24k=7,σ=1.558.5546.0650.7753.3338.8040.02k=0,σ=062.1546.3856.2759.1938.0539.37总体而言，消融实验结果表明，默认的RetPur配置——即采用0.5/0.5权重比的混合SSIM/VGG引导方法，并结合核大小为3、标准差为0.5的适度高斯去噪——能够在检索精度与针对性攻击抑制之间实现最可靠的平衡。4.5.4. 哈希码长度的影响哈希码长度是哈希检索中的一个重要因素，它决定了汉明空间的容量，进而会影响检索精度和对抗鲁棒性。为了评估RetPur在不同哈希容量下的有效性，我们又在MS-COCO数据集上进行了16位、32位、64位和128位哈希码长度的实验。在单模态检索中，使用ProS-GAN攻击DPSH模型；在跨模态检索中，则用TA-DCH攻击DADH模型。净化参数固定为Tpur=45，引导尺度s=150，高斯核大小为3，标准差σ=0.5，SSIM/VGG权重也为0.5/0.5。如表15所示，无论在单模态还是跨模态检索场景中，RetPur在不同哈希码长度下都能保持良好的性能。在单模态场景中，ProS-GAN攻击会使MAP值从60.77–63.69%下降到44.28–46.32%，而T-MAP值则上升至67.70–72.36%，显示出较强的针对性检索效果。经过净化后，RetPur能将MAP值稳定恢复到58.95–62.85%之间，同时将T-MAP值降至46.30–47.28%范围。其中，32位哈希码长度下净化后的MAP值最高，为62.85%，接近未受攻击时的63.69%水平。这些结果表明，RetPur能够在不同的汉明空间容量下有效恢复检索精度并抑制针对性攻击。在跨模态场景中，TA-DCH也会导致性能明显下降，尤其是对于较长的哈希码而言。例如在128位情况下，受攻击后的I2I/I2T MAP值下降到43.82%/46.70%，而对应的T-MAP值则上升至71.08%/73.52%。应用RetPur处理后，I2I/I2T MAP值提升到59.07%/62.13%，而T-MAP值则下降到42.04%/44.41%。在16位、32位和64位哈希码长度下也观察到了类似的改善趋势。表15展示了在MS-COCO数据集上，不同哈希码长度对单模态和跨模态检索性能的影响。单模态检索中ProS-GAN攻击DPSH模型，跨模态检索中TA-DCH攻击DADH模型，所有指标均以百分比形式呈现。设置状态检索16位32位64位128位空单元格空单元格空单元格MAPT-MAPMAPT-MAPMAPT-MAPMAPT-MAP单模态纯净状态I2I60.7748.6363.6950.5362.1650.8661.7150.55受攻击状态I2I44.2869.1745.9772.3645.7267.7046.3269.43净化后状态I2I58.9546.4562.8546.3060.3947.0659.7347.28跨模态纯净状态I2I50.8835.7058.4936.9164.9832.8768.5933.57I2T54.9635.7262.2838.6769.2435.1072.7035.92受攻击状态I2I42.5349.6555.1545.8347.9057.6643.8271.08I2T41.8447.1858.1147.0649.0657.9746.7073.52净化后状态I2I45.8038.2956.4637.9660.0638.0559.0742.04I2T48.3538.4060.3639.2863.4740.4062.1344.41总体来看，这些结果证明RetPur并不依赖于“所有输入都受到攻击”这一不切实际的假设。无论是在纯净数据、受攻击数据还是混合数据构成的查询集中，它的性能波动都较小，这体现了其作为即插即用型预净化框架的实用性，尤其适用于那些无法提前知晓攻击样本比例的场景。4.5.5. 纯净样本与受攻击样本比例的影响在实际检索场景中，查询集可能包含不同比例的纯净样本和经过对抗攻击的样本。因此，假设所有测试样本都受到攻击未免过于理想化。为了评估RetPur是否会对纯净样本造成过度净化，以及它在混合输入条件下的有效性，我们又进行了不同纯净/受攻击样本比例的实验。具体来说，我们构建了纯净样本与受攻击样本比例分别为1.0/0.0、0.7/0.3、0.5/0.5、0.3/0.7和0.0/1.0的查询集。1.0/0.0对应完全由纯净样本构成的查询集，而0.0/1.0则对应全部被攻击的查询集。实验在MS-COCO数据集上开展，涵盖了单模态和跨模态两种检索场景。单模态检索中用ProS-GAN攻击DPSH模型，跨模态检索则用TA-DCH攻击DADH模型。净化参数仍保持不变：Tpur=45，引导尺度s=150，高斯核大小为3，标准差σ=0.5，SSIM/VGG权重也为0.5/0.5。如表16所示，无论在何种纯净/受攻击样本比例下，RetPur都能保持稳定的检索性能。在单模态场景中，当所有样本均为纯净样本时，RetPur的MAP值为62.16%，说明净化过程并未对纯净查询造成明显损害。随着受攻击样本比例的增加，MAP值仍保持在61.89–62.85%的较窄范围内，表明RetPur能够处理混合样本查询集，且不会引发严重的过度净化问题。在所有样本都受到攻击的情况下，RetPur依然能使MAP值达到62.85%，同时将T-MAP值降至46.30%，展现出其恢复检索精度并抑制针对性检索效果的能力。在跨模态场景中也观察到了类似的趋势：当所有样本为纯净样本时，RetPur的(I2I) MAP和(I2T) MAP值分别为56.24%和59.94%；在纯净样本与受攻击样本混合的情况下，这两项数值分别维持在55.52–55.66%和59.02–59.17%之间；而当所有样本都受到攻击时，RetPur又能将这两项数值分别恢复到56.46%和60.36%，同时将(I2I)/(I2T) T-MAP值控制在37.96%和39.28%左右。这些结果都表明，RetPur具备很强的抗干扰能力，能够应对查询集中不同程度的对抗性污染。表16展示了在MS-COCO数据集上，不同纯净/受攻击样本比例下RetPur的检索性能。单模态场景中ProS-GAN攻击DPSH模型，跨模态场景中TA-DCH攻击DADH模型，所有指标均以百分比形式呈现。纯净样本受攻击样本净化后纯净样本受攻击样本净化后单模态HashNetI2I62.4245.4960.6849.8270.9746.61跨模态CPAHI2I53.8647.4651.9933.4750.0837.29I2T64.5057.6963.8148.8262.5453.53跨模态DJSRHI2I62.6044.7154.6134.8964.2647.68I2T65.2147.5359.7038.0964.3752.59这些结果进一步证明，RetPur并不局限于某种特定的检索架构，能够适配不同的单模态和跨模态哈希检索模型。4.5.7. 净化架构的影响为了进一步验证所提出的引导策略并非仅适用于某一种特定的净化架构，我们还使用了两种不同的生成式净化结构——IMPure[79]和Patch GAN进行了实验。IMPure采用信息掩蔽与重建策略来实现对抗性净化，而Patch GAN则通过基于GAN的生成器-鉴别器结构来执行图像的局部修复。对于每种结构，我们都对比了未经引导的原始版本与加入了所提出的基于SSIM/VGG的引导模块后的改进版本。实验同样在MS-COCO数据集上的单模态和跨模态检索场景中开展。单模态检索中用ProS-GAN攻击DPSH模型，跨模态检索则用TA-DCH攻击DADH模型。在引入引导模块后，两种场景下都采用了相同的引导配置，包括引导尺度s=150，高斯核大小为3，标准差σ=0.5，SSIM/VGG权重也为0.5/0.5。如表18所示，所提出的引导策略能够与不同的生成式净化架构相结合，且通常都能提升检索结果的保留质量。在IMPure架构上，加入引导模块后，单模态场景下的MAP值从59.45%提升到59.61%，而T-MAP值则略有下降，从50.16%降至49.99%。在跨模态场景中，经过引导处理的IMPure架构能使(I2I) MAP值从54.17%上升到55.20%，(I2T) MAP值从57.88%上升至58.85%，不过T-MAP值基本保持不变。对于Patch GAN架构，引入引导模块后，两种场景下的MAP值也都有所提升：单模态场景下的MAP值从55.32%升至55.53%，(I2I) MAP值从49.86%升至50.01%，(I2T) MAP值从52.98%升至53.92%。这些结果都表明，基于SSIM/VGG的引导模块能够提升不同净化架构下的语义保留效果和检索恢复能力。表18展示了所提出的引导策略在MS-COCO数据集上不同净化架构下的适用性，所有指标均以百分比形式呈现。净化架构单模态跨模态空单元格MAPT-MAP(I2I) MAP(I2T) MAP(I2I) T-MAP(I2T) T-MAPIMPure59.4550.1654.1757.8838.8540.68IMPure引导版59.6149.9955.2058.8538.8540.38Patch GAN55.3253.3249.8652.9841.6143.29Patch GAN引导版55.5353.2650.0153.9241.5842.19此外还需注意的是，净化架构本身的重要性也不可忽视。与IMPure相比，Patch GAN带来的MAP值较低，而T-MAP值较高，这说明它的图像重建精度较差，抑制针对性检索效果的能力也较弱。因此，尽管所提出的引导模块能够提升各种净化架构的性能，但最终的实际效果仍取决于相应净化器的生成能力和重建质量。总体而言，这些结果都表明，所提出的引导策略并不局限于默认的扩散模型架构，还可以扩展应用于其他不同的生成式净化结构中。4.6. 面对迁移攻击时的净化为了进一步评估RetPur的模型无关性，我们在黑箱迁移场景下对MS-COCO数据集进行了迁移攻击实验。在这种场景下，对抗性样本是通过源端哈希检索模型生成的，之后直接在目标模型上进行测试，无需了解目标模型的梯度、参数或训练过程。例如，可以使用DGCPN生成的对抗性样本去攻击DADH模型，而无需掌握DADH模型的相关参数信息。这种测试方式更具挑战性，也更贴近实际应用，因为生成的对抗性样本并非针对目标模型专门优化过的。我们共测试了四种针对性的攻击方法，分别是ProsGAN、P2P、DHTA和TA-DCH。在单模态检索场景中，ProsGAN、P2P和DHTA这三种方法分别在DPSH → DPH和DPH → DPSH两种迁移方向上进行了测试；在跨模态检索场景中，TA-DCH则在DGCPN与DADH之间の两种方向上进行了测试，即DGCPN → DADH和DADH → DGCPN。对于每一种测试场景，我们都将受攻击的查询结果与经过RetPur净化后的查询结果进行了对比，相关结果见表19。表19展示了在黑箱迁移场景下，MS-COCO数据集面对迁移攻击时的净化效果。对抗性样本是由源端模型生成的，随后在目标模型上进行评估。各项指标以百分比形式呈现。任务攻击类型、传输方向、检索性能指标如下：MAP、T-MAP、空单元格数、被攻击的单元格数、RetPur处理后的被攻击Ret值、单模态场景下的ProsGANDPSH→DPHI2I指标为50.88%、57.31%、65.40%、50.03%；P2PDPSH→DPHI2I指标为55.47%、57.85%、51.96%、47.34%；DHTADPSH→DPHI2I指标为48.36%、57.78%、55.63%、42.85%；ProsGANDPH→DPSHI2I指标为45.78%、61.66%、63.80%、50.63%；P2PDPH→DPSHI2I指标为52.28%、62.59%、59.60%、47.93%；DHTADPH→DPSHI2I指标为46.47%、62.50%、61.16%、43.21%。跨模态场景下，TA-DCHDGCPN→DADHI2I指标为44.06%、55.05%、47.53%、37.74%；I2T指标为46.92%、58.44%、48.34%、38.88%；TA-DCHDADH→DGCPNI2I指标为59.15%、60.14%、47.13%、37.95%；I2T指标为61.75%、63.19%、48.81%、38.86%。

如表19所示，我们采用了四种针对性攻击方法——ProsGAN、P2P、DHTA和TA-DCH——进行传输攻击实验。在黑箱传输场景下，RetPur能够持续提升检索精度，同时抑制目标检索效应。在单模态场景中，无论是在ProsGAN、P2P还是DHTA攻击下，RetPur在DPSH→DPH和DPH→DPSH两种传输方向上均能有效提升性能。具体而言，RetPur可使MAP提升2.38%至16.03个百分点，同时将T-MAP降低4.62%至17.95个百分点，这说明它能够在不同单模态哈希架构之间有效减轻可传输的对抗性影响。在跨模态场景中，RetPur在DGCPN→DADH和DADH→DGCPN两种传输方向上也表现出良好的稳定性。对于DGCPN→DADH场景，RetPur使(I2I)/(I2T) MAP从44.06%/46.92%提升至55.05%/58.44%，同时将(I2I)/(I2T) T-MAP从47.53%/48.34%降低至37.74%/38.88%。在DADH→DGCPN场景中，虽然被攻击后的MAP下降幅度较小，但RetPur仍能进一步提升检索精度，将T-MAP降低约9%至10个百分点。

总体而言，这些实验结果表明，RetPur无需了解目标检索模型的架构、参数或训练过程，即可净化可传输的对抗性样本，进一步证明了其作为输入级预净化框架的模型无关特性。

5. 结论

本文提出了RetPur，这是一种基于扩散模型的对抗性净化框架，旨在提升基于哈希的检索系统对针对性攻击和黑箱传输攻击的抵御能力。该框架通过利用预训练的去噪扩散模型以及结合SSIM和基于VGG的余弦相似度的双引导梯度模块，能够有效恢复被扰动输入的语义内容和结构完整性。通过调整净化步长和引导强度，可以精细控制净化过程，从而在性能、鲁棒性和感知质量之间实现平衡。在单模态和跨模态检索任务上的大量实验表明，RetPur能够实现与干净数据相当的检索精度，同时在各种对抗条件下显著提升系统的鲁棒性。与传统对抗性训练方法相比，RetPur具有更强的泛化能力，无需依赖模型架构，也不需要对下游检索模型进行重新训练或修改。这些优势使其成为现实应用中一种实用且可扩展的防御策略。未来的工作将致力于优化净化过程的计算效率，引入自适应引导机制，并将该框架拓展到推荐系统及时空检索任务等更广泛的领域。

尽管取得了令人满意的成果，RetPur仍存在一些需要进一步研究的局限性。首先，虽然RetPur具有模型无关性，无需重新训练下游哈希模型，但其迭代的反向扩散过程会带来额外的计算开销。这在需要处理海量数据库记录且对延迟有严格要求的超大规模检索系统中可能限制其直接应用。未来的研究可以通过开发加速采样策略、轻量级扩散模型或仅对可疑或高风险查询触发防御机制的选择性净化方案来解决这一问题。其次，面对极其强烈或具有自适应能力的扰动时，RetPur的净化效果可能会减弱。在这种情况下，被破坏的输入数据可能严重偏离自然图像流形，导致难以在不造成过度平滑或语义失真的情况下恢复原始语义内容。未来的研究将探索更强的语义引导机制、自适应的净化步长选择方法、基于不确定性的停止准则以及经过对抗性优化的扩散训练方法。最后，RetPur的效果可能取决于预训练扩散模型与目标检索数据之间的分布一致性。因此，开展领域自适应引导研究，以及将该框架拓展到推荐系统、时空检索等更多检索场景，仍是未来重要的研究方向。

作者贡献说明：
刘亚辉：负责原文撰写、可视化处理、软件工具使用、方法设计、概念构思及实验验证工作。
吴佳松：负责文章审阅与编辑、项目监督、资源协调、项目管理及资金筹措工作。
Lotfi Senhadji：负责文章审阅与编辑工作。
舒华忠：负责文章审阅与编辑工作。