面向感知的非线性对数-指数攻击在神经图像压缩中的应用

《Neurocomputing》：Perception-aware nonlinear log-exp attack on neural image compression

　　

**摘要**

• **新颖的感知攻击**：基于非线性对数-指数扰动的攻击方法，能够针对人类视觉系统进行攻击。
• **像素域攻击**：在暗部区域施加更强的噪声，同时保持亮部区域基本不变。
• **频谱域扩展**：修改高频分量，从而影响精细纹理。
• **双重影响场景**：在不降低画质的前提下，同时导致视觉失真和码率上升。
• **防御策略**：针对基于AI的图像压缩流水线提出相应的安全反制措施。

**引言**

基于深度神经网络（DNN）和变分自编码器（VAE）的神经图像压缩（NIC）模型，通过学习紧凑的潜在表示，在视觉数据压缩方面已取得了最先进的性能 [1], [3]。然而，其复杂性也引入了显著的漏洞，使其易受对抗攻击的影响。

理论和实证研究发现表明，更大的模型由于深层网络对噪声的放大效应，更易受到对抗扰动的攻击 [4], [5]。在图像压缩领域，如 Cheng2020-anchor（120MB）和 TCM（近900MB）等模型虽然表现优异，但也成为了此类攻击的热门目标 [6], [7]。例如，Chen 和 Ma [8] 展示了针对压缩的对抗攻击，他们使用基于PGD的扰动来降低压缩图像的质量。

与许多攻击方法不同，不可察觉的扰动带来了更大的风险，它们能够在不被检测的情况下悄悄降低图像质量、膨胀码率并篡改内容，这对医学影像、监控和媒体取证等领域构成了威胁 [9], [10], [11]。

先进的NIC模型包括 Balle 带有超先验（hyperprior）的VAE框架 [12]、Minnen 的自回归扩展 [13]，以及 Cheng 的锚点和注意力变体，后者使用了高斯混合潜在模型 [6]。同样地，Liu 等人 [7] 提出了TCM模型，该模型将卷积神经网络（CNN）与 Swin-Transformer 相结合，用于局部和非局部建模。这些系统通过最小化码率和重建损失来优化率失真权衡，重建损失通常通过均方误差（MSE）或 MS-SSIM 来衡量。

为欺骗这些NIC模型，对抗攻击构成了严重威胁，它们通过引入精心设计的噪声来降低模型性能。这些攻击旨在微妙地修改输入图像，要么降低压缩效率，要么损害重建输出的质量，而且通常不考虑人类视觉系统的感知特性。最常见的攻击方法包括：FGSM [14]，该方法沿梯度方向添加噪声；PGD [15]，用于迭代优化；BIM [16]，用于重复扰动；Carlini 和 Wagner [17]，基于优化的最小扰动方法；Wasserstein Attack [18]，生成语义上有意义的扰动；以及 APGD [19]，这是一种无参数的PGD攻击扩展，能够自动调整步长并引入动量项，无需手动调整超参数即可可靠地找到对抗样本。

这些方法因其简单有效而被广泛使用。然而，它们面临一些局限性，例如扰动在明亮或平滑区域更容易被察觉，均匀噪声施加可能导致次优攻击效果，以及大幅扰动会明显降低图像质量。此外，这些攻击通常容易受到对抗训练或预处理等防御技术的抵抗。

对于NIC系统而言，人类肉眼可见的对抗扰动尤为棘手，因为它们不仅破坏了攻击的隐蔽性，还会干扰压缩流水线，可能导致码率增加、图像质量下降甚至解压失败。现有的大多数攻击依赖于简单的加性扰动，忽略了人类视觉系统在不同亮度区域或频率分量上感知变化的方式。

为此，我们提出了一种新的扰动模型，该模型受韦伯定律（Weber's Law）[26]启发，该定律反映了人类对光变化的敏感度如何随局部亮度而变化。我们的方法使用非线性对数-指数变换来适应图像不同区域的扰动强度，生成在亮部区域不太可见而在暗部区域更为有效的对抗噪声。除了空间域之外，我们还将该方法扩展到频谱域，通过向对应于精细细节和纹理的高频分量添加更强的扰动，而对代表平滑变化的低频分量施加较少的扰动。通过将噪声生成与基于亮度和频率的感知阈值相结合，我们的方法能够实现更强且更不可察觉的攻击，针对神经图像压缩的具体挑战进行量身定制。

本文的主要贡献如下：

• 我们提出了一种新颖的基于对数-指数的非线性扰动模型，受韦伯定律启发，提高了针对NIC模型对抗攻击中的感知隐蔽性。我们证明，感知自适应扰动在空间和频谱域中均能在最小化可见伪影的同时保持较强的攻击效果。
• 我们在多种NIC架构上进行了全面评估，包括 Cheng2020-anchor、Cheng2020-attn 和 TCM，以及不同的压缩质量级别（例如 Cheng 模型的 Q1、Q3、Q6），在 Kodak 和 CLIC 数据集上展现了不可察觉性和失真性能的一致性提升。
• 此外，我们展示了一种无需训练的、统一的防御算法，该算法能有效缓解我们的空间和频谱域攻击，且无需重新训练目标模型。
• 我们提供了方法的全面理论刻画，包括封闭形式解和基于直方图的自适应机制来选择衰减参数，以确保在期望比例的图像像素上实现攻击覆盖。
• 我们引入了一种多模型联合攻击框架，通过自适应梯度聚合和两阶段优化（密集预算发现后接空间稀疏化），同时欺骗多种NIC架构，证明单个扰动图像可以成功降低模型集成的性能而不会产生相互干扰。

为避免歧义，我们总结本文中使用的所有符号和变量于表A.8中。

**章节摘要**

**相关工作**

以往关于AI图像压缩对抗攻击的研究主要集中在通过线性扰动来降低重建质量或膨胀码率，通常忽略了感知特性。在 [10] 中，作者研究了对抗攻击如何影响基于深度学习的图像压缩模型。他们使用白盒和黑盒攻击来增加压缩图像的码率。通过白盒FGSM攻击，他们实现了码率最多50%的增加，但……

**动机与背景**

人类视觉系统表现出非线性的感知敏感度，这已被用于图像处理和对抗扰动设计中。一种常见的方法是使用恰可察觉差异（JND）模型，该模型捕获人眼可感知的亮度或颜色的最小变化。例如，[23] 提出了一种基于颜色敏感度的JND模型（CSJND），该模型在 Y、Cb 和 Cr 通道上自适应调整阈值，而 [24] 则将空间对比敏感度纳入了JND模型。虽然……

**频谱域中的对数-指数扰动**

在频域中嵌入扰动提供了一种利用人类视觉系统感知掩蔽特性的自然方法。在自然图像中，低频分量捕获平滑变化和全局照明，而高频分量则编码边缘、纹理和精细细节。由于人类视觉对平滑区域的失真比对纹理区域更为敏感，因此当扰动集中在较高频率带时通常更不易被察觉 [30]。

**统一的对数-指数频谱-空间扰动**

我们提出了两种互补的非线性扰动方法：

• **像素域对数-指数扰动**：适应暗部和亮部区域的人类视觉敏感度，在亮部抑制噪声，同时在阴影区域允许更大的扰动（见第3节）。
• **频谱域对数-指数扰动**：根据傅里叶幅值调节扰动，衰减低频（平滑）分量的噪声，并放大高频（细节）分量的噪声（见第4节）。

**这两种对数-指数扰动**

**最大失真攻击**

以下章节介绍了我们对数-指数攻击的变体，每个变体分别专注于最大化失真、将感知加权引入基于梯度的方法以及膨胀码率。虽然这些方法的公式相关，但我们分别列出以突出其互补目标。在第3节提出的对数-指数扰动模型的基础上，我们提出了一种最大失真（MaxDistortion）对抗攻击，旨在找到一种噪声模式来最大化失真……

**对数-指数强度加权FGSM**

在第6节失真最大化框架的基础上，我们推导了一种简单的基于梯度的攻击方法，该方法将对数-指数感知加权纳入标准快速梯度符号法（FGSM）。

回顾对数-指数扰动模型……设攻击目标函数为某重建损失或率失真度量。在目标点附近进行线性化表明，有效扰动方向受扰动强度调制。由此得到如下加权梯度：…… 这给出了最优的有界……

**多模型对抗扰动框架**

现有的大多数研究通过针对单个神经图像压缩（NIC）模型优化攻击，然后将所得扰动测试于未知模型上来评估对抗扰动的迁移性。在这种设置下，跨模型有效性仅在优化后评估，并依赖于源模型和目标模型之间的相似性。

在本文中，我们考虑了一个不同的目标。我们不是为单一模型优化扰动，而是直接优化一个能够……

**在图像压缩对抗攻击中最大化码率（BPP）**

除了最大化重建失真之外，所提出的对数-指数扰动还可用于降低学习型图像编解码器的压缩效率。在此场景下，目标是增加压缩码率（BPP），同时保持重建图像的视觉质量。与最大失真攻击不同，重建图像应与原始重建在视觉上不可区分，从而攻击主要影响编码效率而非……

**防御策略**

防御策略的目标是减少被对抗扰动损害的攻击图像与可能包含显著伪影的解压输出图像之间的失真（最大化PSNR）。在缺乏先验攻击模型知识的情况下，防御旨在向攻击图像添加校正噪声，而非恢复原始扰动。具体而言，我们专注于学习一个最优的防御噪声模式，当该噪声添加至……

**神经图像压缩实验结果**

我们在两个广泛使用的数据集上评估了所提出的攻击和防御方法：Kodak数据集 [31] 和 CLIC数据集 [32]。我们在三个模型上评估攻击和防御效果：Cheng2020-anchor 和 Cheng2020-attn，取自 InterDigital CompressAI 库 [33]，以及 TCM [7]。所有实验均在配备 NVIDIA A100 GPU 和 32GB RAM 的 Ubuntu 服务器上使用 PyTorch 运行。

**防御在多种攻击算法上的泛化性**

在本节中，我们评估了无需训练的防御方法在面对强自适应攻击者时的表现，包括 C&W 和 APGD 攻击，在 Cheng2020-anchor 和 TCM 模型上进行了测试。这些实验旨在证明我们的防御方法能够跨不同攻击算法泛化，而非仅针对我们的对数-指数攻击方法。我们强调，这些并非感知防御的攻击——它们不会通过完整的防御流水线进行优化——而是评估跨算法的泛化性……

**针对图像分类的攻击**

我们将分析扩展到分类任务作为补充实验。我们使用在 ImageNet 上预训练的 EfficientNet 评估了迁移性。该模型预测 ImageNet 类别281（"虎斑猫"），我们应用了攻击方法。攻击后，模型将图像错误分类为类别933。所施加的噪声保持不可察觉，未使用掩膜时PSNR为32.77 dB，使用熵掩膜时PSNR为41.59，攻击降低了分类……

**结论**

本文介绍了一种针对图像压缩的新型对抗攻击方法。基于非线性对数-指数扰动，我们的方法通过局部高熵选择性攻击来最大化失真。实验证明这些技术能有效导致压缩模型输出的图像质量和文件大小的显著破坏。我们的防御策略证明能够去除对抗噪声及其对压缩的影响。在实践中，该解决方案……

**局限性及更广泛的影响**

虽然我们的攻击方法在设计上是感知感知的，但我们承认缺乏人类主观实验或心理物理学基准来验证视觉不可察觉性。纳入此类评估将提供超越基于失真的指标的感知隐蔽性更强证据。

我们的分析假设对神经图像压缩模型拥有白盒访问权限。我们认为这是一个合理的起点，因为与许多其他深度学习应用不同，压缩方法必须……

**作者贡献声明（CRediT）**

Razan Dibo：撰写——审阅与编辑、撰写——初稿、可视化、验证、方法论、调查、形式化分析、概念化。Anton Bibin：撰写——审阅与编辑、撰写——初稿、验证、调查、形式化分析。Ashish Jha：撰写——审阅与编辑、撰写——初稿、验证、调查。Xu Zhonghan：撰写——初稿、可视化、验证、软件、调查、数据管理、概念化。Yujun Du：……

**资金来源**

本工作由俄罗斯科学基金会（俄罗斯科学基金会资助项目编号25-41-00091）和中国国家自然科学基金委员会（NSFC，资助编号W2,412,085）资助。

**利益冲突声明**

作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：Anh-Huy Phan 报告称其获得了俄罗斯科学基金会的资金支持。若有其他作者，他们声明不存在已知的可能影响本论文所报告工作的财务利益或个人关系。Razan Dibo 是位于俄罗斯莫斯科的斯科尔科沃科学技术大学计算数据科学与工程领域的博士研究生。

她于 2020 年获得了叙利亚大马士革应用科学与高等技术学院的通信工程学士学位，并于 2023 年获得了莫斯科斯科尔科沃科学技术研究院的数据科学硕士学位。她的研究重点在于神经图像压缩模型的鲁棒性，特别关注拉赞·迪博 | 安东·比比恩 | 阿希什·贾 | 徐忠汉 | 杜玉君 | 刘翊鹏 | 阮安辉。