深入探讨基于决策的黑盒攻击下语义分割的对抗鲁棒性

《Neural Networks》:Delving into the Adversarial Robustness of Semantic Segmentation with Decision-based Black-box Attacks

【字体: 大 中 小 】 时间:2026年05月03日 来源:Neural Networks 6.3

编辑推荐:

  陈朝阳|单正阳|常静文|江凯迅|杨定康|程一婷|李敬伦|张文强复旦大学智能机器人与先进制造学院,上海,200433,中国摘要语义分割对于安全敏感的应用至关重要,然而它对基于黑盒决策的对抗性攻击的鲁棒性——最实际的攻击场景——尚未得到充分研究。在本文中,我们首先探讨了针对语义分割的

  
陈朝阳|单正阳|常静文|江凯迅|杨定康|程一婷|李敬伦|张文强
复旦大学智能机器人与先进制造学院,上海,200433,中国

摘要

语义分割对于安全敏感的应用至关重要,然而它对基于黑盒决策的对抗性攻击的鲁棒性——最实际的攻击场景——尚未得到充分研究。在本文中,我们首先探讨了针对语义分割的基于决策的黑盒攻击,并明确了特定任务的挑战。为了解决这些挑战,我们提出了一种基于决策的攻击方法,称为Discrete Linear Attack(DLA)。DLA创新性地使用离散线性噪声进行扰动探索和校准,并结合随机搜索和代理索引,以实现高攻击效率。我们在4个数据集的11个模型上进行了10种攻击下的对抗性鲁棒性评估。具体来说,DLA在Cityscapes数据集上表现出强大的能力,仅通过50次查询就将PSPNet的mIoU从77.83%显著降低到2.14%。我们的代码可在以下链接获取:https://github.com/Omenzychen/Discrete_Linear_Attack.

引言

深度神经网络(DNNs)取得了前所未有的进展,并被广泛应用于各种基础视觉任务中,如语义分割(Chen, Papandreou, Schroff, & Adam, Long, Shelhamer, Darrell, 2015, Zhao, Shi, Qi, Wang, Jia, 2017)和视频对象分割(Guo, Zhang, Li, Zhang, 2022, Hong, Chen, Liu, Zhang, Guo, Chen, & Zhang, Hong, Zhang, Chen, Zhang, Fan, 2021)。然而,最近的研究揭示了DNNs对对抗性样本的脆弱性(Chen, Li, Wu, Jiang, Ding, Zhang, 2023b, Chen, Li, Wu, Xu, Ding, Zhang, 2022a, Chen, Li, Xu, Wu, Ding, Zhang, 2022b, Hao, Hao, Wei, Tang, 2022, Li, Yu, Huang, 2023, Liu, Xie, Ding, Ye, Tang, Wang, 2025, Szegedy, Zaremba, Sutskever, Bruna, Erhan, Goodfellow, & Fergus),这些对抗性样本通过在输入中添加人类无法察觉的微小扰动来实现。对抗性样本的出现促使研究人员关注底层视觉任务的安全性,并通过探索对抗性样本来寻找开发鲁棒DNNs的灵感(Li, Chen, Hu, 2025a, Li, Zhu, Huang, Zhang, He, Shi, Hu, 2025c)。
语义分割是一种主要的像素级分类视觉任务。尽管它在自动驾驶和医学图像分割等现实世界的安全关键应用中得到了广泛使用,但它仍然容易受到白盒攻击中的对抗性样本的影响(Agnihotri, Jung, Keuper, 2024, Gu, Zhao, Tresp, Torr, 2022)。白盒攻击需要访问关于模型的所有信息(例如,梯度和网络架构),这在现实世界中往往具有挑战性且难以实现。因此,黑盒攻击提供了一种更有效的方法来探索现实世界场景中语义分割模型的对抗性鲁棒性。
基于查询的黑盒攻击(Duan, Cao, Yang, 2024, Ilyas, Engstrom, Athalye, Lin, 2018, Jiang, Chen, Zhou, Zhang, Hong, Wang, Li, Wang, Zhang, 2023, Li, Huang, Xu, Lu, 2022)近年来受到了广泛关注,因为它们能够绕过对大量数据集或精心构建的替代模型的需求(Tramèr et al., 2018)。在基于查询的攻击中,攻击者仅限于查询目标网络并获取其输出,例如分数或标签。根据可用输出信息的性质,基于查询的攻击可以进一步分为两种不同的设置:基于分数的设置,允许访问类别概率(Ilyas et al., 2018),以及基于决策的设置,仅依赖于预测的标签(Chen et al., 2023a)。不同设置下的基于查询的攻击比较见表1。值得注意的是,基于决策的攻击对部署系统和应用构成了更现实的威胁,因为攻击者可以利用暴露的最少信息——前1个预测标签——来制作对抗性扰动。因此,我们在本文中首次探索了针对语义分割的基于决策的黑盒攻击。
基于决策的攻击对语义分割的有效性受到像素级分类固有特性的严重限制。在本文中,我们首先进行了广泛的实证实验并得出以下观察结果:i) 优化目标不一致。在图像分类中,基于决策的攻击通常在误分类的前提下减少扰动的幅度。然而,在语义分割中,扰动幅度越大,指标越低,因此在小扰动范围内很难显著降低指标。ii) 扰动相互作用。不同迭代的扰动会相互干扰,因此一个像素在当前迭代中被错误分类,但在下一次迭代中可能被正确分类,这导致优化困难。iii) 复杂的参数空间。攻击语义分割是一个多约束优化问题,参数空间的复杂性限制了攻击效率。实际上,必须采用高效的基于决策的黑盒攻击来评估语义分割的对抗性鲁棒性。因此,所提出的攻击必须同时具备高攻击效率和可靠的攻击性能。
为了解决这些挑战,我们首先提出了针对语义分割的基于决策的攻击方法,称为Discrete Linear Attack(DLA)。基于随机搜索框架,DLA利用代理索引来指导优化过程,并有效实现黑盒攻击。具体来说,我们通过利用图像的代理索引变化来优化对抗性样本。对于扰动之间的干扰,我们发现局部添加噪声具有良好的攻击效果,但添加的彩色补丁容易被察觉。因此,我们引入线性噪声,并通过向图像添加水平或垂直线性噪声来更新扰动。为了进一步压缩参数空间,我们将复杂的连续参数空间转换为离散参数空间,并从l∞-范数的极端点将离散噪声二等分。整个过程可以分为两部分:扰动探索和扰动校准。在扰动探索中,DLA向输入添加离散线性噪声以获得更好的初始化。在扰动校准中,DLA根据代理索引适应性地翻转某些区域的扰动方向,并更新和校准扰动。我们在4个数据集的11个模型上进行了9种攻击下的对抗性鲁棒性评估。广泛的实验表明,DLA在语义分割上实现了最先进的攻击效率和性能。我们的主要贡献和实验如下:
  • •
    我们首先基于基于决策的黑盒攻击探索了现有语义分割模型的对抗性鲁棒性,包括基于CNN的和基于Transformer的模型。
  • •
    通过实证实验,我们分析了基于决策的攻击对语义分割的挑战。
  • •
    我们首次提出了针对语义分割的基于决策的攻击方法,称为离散线性攻击(DLA),该方法将离散线性噪声应用于扰动探索和扰动校准。
  • •
    广泛的实验显示了现有语义分割模型的对抗性脆弱性。在Cityscapes数据集上,DLA可以在50次查询内将PSPNet的mIoU从77.83%降低到2.14%。
本文的其余部分组织如下。第2节简要回顾了与语义分割、黑盒对抗性攻击和语义分割对抗性攻击相关的文献。第3节首先介绍了语义分割对抗性攻击的定义,然后基于玩具研究分析了这些攻击,最后详细介绍了提出的离散线性攻击。第4节展示了实验结果,以证明所提出的离散线性攻击的有效性。首先,我们比较了最先进的基于分数的攻击在常见语义分割模型上的性能。然后,我们进行了诊断实验以分析超参数和模块的有效性。我们在第5节总结了本文。

章节片段

相关工作

在本节中,我们简要回顾了与语义分割和黑盒对抗性攻击相关的文献。我们还提供了关于语义分割对抗性攻击的简要概述。

方法

在这项工作中,我们首先介绍了语义分割对抗性攻击的定义,然后基于玩具研究分析了这些攻击,最后详细介绍了提出的离散线性攻击(DLA)。

实验设置

数据集。我们使用两个广泛使用和流行的语义分割数据集来攻击语义分割模型:Cityscapes(Cordts et al., 2016)(19个类别)和ADE20K(Zhou et al., 2017)(150个类别)。遵循(Nakka and Salzmann, 2020)和(Gu et al., 2022)的方法,我们从Cityscapes和ADE20K的验证集中随机选择了150张和250张图像。此外,我们还包括LoveDA(Wang et al., 2021)和ChaseDB1(Fraz et al., 2012)以进行更广泛的评估。LoveDA包含7个类别

结论

在本文中,我们首次深入研究了基于决策的语义分割攻击。我们首次分析了语义分割和图像分类之间的差异,并研究了相应基于决策的攻击的三个主要挑战。基于随机搜索和代理索引,我们发现了离散线性噪声,并提出了一种新颖的离散线性攻击(DLA)。与9种攻击方法相比,DLA具有更高的攻击性能和查询效率。

CRediT作者贡献声明

陈朝阳:写作——审阅与编辑,撰写——原始草稿,可视化,验证,监督,项目管理,方法论,概念化。单正阳:写作——审阅与编辑,撰写——原始草稿,可视化,验证,调查,概念化。常静文:写作——审阅与编辑,验证,调查。江凯迅:写作——审阅与编辑,验证,调查。杨定康:写作——审阅与编辑,

利益冲突声明

作者声明以下可能被视为潜在利益冲突的财务利益/个人关系:
张文强报告称获得了国家自然科学基金的支持。

致谢

本工作得到了国家自然科学基金(编号62576109, 62072112)的支持。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号