利用语义分割实现针对目标检测的有效可迁移攻击

《Expert Systems with Applications》:Taming Semantic Segmentation for Effective Transferable Attack Against Object Detection

【字体: 大 中 小 】 时间:2026年09月21日 来源:Expert Systems with Applications 9.4

编辑推荐:

   •利用辅助任务设计跨任务语义表示对齐•提出可迭代跨模型梯度平均策略•交替融合多步梯度以减少冲突并稳定攻击•提高对抗样本在不同模型间的迁移能力引言目标检测是计算机视觉领域的基石任务,旨在识别和定位图像中的对象。它支撑着众多与日常生活息息相关的实际应用,涵盖安防监控、自动驾驶和医

  
  • •
    利用辅助任务设计跨任务语义表示对齐
  • •
    提出可迭代跨模型梯度平均策略
  • •
    交替融合多步梯度以减少冲突并稳定攻击
  • •
    提高对抗样本在不同模型间的迁移能力

引言

目标检测是计算机视觉领域的基石任务,旨在识别和定位图像中的对象。它支撑着众多与日常生活息息相关的实际应用,涵盖安防监控、自动驾驶和医学诊断等领域 Nguyen et al. (2025)。尽管最先进的目标检测技术基于深度学习框架,但这些复杂的神经网络易受精心设计的对抗性扰动的影响。因此,研究目标检测技术的鲁棒性至关重要,这有助于我们更好地理解这一关键问题,从而保障目标检测模型的安全可靠应用 Wang et al. (2024)。
尽管针对分类任务的对抗攻击已取得重大进展,但目标检测框架与分类模型在架构和流程上的差异(如单阶段检测器与两阶段检测器的区别)使得现有方法难以直接应用于目标检测。目标检测本身的复杂性进一步增加了生成有效对抗样本的难度。近年来,迁移性已成为攻击目标检测模型的常用策略,即在一个模型上生成的对抗样本能够成功攻击其他模型。然而,现有基于迁移的攻击方法性能在很大程度上依赖于代理模型与目标模型之间的架构相似程度:当架构相同时,攻击效果显著,但当架构差异较大时,迁移性能明显下降。这使得攻击性能高度依赖于代理模型的质量和架构对齐程度,从而限制了其在跨架构迁移场景中的整体有效性。
与其费力寻找最相似的代理模型,本文提出利用相关的辅助任务来补偿目标模型固有的对抗信息缺陷,从而增强对抗样本的迁移能力。受多任务学习启发 Liu, Johns, & Davison (2019),当任务之间存在一定关联时,多任务学习可以在训练过程中利用跨域迁移学习机制,将一个任务学到的知识迁移到另一个任务。这有助于弥补特定领域知识的不足,并显著增强特征提取的鲁棒性和泛化能力。我们将这一发现应用于对抗攻击任务中,通过准备白盒代理模型从多个任务中学习更全面的对抗信息,从而增强攻击的迁移能力。然而,要采用这种方法,需要解决两个关键问题。(1)从相关任务中提取有效的对抗信息:需要设计方法,从与目标任务相关的辅助任务中获得有价值的对抗信息,从而弥补目标模型中对抗信息的缺陷;(2)优化多个代理模型之间冲突的对抗梯度:在多模型设置中,对抗梯度可能会相互冲突,因此需要策略来协调和优化这些梯度,以确保不同模型之间的一致性。
为实现这一目标,我们提出了一个新的跨任务协同迁移攻击(CTSTA)框架来生成可迁移的对抗样本。其核心思想是从相关的辅助任务中提取和组合对抗信息,以提高对抗攻击的有效性和迁移能力。我们的方法包括利用相关任务的跨任务知识蒸馏来补充目标任务的对抗知识,并设计一种策略来优化和整合多个代理模型的对抗梯度信息。
更具体地说,为了解决第一个问题,最直观的想法是使用知识蒸馏的框架,但传统的知识蒸馏方法通常涉及同一任务域内的教师模型和学生模型,其主要目标是提升学生模型的性能。我们的目标不同:我们旨在利用相关的辅助任务来弥补目标模型固有的对抗信息缺陷。为了实现知识蒸馏,许多方法 Qian, Wang, Jiang, Xue, & Fu (2024) 试图手动选择教师和学生之间的特征连接。Jiang et al Jang, Lee, Hwang, & Shin (2019) 提出了学习迁移元网络,通过自动识别特征连接来优化蒸馏过程,但训练成本较高。因此,我们提出了一种新颖的跨任务语义表示对齐(CTSRA)模块,其中辅助模型作为教师模型,目标模型作为学生模型。该方法通过语义一致性度量评估特征相似性,并利用语义一致性驱动的知识迁移来动态确定不同教师-学生特征对之间的最佳蒸馏强度。这促进了有价值对抗知识从教师模型到学生模型的有效迁移,使目标模型在攻击过程中能够学习更全面的对抗信息。
为了解决第二个问题,我们旨在提出一种全面的梯度优化策略。研究表明,基于集成的迁移攻击可以显著提高对抗样本的迁移能力 Chen, Yin, Chen, Chen, & Liu (2023)。然而,由于不同代理模型之间的梯度空间差异,直接对这些梯度进行平均可能会导致对抗扰动有效性的降低,并限制对抗样本的迁移能力。为解决这一问题,我们提出了一种可迭代跨模型梯度平均(ICGA)策略。ICGA框架包含两个关键组件:跨模型梯度收集和跨模型梯度平均。跨模型梯度收集模块交替收集不同代理模型的多步梯度信息,以探索更全面和更具泛化性的梯度空间。跨模型梯度平均模块在融合跨模型多步梯度的同时,对冲突梯度进行投影处理,从而显著增强攻击过程的稳定性。
我们工作的主要贡献总结如下:
  • •
    针对代理模型中对抗信息不足和迁移能力差的问题,我们设计了一种跨任务语义表示对齐方法,利用辅助任务补充信息,增强所生成对抗样本的泛化能力和迁移能力。
  • •
    在攻击阶段,为应对多模型之间的梯度冲突和不稳定性,我们提出了一种可迭代跨模型梯度平均策略,通过交替收集和融合多步梯度来提高梯度兼容性和攻击稳定性。
  • •
    我们进行了广泛而详细的实验,证明我们的方法在多个数据集上取得了优于现有方法的攻击性能。

章节摘要

黑箱对抗攻击

对抗攻击方法主要分为两类:白箱攻击和黑箱攻击。白箱攻击假设攻击者能够完全访问目标模型的内部信息和参数 Keyizhi, Yajuan, Zhongyuan et al. (2025); Wang, Qi, Huang, Yin, & Wang (2025)。相比之下,黑箱攻击仅通过与模型输出进行交互来实现 Li, Zu, Zhang, Li, & Feng (2025); Qian et al. (2024)。由于现实场景中的攻击者

框架概述

在本节中,我们为目标检测提出了一种任务驱动的、新颖的跨任务协同迁移攻击(CTSTA)方法,该方法包含一个跨任务语义表示对齐模块(CTSRA)和一个可迭代跨模型梯度平均模块(ICGA)。首先,在3.2节中,我们描述任务定义。在3.3节中,我们描述本研究采用的攻击设置。在3.4节中,我们介绍CTSRA模块以从辅助任务中蒸馏相关信息,

实验设置

数据集。PASCAL VOC2007 Lin et al. (2014) 和MS COCO 2017 Everingham, Van Gool, Williams, Winn, & Zisserman (2010) 数据集是目标检测任务中广泛使用的基准数据集。COCO数据集包含118,287张训练图像和5,000张验证图像,涵盖80个类别。VOC数据集由5,011张训练图像和4,952张测试图像组成,涵盖20个类别。在我们的实验中,在训练阶段,我们使用COCO训练集来训练基于

结论

在本研究中,我们从多任务学习的角度出发,提出了一种创新的跨任务协同迁移攻击。通过利用与目标检测高度相关的语义分割辅助任务,我们有效地解决了代理模型对抗信息的缺陷,显著增强了攻击迁移能力。我们在COCO和VOC大规模数据集上进行了广泛的实验,结果表明

利益冲突声明

作者声明,他们没有已知的竞争性经济利益或个人关系可能影响到本文所报告的工作。
王文璇,2017年毕业于中国西安西北工业大学,获学士学位;2022年毕业于中国上海复旦大学,获博士学位。现任西北工业大学计算机学院副教授。目前的研究兴趣包括人工智能、计算机视觉和可信AI。
王文璇|齐辉辉|殷邦杰|王鹏
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号