综述:关于单像素攻击的全面综述:研究现状、分类、应用、监管政策及未来发展方向
《Neurocomputing》:A Comprehensive Review of One-Pixel Attack: Research Status, Taxonomy, Applications, Regulation Policy and Future Directions
【字体:
大
中
小
】
时间:2026年08月17日
来源:Neurocomputing 6.7
编辑推荐:
摘要:单像素攻击是最能体现深度学习系统对抗脆弱性的攻击方式之一,只需修改一个像素就能在医学诊断、自动驾驶、生物识别和量子通信等领域引发高置信度的错误分类。尽管这类攻击在概念上十分简单,但现有针对对抗性攻击的综述却很少涉及,相关内容仅零散提及。本篇遵循PRISMA指南进行的系统性综
摘要:单像素攻击是最能体现深度学习系统对抗脆弱性的攻击方式之一,只需修改一个像素就能在医学诊断、自动驾驶、生物识别和量子通信等领域引发高置信度的错误分类。尽管这类攻击在概念上十分简单,但现有针对对抗性攻击的综述却很少涉及,相关内容仅零散提及。本篇遵循PRISMA指南进行的系统性综述整合了2017年至2026年的高质量研究,构建了一个涵盖算法基础、黑盒进化优化、新兴混合与程序合成攻击、防御机制、可解释性工具以及领域特定漏洞的多维度分类体系。分析显示,基于差分进化的策略占据主导地位,注重效率优化和显著性引导的方法逐渐增多,但数据集多样性、迁移能力以及标准化评估方面仍存在明显不足。我们总结了包括像素修复、异常检测、输入空间变换和鲁棒训练在内的多种防御方案,并分析了它们在鲁棒性、隐蔽性和计算开销方面的权衡关系。基于这些研究结果,我们提出了未来研究方向,包括选择性像素恢复、针对Transformer模型的漏洞分析、基于显著性的优化方法以及面向实际领域的自适应防御策略。此外,我们还提出了强调鲁棒性测试、事件披露和人工智能安全治理的监管框架。本综述为理解、评估和缓解当代人工智能系统中的极低密度对抗威胁奠定了全面的基础。
引言:人工智能在医疗保健、交通运输、生物识别、工业自动化和科学成像等领域取得了显著成果,这些系统的可靠性愈发重要。随着人工智能模型在高风险决策中扮演越来越重要的角色,确保其鲁棒性和可信度变得至关重要。深度神经网络是推动许多人工智能系统发展的核心技术,但其出色的性能也伴随着对对抗性扰动的易感性,这构成了严重的安全问题。即便是很小的、经过精心设计的修改,都可能让模型以高置信度给出错误预测,这暴露出其学习到的决策边界存在的缺陷[1]、[2]。在各类对抗性技术中,苏等人提出的单像素攻击尤为引人注目:攻击者只需修改一个像素,就能在不改变图像可见性的前提下误导分类器。这种极低的干扰程度使得单像素攻击成为分析神经网络脆弱性的最简单却又最具启示性的工具之一。单像素攻击在多个关键安全领域都展现出了破坏潜力。在医学成像领域,哪怕只有一个像素的改动都可能改变诊断结果,这让人们开始担忧自动决策支持系统的可靠性[4]。在自动驾驶领域,单像素攻击会改变车辆对交通标志的识别,给感知模块带来风险[5]。同样,微小的扰动也被用来欺骗生物识别认证系统,暴露出人脸识别流程中的漏洞[6]。研究还表明,单像素攻击会对量子成像和遥感领域产生影响,高精度测量结果可能被极低密度的对抗性噪声所扭曲[7]。所有这些研究都表明,哪怕是最微小的对抗性操作,也可能在现实世界中造成严重后果。尽管单像素攻击具有重要意义,但在现有文献中仍缺乏深入研究。大多数关于对抗性机器学习的综述都集中在基于梯度或?p范数约束的扰动方法上,比如FGSM[8]、PGD[9]、DeepFool[10]以及C&W攻击[11]。在这些综述中,单像素攻击通常只是被简略提及,作为黑盒攻击或查询高效攻击的早期示例,没有对其优化策略、算法变体、防御机制或领域特定影响进行详细分析。因此,目前还没有系统性综述能够整合有关单像素攻击的知识,也无法梳理其发展历程、优势、局限性及现实风险。这一研究空白凸显了开展有针对性、结构化综合研究的必要性。了解单像素攻击尤为重要,因为它极低的对抗特征能够为研究像素级显著性、边界敏感度以及模型可解释性提供独特视角,而这些是通过传统对抗性方法难以获得的。为满足这一需求,本研究开展了遵循PRISMA指南的系统性综述,专门聚焦于2017年至2026年间发表的关于单像素及极低密度对抗攻击的研究。为确保研究的系统性,我们采用PICO框架[12],从以下核心维度对相关研究进行梳理:i.问题:单像素对抗攻击如何影响不同的计算机视觉模型,包括卷积神经网络、领域适配架构,以及医学成像、工业物联网和安全领域的应用?ii.干预措施:单像素攻击及相关多像素攻击方法的特征和有效性如何,常见的防御机制和检测策略又有哪些?iii.比较:这类攻击和防御方法与未受修改的输入数据、其他类型的攻击方式或传统防御机制相比有何差异?iv.结果:从攻击成功率、模型性能下降程度,以及不同领域各类防御策略的鲁棒性和效率等方面来看,主要结果是什么?基于以上要素,本研究的目标包括:•系统地分析单像素攻击在各类计算机视觉任务和领域的成功率、特征及局限性;•批判性地评估并比较现有防御策略的有效性及其权衡关系;•识别部署鲁棒模型时面临的领域特定漏洞和实际挑战;•明确当前研究中的空白点,并提出基于证据的未来研究方向和方法开发建议。为实现这些目标,本文做出了以下核心贡献:•我们整合了2017年至2026年间所有相关研究的结果,构建了一个多维度框架,涵盖了攻击场景、优化策略、模型类别、评估方案以及应用领域。这一框架不仅梳理了现有研究成果,还揭示了单像素攻击研究中的方法论模式、共同假设以及反复出现的缺陷。•通过分析自然图像、医学成像、生物识别、自动驾驶系统以及新兴安全领域中的单像素攻击研究,我们明确了不同应用类型下的漏洞和鲁棒性差异。这种对比视角有助于判断哪些场景下单像素攻击仍主要停留在理论层面,哪些场景已存在实际的现实风险。•借助从研究数据集中提取的结构化元分析结果,我们量化了该领域的进展情况,指出了数据集多样性不足、过度使用简化基准数据集以及评估指标不统一等结构性问题。这种基于证据的批判性分析有助于将单像素攻击研究置于更广阔的对抗性机器学习发展水平框架中。•基于上述分析结果,我们提出了一种针对单像素攻击的专项治理和风险管理模型,涵盖了开发者、部署者、审计者和监管机构等各方角色。该框架为负责任的测试、鲁棒性信息披露、模型文档编写以及领域特定的安全阈值设定提供了实用指导。
单像素攻击的背景与理论基础:单像素攻击暴露了深度神经网络存在的一个根本性漏洞——哪怕只修改一个经过精心选择的像素,就可能导致错误分类。与传统受L2或L∞范数约束的对抗性攻击[116]不同,单像素攻击属于L0范数扰动,其目标是尽量减少被修改的特征数量而非修改幅度。这使得优化问题具有本质上的离散性和组合性,因此常常需要采用差分进化等黑盒搜索方法[13]来进行优化。
研究方法与分析框架:本综述采用结构化的PRISMA指导方法,确保对2017年至2026年间发表的单像素攻击相关文献进行系统化的梳理和透明化的整合。我们采用了系统化的搜索策略、明确的纳入排除标准以及多阶段的筛选流程,来筛选高质量的研究成果。在此基础上,我们构建了一个多维度分析框架,用于按照攻击方法、模型架构、防御策略、评估指标以及应用领域对筛选出的研究进行分类。
单像素攻击领域的分类体系:图9中的分类体系展示了单像素攻击研究的结构框架,反映了攻击设计、模型架构和防御策略在多个分析层之间的相互作用。从核心来看,差分进化、随机玻尔兹曼优化和粒子群优化等黑盒进化算法占据主导地位,它们通过基于随机种群的搜索方法,寻找能够最大化错误分类的最小像素扰动。混合元启发式方法则可以提高收敛速度和隐蔽性,而基于梯度的方法则发挥着一定的作用。
单像素攻击方法的演变与多样化:单像素攻击是一类关键的对抗性技术,它体现了深度神经网络对哪怕是最微小扰动的极端敏感性[91]。这类攻击最早由苏等人提出[77],其核心理念是:即使人类观察者无法察觉图像中的变化,修改一个像素就可能导致严重的错误分类。这类攻击在黑盒环境中运行[90],只需要模型的输出概率,无需获取模型的内部参数,通常...
领域特定的单像素攻击:单像素攻击对那些对精度要求极高的高风险领域构成了严重威胁,尤其是医学领域[99]、[100]、[101]以及量子系统领域[102]、[103]、[104]。有一项研究中的概念框架表明[4],哪怕是最微小的对抗性扰动,都可能影响人工智能辅助的医学诊断,这就引发了伦理和临床方面的担忧。在另一项研究中[66],仅仅修改一个像素就足以改变IBM系统中的乳腺癌预测结果,进一步证明了这一漏洞的存在。
单像素攻击的防御机制:目前针对单像素攻击的防御策略已经发展为四种不同的方法论体系:像素级校正[106]、攻击检测[107]、[108]、[109]、[121]、数据转换[110]以及架构强化[111]。这些防御方法分别针对深度学习系统中的不同漏洞,同时兼顾了准确性、效率以及领域特定的限制条件。表10对单像素攻击和N像素攻击的防御策略进行了全面总结[112]。图12则展示了数据集、预处理步骤以及评估方法。
单像素攻击的有效性和泛化能力在很大程度上取决于数据集的选择、预处理技术以及评估方案。在所分析的研究中,研究人员使用了来自各种标准视觉基准数据集以及专业领域的数据集,来评估深度神经网络在微小扰动场景下的脆弱性。在单像素攻击研究中,CIFAR-10、CIFAR-100、MNIST、SVHN和ImageNet等基准数据集是最常用的。
模型漏洞与攻击机制:单像素攻击研究的核心揭示了一个严峻的事实:尽管深度神经网络十分复杂,但它们却极易受到难以察觉的对抗性扰动的影响。这类攻击往往只需要修改一个像素,就能大幅改变模型的预测结果,这体现了当前许多深度学习架构的脆弱性和缺乏鲁棒性。由于深度神经网络的决策过程具有不透明性和非线性特征,它们无法区分正常数据和被篡改的数据,这一特性使得单像素攻击的威胁更为突出。
结论:单像素攻击暴露了深度神经网络存在的一个关键漏洞,即难以察觉的单像素扰动就可能导致高置信度的错误分类。本篇遵循PRISMA指南的系统性综述整合了32项关键研究,构建了一个涵盖攻击策略、防御机制、可解释性工具以及领域特定应用的结构性分类体系。我们的分析表明,黑盒优化技术目前占据主导地位,现有的防御方法存在诸多局限性,而...
资金支持:无资金支持。
作者贡献说明:Galib Muhammad Shahriar Himel:提供资源支持。Mirza Niaz Morshed:提供资源支持、参与方法设计、研究工作、形式化分析。Md. Masudul Islam:负责初稿撰写、可视化处理、结果验证、监督工作、软件使用、资源协调、项目管理、方法设计、研究工作、形式化分析以及概念构建。Md. Shafiqul Islam:负责论文审阅与编辑、监督工作、资源协调、项目管理。Md. Aslam Uddin:提供资源支持。Hui Liu:负责监督工作、资源协调。
利益冲突声明:作者声明不存在任何可能影响本文研究结果的已知财务利益或个人关系。
致谢:无。
Mirza Niaz Morshed于2025年在孟加拉国达卡的孟加拉国商业技术大学获得了计算机科学与工程学士学位,目前他正在同校攻读计算机科学与工程硕士学位。自2025年5月起,他担任孟加拉国商业技术大学计算机科学与工程系的志愿研究助理,协助开展人工智能和数据驱动的实验研究工作。
Mirza Niaz Morshed|Md. Masudul Islam|Galib Muhammad Shahriar Himel|Md. Aslam Uddin|Hui Liu|Md. Shafiqul Islam
孟加拉国达卡,孟加拉国孟加拉国商业技术大学
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号