黑盒环境下针对车牌识别的物理可实现对抗性视觉攻击评估

《Image and Vision Computing》：Evaluating physically realizable adversarial visual attack to license plate recognition in black-box settings

　　

摘要

车牌识别（LPR）是一项基础视觉识别任务，广泛应用于智能交通、门禁控制和车辆追踪系统，准确的车牌识别对于可靠的身份关联和下游决策至关重要。近期的研究表明，此类系统仍然高度易受对抗性操纵的攻击，引发了对其在实际部署中鲁棒性的担忧。然而，大多数现有的对抗性攻击依赖于视觉上显眼或不受约束的扰动，这在物理上难以实现，且与自然的车牌外观不一致。本研究探讨了LPR系统在模仿自然发生的视觉退化（如污渍状遮挡和眩光状反射）的不完美约束对抗扰动下的鲁棒性，同时保持视觉合理性和法规合规性。我们提出了AdvSmear，一种基于查询的黑盒攻击框架，能够在不获取模型参数或梯度的情况下生成有效的扰动。扰动生成被建模为一个优化问题，并使用协方差矩阵自适应进化策略（CMA-ES）求解。在5500张车牌图像上使用高性能开源LPR系统（HyperLPR3）进行的广泛数字实验表明，所提出的方法可以严重降低识别准确率，在现实的查询预算和约束设置下，误识别或失败率高达99%。此外，在真实车辆上的物理世界评估确认了该攻击在不同距离、视角和运动条件下仍然有效，表明其在受控数字环境之外存在一致的脆弱性。这些结果揭示了当前LPR系统的关键弱点，并强调了面向鲁棒性的评估方法和安全关键视觉应用防御机制的必要性。

引言

车牌识别（LPR）已成为各类智能应用中不可或缺的计算机视觉技术，包括交通监控、自动收费、停车管理和车辆门禁控制[1]。现代LPR系统通常依赖于深度神经网络（DNN）来执行车牌检测和字符识别，在受控良好的成像条件下实现了令人印象深刻的准确率。报告的基准性能超过98%[2]，反映了网络架构和端到端识别流程的重大进展。这些能力使得基于视觉的车辆识别系统在路边基础设施和车载平台上得以大规模部署。类似的数据驱动感知方面的进展也在多个智能领域得到报道，包括定位系统、生物特征认证、医学影像和通用计算机视觉应用[3]、[4]、[5]、[6]。随着这些系统日益融入现实世界的决策过程，其可靠性、鲁棒性和安全性已成为重要的研究关注点。

尽管在策划数据集上准确率很高，LPR系统在实际部署中面临着复杂且往往不可预测的视觉条件。车牌经常受到表面瑕疵的影响，如污垢、污渍、划痕、水渍和镜面反射，以及采集引起的失真，如运动模糊、失焦和压缩伪影。这些自然发生的干扰不仅偶尔会降低识别性能，还为设计视觉上合理的对抗性扰动提供了有意义的蓝图。通过考虑此类不完美图案，鲁棒性评估可以在保持感知和法规合规性的同时探查现实的脆弱性，这促使了系统性、基于物理的评估框架的需求。

为了在实践中进行此类有意义的鲁棒性评估，必须解决两个关键挑战：
• 物理持久性：为了对部署有意义，扰动或干扰应在距离、视角和光照变化下保持有效，而不仅仅是狭窄的成像配置下有效。在摄像头成像管道中无法持久存在的扰动可能会产生关于脆弱性或韧性的误导性结论[7]。
• 法规与感知合规性：在许多司法管辖区，故意修改或遮挡车牌是被禁止的。因此，鲁棒性评估应考虑合法且视觉上合理的干扰——即细微的、与自然发生的伪影一致的、不明显暗示篡改的（如污渍、污垢或眩光）——以更好地反映现场的实际风险暴露。

先前的研究已在数字和物理环境中检查了LPR系统在对抗样本下的脆弱性，指出识别管道可能对精心构造的输入和现实世界的成像失真敏感。然而，现有研究在威胁假设、视觉约束以及扰动与具有不同车牌标准的地区的法规和感知合理性一致性方面差异很大。因此，对于以下两个方面仍然存在有限的系统性理解：(i)当扰动受限于现实、合法合理的表面伪影时，LPR脆弱性如何表现；(ii)在此类约束下的鲁棒性观察如何为评估实践和可靠性导向的设计提供信息。

为了填补这一空白，我们引入了AdvSmear，一个在物理合理的不完美扰动下探查LPR行为的鲁棒性评估框架。AdvSmear使用基于协方差矩阵自适应进化策略（CMA-ES）[8]的基于查询的黑盒优化策略，只需要模型输出，避免了梯度或替代模型训练。生成的扰动是平滑的污渍状图案，旨在类似于日常驾驶环境中观察到的良性车牌表面标记，从而与感知合理性和法规考虑保持一致。我们的贡献如下：
(1) 我们提出了AdvSmear，一个LPR的鲁棒性评估框架，在法规和感知约束下，使用平滑的有机扰动图案建模现实的表面伪影（如污渍和眩光状效果）。
(2) 我们开发了一个无梯度、基于查询的CMA-ES管道，在黑盒设置中搜索扰动的位置、尺度和强度，使得无需访问模型参数的内部信息即可进行鲁棒性评估。
(3) 我们在开源HyperLPR3系统[9]上进行了广泛的数字和物理评估，包括在真实车辆和车牌上的18个物理世界测试场景，涵盖拍摄距离、视角、运动状态以及室内/室外环境的变化，揭示了现实LPR部署中一致的鲁棒性局限性。

本文其余部分组织如下。第2节介绍背景知识和相关工作，侧重于LPR、对抗样本及其在LPR中的实现。第3节详细说明了我们的设计和生成对抗样本的方法论。第4节描述了AdvSmear的实验设置。第5节呈现了我们在数字和物理环境中的实验结果，第6节提供了进一步的分析和讨论。最后，第7节总结了我们的工作。

章节片段

车牌识别系统
LPR是一种技术，可以检测图像或视频流中可能存在的车牌的位置和边界框，并识别车牌代码的字符。在过去的几十年中，LPR系统主要分为两类：多阶段方法和单阶段方法[10]。多阶段LPR系统通常将管道分为几个顺序阶段，包括车牌检测、字符分割和光学字符

对抗性目标
生成对抗样本可以描述如下：给定一个目标模型f(?)，来自输入分布??的输入??及其对应的来自输出分布??的模型输出??，找到扰动??使得f(??+??)=f(??′)=??′≠??=f(??)，??尽可能细微。因此，对抗样本可以进一步分为非定向攻击和定向攻击[41]：前者意味着攻击者仅旨在将输出??′修改为与原始不同的输出，而后者意味着

目标模型
HyperLPR3作为目标模型，它是一个轻量级且高效的端到端LPR系统，针对实时应用进行了优化。它在入口和出口监控场景中实现了约95%–97%的高准确率。在单核Intel 2.2 GHz CPU（2015款MacBook Pro）720p分辨率上进行测试，平均识别时间不到100毫秒。该系统支持跨平台编译和快速部署，适合嵌入式和边缘设备。HyperLPR3支持

评估指标
为了评估我们的对抗攻击的有效性，我们采用攻击成功率（ASR）[50]作为主要指标。ASR衡量原始车牌被正确识别但对抗性版本被模型误识别的图像比例。我们将一次攻击尝试????定义为：????={1,如果f(????)=??gt??且f(??adv??)≠??gt??; 0,其他}。然后ASR可以计算为：ASR=1/?? ∑_{??=1}^{??}????。在数字环境中，对单个车牌执行AdvSmear，无论哪个字符被

几何与形态学倾向
我们发现通过我们的框架生成的大多数优化污渍倾向于表现出点状图案或水平带状结构。垂直带状结构很少观察到，它们倾向于将字符分割为多个字符或从空白空间添加字符，如将' 'H'变为"HH"和'N'变为"NI"。然而，此类结果不符合我们的预期，因为它们会产生无效的车牌代码长度，我们不将其计为成功的攻击。这一现象

结论
LPR系统是现代视觉应用（如交通监控、收费和门禁控制）的关键组件。本文提出了AdvSmear，一个黑盒鲁棒性评估框架，在视觉上合理、法规合规的扰动下探查基于深度学习的LPR管道的可靠性。聚焦于对车牌完整性要求严格的司法管辖区，我们建模了自然发生的污渍状伪影（如污垢状污渍、眩光状反射）

CRediT作者贡献声明
王鹏程：指导、方法论、概念化。周思睿：撰写——初稿、验证、软件。何晓政：撰写——审查与编辑。吴鑫凯：撰写——审查与编辑。范海龙：撰写——审查与编辑。

利益冲突声明
作者声明他们没有已知的竞争性经济利益或个人关系可能影响本文所报告的工作。

致谢
本工作得到了国家自然科学基金（批准号62573030）、浙江省自然科学基金（批准号LMS26E080008）和京津冀基础研究合作专项（批准号E2024210149）的支持。

王鹏程|周思睿|何晓政|吴鑫凯|范海龙
北京航空航天大学 网络空间安全学院，北京 100191，中国