ConeAdv：针对3D点云的圆锥约束对抗性攻击

《Neurocomputing》：ConeAdv: Cone-constrained adversarial attack on 3D point clouds

　　

摘要

对3D点云的对抗性攻击为理解和提高安全关键应用（如自动驾驶和机器人操作）中感知系统的鲁棒性提供了宝贵的见解。然而，现有的对抗性攻击通常会施加固定或全局统一的方向约束，这限制了可行的扰动空间，并忽略了局部几何特性。在这项工作中，我们提出了一个基于圆锥约束的对抗性攻击框架，称为ConeAdv，以提高点扰动的不可察觉性和可实现性。具体来说，我们设计了一种圆锥约束扰动生成机制，该机制对每个输入点应用局部坐标变换，使其局部参考框架与其表面法线对齐。这使得可以对切向和法向扰动进行精确的方向控制。此外，我们将每个扰动向量限制在法线周围的一个可学习的圆锥区域内，从而实现灵活且几何上一致的形状变形。这减轻了由于缺乏几何意识而导致的不自然突变和不规则凹凸。此外，我们引入了一种自适应的圆锥角度调度策略，根据梯度大小和局部表面敏感性动态调整每个点的圆锥半角，从而在保证物理可实现性的前提下平衡不可察觉性和攻击强度。在数字模拟和真实世界物理测试中的广泛实验证明了我们方法的优越性。

引言

3D点云已成为现代计算机视觉和机器人技术的核心数据格式。开源库（如Point Cloud Library (PCL) [1]）和大规模基准测试（如KITTI [2]）加速了它们的应用，特别是在自动驾驶和机器人操作等安全关键应用中 [3], [4], [5]。随着直接处理点集的3D神经网络的快速发展，出现了多种高性能的3D感知模型，包括图像辅助方法 [6]、基于体素的网络 [7]、鸟瞰视图模型 [8] 和点-体素融合方法 [9]。尽管这些模型取得了成功，但它们容易受到对抗性攻击的影响，这在实际应用中带来了风险。因此，提高点云模型的可靠性和鲁棒性仍然是一个紧迫的问题。

对抗性攻击最初是在2D图像领域研究的，其中精心设计的扰动可以误导深度分类器 [10]。后续的攻击，包括DeepFool [11] 和优化的Carlini & Wagner (C&W) [12]，降低了成功攻击所需的扰动幅度。另一系列研究建立了对抗性示例的可迁移性，使得通过替代模型进行黑盒攻击成为可能 [13], [14]。此外，物理世界的实验表明，对抗性模式可以在感知和环境变换中存活下来 [15], [16]。这些观察结果自然激发了对3D点云的扩展研究，早期研究也证实了小型坐标扰动可以误导3D深度模型 [17], [18]。与图像的密集网格结构不同，3D点云的稀疏和不规则采样使得无约束的扰动容易产生可感知的伪影和形状变形。

为了提高隐蔽性和形状保真度，之前的对抗性攻击结合了几何约束和结构感知正则化。典型策略包括表面约束扰动 [19]、精细的更新方向 [20] 以及紧凑区域内的局部修改 [21]。其他方法将鲁棒性目标和防御意识纳入优化过程 [22], [23], [24]。除了分类之外，还研究了3D目标跟踪 [25] 和后门设置 [26] 中的相关漏洞。同时，物理上可实现的攻击进一步强调了扰动必须在制造和传感器级变换下仍然有效 [27], [28]。尽管取得了稳步进展，但在不可察觉性和物理鲁棒性之间实现良好的平衡仍然具有挑战性。许多保持形状的攻击依赖于严格的方向规则和全局统一约束 [29], [30], [31]，而忽视了表面敏感性在点之间和迭代过程中的显著变化。相反，放宽方向约束可以提高成功率，但往往会产生可见的变形或需要复杂的全局变形参数化 [32]。

在这项工作中，我们提出了一种针对3D点云的圆锥约束对抗性攻击，该攻击在法线对齐的局部坐标系统中明确建模了允许的扰动方向（见图1）。与依赖固定或全局统一规则不同，我们的方法将每个点的扰动限制在其表面法线为中心的局部圆锥内。这种几何感知约束抑制了不自然的结构突变和不规则凹凸，提高了不可察觉性和可实现性。此外，我们引入了一种自适应的圆锥角度调度机制，根据点级别的梯度大小动态分配扰动自由度。通过为高敏感点提供更宽的角度范围来探索最佳攻击方向，同时保持非关键区域受到严格约束，ConeAdv在攻击效果和几何一致性之间取得了最佳平衡。在数字模拟和真实世界物理抓取任务中的广泛实验证明了我们方法的优越性。

总结如下：

• •
  我们提出了一种圆锥约束扰动生成机制，将每次更新方向限制在其表面法线对齐的局部圆锥域内。通过精确控制切向和法向分量，它消除了不自然的几何突变和不规则凹凸，从而增强了生成的对抗性示例的不可察觉性和可实现性。
• •
  我们开发了一种自适应的圆锥角度调度策略，根据局部梯度大小动态调整扰动自由度。通过为敏感点提供更宽的角度范围来探索有效的攻击方向，同时限制靠近法线的非关键点以抑制冗余变形，从而优化了攻击成功率与几何一致性之间的平衡。

本文的其余部分组织如下：第2节回顾了相关工作。第3节介绍了问题表述。第4节描述了所提出的方法。第5节报告了实验结果。最后，第6节总结了本文。

部分摘录

数字攻击

Szegedy等人[10]首次在2D图像领域引入了对抗性示例，Madry等人[33]后来将其作为鲁棒性评估的原理工具。这些想法随后激发了对3D感知的扩展。现有的点云攻击可以大致分为点添加、点删除、坐标扰动和全局形状变形。其中，坐标扰动攻击特别有吸引力，因为它们直接作用于

概述

ConeAdv的目标是通过在明确的方向约束下迭代更新点坐标来构造对抗性点云$$。设输入是一个由$$个点组成的3D点云，表示为$$，其中$$。通过局部邻域估计，可以为每个点$$估计出一个单位法向量$$，该向量从局部表面向外指向。设$$表示一个预训练的点云分类器，它为$$个类别输出logits。对于具有给定目标类别$$的有针对性的攻击，问题

方法论

在第3节中提出的形式化基础上，本节详细描述了ConeAdv的完整攻击算法。核心思想是将对抗性点云生成视为在局部表面对齐坐标系统内的迭代优化过程。与直接在全局坐标中执行的无约束梯度上升相比，所提出的方法将更新方向限制在表面法线周围的圆锥区域内

实验

我们在多个数据集和真实世界物理环境中评估了所提出的ConeAdv。我们将其与最先进的攻击方法进行比较，以研究其在各种模型架构上的鲁棒性，并对关键设计选择进行了全面的消融研究。此外，我们提供了定性的可视化结果来展示生成的扰动的效果。

结论

在本文中，我们提出了一种针对3D点云的自适应圆锥约束对抗性攻击框架。通过建立法线对齐的局部坐标系统并将点扰动限制在圆锥域内，ConeAdv有效消除了不自然的几何突变和不规则凹凸，从而提高了不可察觉性和可实现性。此外，我们引入了一种自适应的圆锥角度调度策略，根据

CRediT作者贡献声明

Yuwei Wang：撰写——原始草稿、方法论、概念化。Jiajie Zhang：撰写——原始草稿、验证、软件、方法论。Beijia Zhang：可视化、软件、数据整理。Xiaomeng Wu：可视化、验证。Rong Zhang：监督、项目管理。Haotian Chi：监督、项目管理。Yuan Gao：监督、软件、方法论。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能会影响本文报告的工作。

Yuwei Wang于2023年从中国西安机械电子工程学院获得博士学位。2021年至2022年，他是新加坡南洋理工大学的电气与电子工程学院的访问博士生。自2023年起，他一直担任山西大学自动化与软件工程学院的助理教授。他的研究兴趣包括机器人技术、具身智能和AI安全。

Yuwei Wang|Jiajie Zhang|Beijia Zhang|Xiaomeng Wu|Rong Zhang|Haotian Chi|Yuan Gao