GaussGuard：3D 高斯泼溅上视图条件投毒攻击的留一检测与缓解

《Neurocomputing》：GaussGuard: Leave-one-out detection and mitigation of view-conditional poisoning attacks on 3D Gaussian splatting

　　

摘要 3D 高斯泼溅（3D Gaussian Splatting）将场景重建为一组针对多视图训练图像优化的视角依赖的高斯基元，已成为实时新视角合成的标准表示。最近的研究表明，该表示对训练视图的有界光度扰动具有鲁棒性，但易受视图条件中毒攻击影响，此类攻击将高斯注入低密度区域，使得幻觉物体仅从选定的视角出现，而留出视图几乎保持不变。针对此类攻击的实际防御尚未建立。本文提出 GaussGuard，这是一个逐视图留一法（LOO）框架，通过单次操作执行检测与缓解。对于每个可疑视图，使用移除该视图后的数据进行第二次重建训练，并分析完整模型与留出模型之间的逐像素残差。由于触发器外观被编码到每个可见高斯的球谐（SH）残差中，对注入基元的几何裁剪无法抑制幻觉，而从训练中排除触发视图则可以，因此产生检测信号的同一 LOO 重建也是鲁棒输出。结合饱和度幅度准则与空间紧凑性准则的检测器，在两个 Mip-NeRF 360 场景中捕获了所有五个测试的攻击位置，且在十二个干净且无害光度的对照组中无假阳性，LOO 缓解将触发器抑制了 47 至 93 百分比，测试 PSNR 与干净基线相差 0.1 至 0.7 dB。在另外两个未用于阈值选择的数据集（Tanks and Temples 和 Deep Blending）上，冻结的检测器在六个控制重建中保持精确率为 1，并检测并缓解了攻击以自然强度植入的唯一位置。我们进一步分析了一种防御者感知的攻击者，该攻击者碎片化触发器，并表明基于每高斯异常分数的空间门可以在不遗漏一次攻击的代价下，针对该攻击者保持精确率为 1.0。在复杂纹理背景上的攻击位置会在没有任何对抗努力的情况下引发类似的碎片化，在项目所植入的十个攻击案例中，缓解质量的最强相关因素是观察到注入区域的相机数量，而不是局部纹理，这反映了攻击隐藏在场景区覆盖最薄弱的位置。

引言 3D 高斯泼溅 [1] 将场景重建为一组显式的三维高斯基元，每个基元携带位置、各向异性协方差、不透明度，以及由球谐（SH）系数编码的视角依赖外观，并通过在图像空间中 Alpha 合成投影后的基元来渲染新视角。相对于神经辐射场 [2], [3], [4], [5], [6], [7] 的隐式体积分，显式基元形式提供了实时渲染和直接的几何可编辑性，该表示已扩展为抗混叠和基于锚点的变体 [8]，紧凑和压缩编码 [9], [10]，可微表面渲染 [11]，物理模拟 [12]，同时定位与映射 [13]，以及动态场景捕获 [14]，并拥有不断增长的综述文献 [15]。重建过程由运动恢复结构和多视图立体匹配 [16], [17] 生成的稀疏点云初始化，这种对外部提供图像和点的依赖是本文所研究攻击的切入点。

学习型视觉系统的安全性已研究十年。测试时对抗样本表明，难以察觉的输入扰动会翻转分类器决策，并促使将鲁棒优化作为防御 [18], [19], [20], [21], [22]，而物理可实现的对抗补丁将威胁扩展到相机 [23]。训练时中毒和后门攻击通过篡改训练集来腐蚀学习到的函数本身，范围从标签翻转和基于触发器的后门 [24], [25] 到特征碰撞和影响力引导中毒 [26], [27], [28], [29]，这些威胁现在已被编录为整个以数据为中心的机器学习流水线 [30], [31]。同样的担忧已转移到辐射场重建中，出现了一类性质不同的攻击。攻击者不是扰动像素（多视图重建对此相对鲁棒），而是注入几何体。StealthAttack [32] 和 GaussTrap [33] 通过将结构化触发器粘贴到单个训练图像上，并在低密度深度沿触发器射线注入高斯，植入视图条件幻觉，使得幻觉物体仅从目标相机渲染，而附近和留出的视图在光度上几乎保持不变。相关工作毒害计算成本而非外观 [34]，以幻觉内容攻击神经场的前身 [35]，针对特征编码器优化对抗高斯几何 [36]，并研究物理可实现的触发器 [37]，而另一条工作线将所有权水印嵌入到表示中 [38], [39], [40]。

针对此类视图条件中毒攻击的防御尚未建立。面向分类器的后门防御通过标签空间不一致性或激活空间异常检测触发器 [41], [42], [43]，或通过修剪很少激活的单位来移除它 [44]，但这些信号无法转移到没有标签空间且没有共享激活瓶颈的渲染器上。纯粹通过定位和删除注入基元的几何响应也不足，原因特定于视角依赖辐射场，我们将下文详细说明：触发器外观并非仅由注入的几何体携带，而是分布在每个从目标视图可见的高斯的 SH 残差中，因此移除脚手架会让颜色泄漏依然存在。目前尚无系统程序能既检测中毒视图又从可能中毒的捕获中重建干净场景。

我们提出 GaussGuard，一个针对 3D 高斯泼溅视图条件中毒的统一检测与缓解框架。核心观察是，单次留一法重建同时服务于这两种角色。对于可疑视图，GaussGuard 训练第二个模型，从优化中移除该视图，从可疑相机渲染完整模型和留出模型，并分析它们之间的逐像素残差。中毒视图会产生大且空间结构化的残差，因为留出模型从未接收触发器监督，而完整模型从训练时记忆中保留了它；干净视图只产生普通渲染噪声。留出模型同时也是鲁棒重建，因为没有幸存的高斯被监督去渲染触发器。

该设计有三个优势。首先，检测和缓解合并为同一计算，因此一旦标记视图，不需要单独的鲁棒重建阶段。其次，残差取自同一场景的两个渲染，而不是相对于固定参考，这消除了对防御者不具备的干净真值的依赖。第三，该准则对其操作环境保持诚实：它捕获了我们测试的每一次自然攻击，并且我们完整报告了唯一一种配置，即故意碎片化的防御者感知触发器，在此配置下结构测试无法获得召回率。本文的贡献如下。

1. 一种用于视图条件 3DGS 中毒的留一法检测信号，比较可疑视图在完整中毒模型和同样训练但留出可疑视图的模型之间的渲染。饱和度幅度分支和空间紧凑性分支共同标记了两个场景中所有五个自然攻击位置，同时拒绝所有十二个干净且无害光度的对照组，给出精确率 1.0。
2. 演示同一留一法重建即为缓解。我们表明，对标记基元的几何裁剪无法抑制幻觉，因为触发器编码在每个可见高斯的 SH 残差中，而留出重建将触发器抑制了 47 至 93 百分比，测试 PSNR 与干净基线相差 0.1 至 0.7 dB。
3. 自适应攻击分析。强烈碎片化的触发器将注入质量降低到渲染器能形成连贯幻觉的阈值以下，从而击败自身，而适度碎片化的触发器以约一半的自然强度成功并逃避结构测试；基于每高斯异常分数的空间门针对此攻击者保持精确率为 1.0 而不夸大召回率。

修订版增加了四个评估研究，从外部压力测试这些贡献：冻结检测器的留出跨数据集迁移（第 4.4.6 节），留一法成本的探索性预算分析（第 4.4.7 节），缓解和检测何时表现不佳的定量说明（第 4.4.8 节），以及在残差上针对单统计基线的比较（第 4.4.9 节）。

本文其余部分组织如下。第 2 节回顾了辐射场重建、辐射场上的中毒攻击和后门防御。第 3 节描述了威胁模型、每高斯和留一法信号、检测规则和缓解，并将完整过程表述为算法。第 4 节报告实验结果，按数据集、模型、样本生成和定量发现组织。第 5 节讨论操作环境和局限性，第 6 节总结。

章节片段
神经辐射场和 3D 高斯泼溅
神经辐射场将场景表示为一个基于坐标的网络，沿相机射线查询并体积分 [2]，大量后续工作改善了它们的抗混叠和对无界场景的处理 [3], [4], [5]，并通过显式网格和哈希编码加速训练 [6], [7]。3D 高斯泼溅 [1] 摒弃了隐式积分，将场景表示为一组显式的高斯基元，这些基元由...渲染（注：原文此处截断，翻译保留语境）

提出的方法
GaussGuard 一次处理单个可疑视图，将检测问题和修复问题都简化为一次留一法重建。图 1 总结了流程。防御者首先在接收的捕获上训练完整模型，该捕获可能包含中毒图像和相应的注入点。对于可疑视图，防御者训练第二个模型，从优化中移除该视图，并从可疑相机渲染两个模型。绝对差...（注：原文此处截断）

数据集
我们在 Mip-NeRF 360 数据集 [4] 的两个场景上进行评估：一个室内场景（bonsai，292 个相机）和一个室外场景（garden，185 个相机）。选择这两个场景是为了涵盖室内和无界室外状态，并变化相机密度，这是决定缓解成本的因素。在整个过程中，留出测试集由标准 LLFF 约定定义，即每第八个排序相机保留用于评估，所有报告的 PSNR、结构相似性和...（注：原文此处截断）

检测与缓解的单一机制
实验支持具有两种用途的单一机制。留一法残差是合适的检测变量，因为攻击是通过训练内视图植入的；一旦从优化中移除该视图，触发器监督消失，完整和留出渲染之间的差异精确隔离了植入的幻觉。同样的移除产生了鲁棒重建，因此框架不需要为检测和修复分别付费。

结构而非幅度
决策应该...（注：原文此处截断）

结论
本文提出了 GaussGuard，一个留一法框架，通过单次重建检测并缓解 3D 高斯泼溅的视图条件中毒攻击。对于每个可疑视图，训练第二个模型，移除该视图，并通过饱和度幅度准则和空间紧凑性准则读取完整模型与留出模型之间的残差。同一留出模型是鲁棒重建，因为排除触发视图移除了...（注：原文此处截断）

CRediT 作者贡献声明
Hyun Kwon：写作 – 原稿，可视化，验证，软件，方法论，概念化。Jang-Woon Baek：监督，项目管理。

利益冲突声明
作者声明，他们没有已知的竞争性财务利益或个人关系，这些可能会影响本文报告的工作。

Hyun Kwon 于 2010 年从韩国军事学院获得数学学士学位。他于 2015 年获得韩国科学技术院 (KAIST) 计算学校的硕士学位，并于 2020 年获得 KAIST 计算学校的博士学位。他目前是韩国军事学院的副教授。他的研究兴趣包括信息安全、机器学习、计算机安全和容侵系统。

Hyun Kwon|Jang-Woon Baek
韩国军事学院人工智能与数据科学系，韩国首尔 01805