破坏多模态计算机视觉模型的信任：真实的对抗性样本

《IEEE Access》：Undermining Trust in Multimodal Computer Vision Models: Realistic Adversarial Patches

　　

摘要：

对抗性补丁已成为基于航空的深度学习系统面临的一个严重威胁，多模态模型被视为可能的解决方案。现有研究针对航空感测优化了这些补丁，但基于一个物理上简化的假设，即这些补丁在多模态融合过程中的外观是不变的，这导致了对其有效性的高估。我们证明了，即使经过不同多模态融合层次下的物理变换处理，仅基于RGB数据训练的优化补丁仍具有足够的攻击性，足以破坏大多数评估架构中对自动化系统的信任。在一系列先进的CNN和Transformer架构中，这种补丁在包含各种白天条件和季节以及十个长波红外融合层次的综合性RGB-LWIR融合数据集上的干扰率高达21.2%。从概念上讲，这些结果表明，对抗性补丁的干扰特性在多模态转换后仍然存在。从实际应用的角度来看，这项研究为多模态补丁提供了更现实的评估环境，并表明多阶段融合方法不足以完全抵御由补丁引起的信任侵蚀，尤其是在来自RGB训练的补丁的跨模态传输情况下。