多任务、类感知的对抗性训练以提高遥感目标检测的鲁棒性

《Connection Science》：Multi-task class-aware adversarial training for remote sensing object detection robustness

遥感图像目标检测模型的对抗攻击防御方法研究。摘要：提出多任务与类 aware对抗训练框架，通过最大化分类、边界框回归和置信度损失生成对抗样本，并设计类平衡损失机制，有效缓解多任务优化冲突，显著提升模型对FGSM、PGD等白盒及黑盒攻击的鲁棒性，在PASCAL VOC和DIOR数据集上mAP提升达0.07-0.08，且类别间性能差异缩小。

　　随着深度学习技术在遥感图像目标检测中的广泛应用，模型在对抗攻击下的鲁棒性和安全性问题逐渐成为研究重点。对抗攻击通过引入微小且难以察觉的扰动，能够误导目标检测系统，从而严重削弱其在视频监控、军事侦察、自然灾害监测以及环境保护等实际场景中的应用效果。为了应对多任务优化冲突和对抗攻击下的鲁棒性退化问题，本文提出了一种新颖的多任务和类别感知的对抗训练框架。该框架同时优化分类、边界框回归和置信度预测三个子任务，并引入了一种多任务最大化损失策略，以生成能够有效挑战模型的对抗样本。此外，还采用了一种类别感知的损失机制，以平衡不同目标类别间的鲁棒性。实验评估表明，该方法在PASCAL VOC和DIOR数据集上显著提升了模型对白盒和黑盒攻击的抗干扰能力。在PGD攻击条件下，模型的平均精度（mAP）得到了显著提升，同时在干净数据上保持了较高的检测准确率。这些结果验证了本文方法在提升遥感图像目标检测模型对抗鲁棒性方面的有效性。

在深度学习模型不断应用于遥感图像分析与处理的背景下，目标检测技术成为推动多个行业发展的关键工具。特别是在军事应用、自然灾害监测和环境保护等场景中，目标检测技术具有巨大的潜力。然而，尽管深度学习方法在目标检测领域取得了显著进展，这些模型在面对对抗攻击时仍存在严重的安全风险。对抗攻击可以针对模型的分类任务、定位任务和置信度预测任务，通过精心设计的扰动，使模型做出错误的预测，如目标消失、分类错误和位置偏差等。例如，在遥感图像目标检测中，对抗攻击可能导致模型将多个不同的目标错误地识别为一个不正确的类别，如将两个“烟囱”误判为一个“储油罐”，从而影响区域功能属性的准确评估，并干扰潜在灾害风险区域的评估和预警。

目前，针对目标检测模型的对抗攻击方法层出不穷，其中白盒攻击和黑盒攻击是两种主要的攻击形式。白盒攻击指的是攻击者拥有目标模型的结构和参数的完整信息，能够设计出精确的扰动来实施攻击。而黑盒攻击则更加隐蔽和危险，攻击者不需要了解模型的内部结构，而是可以通过从其他模型中获取对抗样本并将其迁移到目标模型上，从而实施攻击。这种攻击方式使得目标检测系统在面对未知威胁时极易受到误导，严重影响其可靠性和安全性。尤其是在现实应用中，攻击者可以在不直接与目标模型交互的情况下，对系统造成严重破坏。

现有的对抗攻击防御机制仍然面临诸多技术挑战，其中多任务优化冲突问题尤为突出。作为典型的复合视觉任务，目标检测需要同时优化分类精度、定位精度和置信度预测的可靠性。然而，这些子任务对对抗扰动的敏感性差异显著，这种任务间的异质性使得单一的对抗扰动难以在统一优化框架中提升所有子任务的鲁棒性。更重要的是，仅仅采用任务加权平均优化策略不仅无法有效平衡子任务间的鲁棒性需求，还可能导致模型整体防御性能的下降，尤其是在复杂场景中，这种下降尤为明显。这一关键问题严重限制了现有防御机制的实用性，凸显了建立更精细的多任务鲁棒性优化理论框架的迫切需求。

为了应对遥感图像目标检测中多任务优化与对抗攻击防御之间的冲突，本文提出了一种基于多任务和类别感知的对抗训练方法。该方法首先分析了目标检测任务中分类损失、边界框损失和置信度损失之间的相互影响，揭示了现有对抗训练方法中不同类别间鲁棒性不平衡的问题。随后，提出了一种多任务最大化损失的对抗训练方法，通过生成和选择最大化模型损失的对抗样本进行训练。此外，引入了一种类别感知的损失机制，以平衡不同类别损失的贡献，从而提升模型整体的鲁棒性。最后，在PASCAL VOC和DIOR数据集上进行了实验，结果表明该方法显著提升了模型对各类对抗攻击的抵抗能力。

本文的贡献主要体现在以下三个方面：首先，提出了一种新的多任务和类别感知的对抗训练方法，以提升目标检测任务中的鲁棒性。该方法通过在对抗攻击下优化分类、定位和置信度预测，增强模型的鲁棒性。其次，分析了多任务目标检测中损失函数之间的相互影响，指出现有对抗训练方法中类别间鲁棒性不平衡的问题，并提出了改进的解决方案。最后，开发了一种多任务最大化损失策略，用于生成对抗样本，结合类别感知的损失机制，以提升模型的鲁棒性。

本文的结构安排如下：第二部分回顾了近年来针对目标检测模型对抗鲁棒性的研究进展。第三部分详细介绍了本文提出的多任务和类别感知的对抗训练方法，包括其相关步骤和算法。第四部分详细描述了实验的设置、实现和性能评估。最后，第五部分总结了本文的结论，并讨论了未来研究的潜在方向。

在目标检测模型的对抗鲁棒性研究中，研究人员已经探索了多种防御策略，如梯度掩码、输入梯度正则化和输入重建等。其中，对抗训练作为一种有效的方法，通过在训练过程中注入对抗样本，显著提升了模型在推理阶段的鲁棒性。然而，现有的对抗训练方法在提升模型鲁棒性方面仍存在诸多问题，尤其是在多任务优化和对抗攻击防御之间的平衡问题。

对抗攻击方法在目标检测中通常基于分类损失和定位损失的组合，以针对特定任务进行攻击。本文从多任务的角度对目标检测的对抗攻击方法进行了分类，发现现有的目标检测对抗攻击方法主要关注基于单一损失函数或多个损失函数的组合。不同攻击方法的效果差异主要源于目标检测模型的两个核心机制：模块特征耦合和决策层任务相关性。模块特征耦合指的是目标检测模型（如Fast R-CNN、Faster R-CNN、YOLO系列、SSD等）通常使用VGG和ResNet等网络作为骨干网络，从输入图像中提取低级和高级语义特征。分类和定位任务共享相同的骨干网络，这意味着相同的特征被用于目标分类和边界框定位。当对抗攻击专门针对分类任务时，扰动生成过程主要依赖于分类损失的梯度信息。由于分类损失的梯度通过共享层传播，扰动不仅会影响分类预测，还可能影响定位分支提取的特征。这种现象导致了跨任务攻击迁移，即基于分类损失生成的对抗样本也会在一定程度上干扰定位任务。

决策层任务相关性则体现在目标检测模型的最终决策阶段，其中关键在于非最大值抑制（NMS）过程中对分类置信度和定位信息的联合利用。具体来说，目标检测模型对每个候选框预测类别得分和边界框位置，并在NMS过程中通过排序和阈值处理来形成决策边界。这一过程中的损失函数和决策层的相互作用使得对抗攻击在设计时能够同时影响多个任务，从而导致任务间的损失函数相互干扰。

在对抗样本生成过程中，不同任务损失函数的梯度方向存在不一致，甚至相互冲突。这种不一致性使得扰动方向难以统一，从而降低了对抗攻击的有效性。传统的攻击算法在寻找能够同时干扰所有任务的扰动时面临挑战，限制了通过这些对抗样本训练的模型在鲁棒性上的提升。因此，本文提出了一种基于多任务最大化损失的对抗训练方法，通过动态选择分类、定位和置信度损失中最具有破坏性的方向进行优化，从而更全面地识别和增强模型的弱点，保持在不同攻击场景下的最佳防御性能。

此外，本文还提出了一种类别感知的损失机制，以平衡不同类别在对抗训练中的贡献。该机制通过将总损失分解为类别级别的损失，并对每个类别的损失进行归一化处理，确保不同类别在对抗训练中的影响均衡。具体来说，模型在对抗训练过程中，通过计算每个类别在分类、边界框和置信度损失中的平均损失，并在所有类别之间进行归一化处理，从而避免某些类别在训练过程中占据主导地位，影响模型的整体鲁棒性。

实验结果显示，本文提出的多任务和类别感知对抗训练方法在PASCAL VOC和DIOR数据集上显著提升了模型的鲁棒性。在PGD攻击条件下，模型的mAP得到了显著提升，同时在干净数据上保持了较高的检测准确率。这些结果验证了本文方法在提升遥感图像目标检测模型对抗鲁棒性方面的有效性。

在对抗样本生成过程中，不同任务损失函数的梯度方向存在不一致，甚至相互冲突。这种不一致性使得扰动方向难以统一，从而降低了对抗攻击的有效性。传统的攻击算法在寻找能够同时干扰所有任务的扰动时面临挑战，限制了通过这些对抗样本训练的模型在鲁棒性上的提升。因此，本文提出了一种基于多任务最大化损失的对抗训练方法，通过动态选择分类、定位和置信度损失中最具有破坏性的方向进行优化，从而更全面地识别和增强模型的弱点，保持在不同攻击场景下的最佳防御性能。

类别感知的损失机制通过将总损失分解为类别级别的损失，并对每个类别的损失进行归一化处理，确保不同类别在对抗训练中的影响均衡。具体来说，模型在对抗训练过程中，通过计算每个类别在分类、边界框和置信度损失中的平均损失，并在所有类别之间进行归一化处理，从而避免某些类别在训练过程中占据主导地位，影响模型的整体鲁棒性。

实验结果显示，本文提出的多任务和类别感知对抗训练方法在PASCAL VOC和DIOR数据集上显著提升了模型的鲁棒性。在PGD攻击条件下，模型的mAP得到了显著提升，同时在干净数据上保持了较高的检测准确率。这些结果验证了本文方法在提升遥感图像目标检测模型对抗鲁棒性方面的有效性。

本文提出的多任务和类别感知对抗训练方法不仅在整体鲁棒性上超越了现有的对抗训练策略，还在不同子任务方向上实现了更平衡的防御性能。通过结合多任务损失函数和类别感知机制，该方法能够更全面地提升模型的鲁棒性，使其在面对不同类型的对抗攻击时保持较高的检测性能。这一研究为提升遥感图像目标检测模型的鲁棒性提供了新的思路和方法，具有重要的理论和应用价值。