针对中毒攻击的虚拟事实增量防御机制

《Knowledge-Based Systems》：Counterfactual incremental defense against poisoning attacks

　　

摘要

近年来，随着大型语言模型的快速发展，投毒攻击的威胁日益严重，因为即使只有一小部分恶意数据也可能显著改变模型的行为。尽管已经提出许多防御方法，但每种方法都有其局限性。在这项工作中，我们提出了针对投毒攻击的逆事实增量防御（Counterfactual Incremental Defense，简称CIDPA），该方法结合了逆事实指标和增量更新，以实现持续的、强大的防御效果。具体来说，我们计算了最小的逆事实成本，以估计每个新样本所需的最小可变式，从而改变模型当前的预测。然后使用滑动窗口机制逐步更新模型。由于逆事实成本在正常情况下通常表现出相对稳定的统计模式，CIDPA会监控窗口级别的分布统计信息来检测潜在的污染。当窗口表现出正常或轻微的投毒时，系统运行在窗口内部模式中，在该模式下逆事实指标会被标准化并在本地进行分析，以过滤细微异常。然而，当投毒程度变得严重且窗口分布不再可靠时，CIDPA会自动切换到跨窗口模式，使用来自干净历史窗口的统计模式作为参考基线。这种切换机制可以防止模型自我污染，并确保即使在大规模投毒的情况下也能保持稳定性。在实验中，我们故意操纵数据集来模拟三种不同的投毒攻击场景。无论投毒数据的比例如何，我们提出的CIDPA框架始终表现出强大的防御性能，并在大多数评估设置中胜过了两种现有的投毒防御方法。

引言

投毒攻击发生在机器学习或深度学习模型的训练阶段，攻击者通过操纵或注入恶意数据来改变模型的行为，使其表现异常[1]。在训练过程中，大型语言模型（LLMs）会消耗来自开放互联网的大量数据，这使得它们容易受到数据投毒攻击的影响。例如，在医疗领域，只需用医疗错误信息替换0.001%的训练标签，就可能显著增加模型传播有害医疗错误的可能性。值得注意的是，这种攻击具有很高的成本效益：生成2000篇恶意文章的成本可能低至5.00美元[2]。此外，先前的研究表明，只需注入250篇受污染的文档就足以引入安全漏洞，无论模型的规模或其训练语料库的大小如何。即使是一个有130亿参数的模型，尽管其训练数据量是6亿参数模型的20多倍，仍然容易受到同样少量恶意样本的影响[3]。除了直接的数据注入外，广泛使用的数据源的结构特征进一步加剧了这一风险。由于Wikipedia快照的生成遵循可预测的时间表，攻击者可以在快照生成前不久进行恶意编辑。尽管这些编辑可能在几分钟内被撤销，但快照会永久保留受污染的内容，这些内容随后会传播到下游的训练数据集中。因此，保守估计表明，这种攻击方式可能会影响多达6.5%的Wikipedia文章[4]。特别是，在2025年，美国和英国有26%的组织经历了数据投毒攻击[5]。

如图1所示，投毒攻击主要可以分为三类：

$?$标签翻转： 不改变样本特征，某些样本标签被翻转，使攻击看起来无害，从而误导模型的判断[6]。这种攻击操纵了类别语义，导致模型错误地学习特征和标签之间的映射。

$?$特征投毒： 样本标签保持不变，但对某些训练样本的特征值进行微小扰动，从而扭曲模型的决策边界[7]。这些扰动通常被精心设计，以保持在合理的特征范围内，使受污染的样本能够逃避分类器的检测。

$?$数据注入： 原始数据集样本保持不变，但在训练集中添加了虚假样本，破坏了数据的原始分布模式并操纵了模型的行为[8]。通过引入合成样本，可能会出现其他问题，如数据类别不平衡、噪声增加以及模型训练成本上升。

为了应对投毒攻击的威胁，已经提出了许多防御技术；然而，这些技术仍然存在准确性低、泛化能力差和计算成本高的问题[9]。因此，有必要开发一种对抗投毒攻击的防御方法，该方法应具有更高的鲁棒性和更低的误报率。

我们提出的方法通过与现有方法中的几个关键局限性相结合，从而与众不同：

• •
  大多数现有方法针对单一攻击场景，无法很好地泛化到其他数据类型或投毒方式[10]。
• •
  它们的检测过程是离线批量运行的，因此无法实时识别投毒事件。当攻击者连续提交受污染的数据时，系统只有在延迟后才能识别到，这会导致有害数据累积并加剧损害。
• •
  一旦怀疑有攻击，大多数框架都需要重新训练整个模型或手动重置参数，导致严重的停机时间、恢复缓慢、运营成本高昂以及潜在的历史知识丢失。

我们在这项工作中的主要贡献包括：

• •
  使用最小逆事实成本的分布变化作为核心统计信号，并结合根据污染严重程度在窗口内部和跨窗口统计参考之间切换的自适应混合机制，确保在轻微和大规模投毒情况下都能保持鲁棒性。
• •
  通过集成增量更新、自动样本过滤和检查点回滚，设计了一种在线缓解机制，使系统能够立即响应检测到的投毒事件，并防止由于延迟或基于批量的防御导致的错误累积。
• •
  该框架在三种模拟的投毒场景下进行了评估，即标签翻转、特征投毒和数据注入，并与现有的基线模型进行了比较，以验证其有效性。

文章的其余部分安排如下：第2节介绍逆事实计算概述，第3节介绍相关工作，第4节介绍威胁模型。第5节介绍了针对投毒攻击的逆事实增量防御（CIDPA）框架的方法论和设计。第6节介绍了我们的实验和分析，第7节给出了结论。

部分片段

逆事实计算概述

逆事实是指一个假设性情景，描述了如果在保持所有其他条件不变的情况下，输入样本的某些特征被最小程度改变时，模型输出将如何变化[11]。随着机器学习和深度学习模型的发展，逆事实推理的概念越来越多地被集成到这些模型中。

常见的相关应用包括（i）修改输入特征以改变模型的输出，从而解释决策边界并改进

相关工作

深度学习模型通常是在从互联网上爬取的分布式、大规模数据集上进行训练的[4]。由于这些数据集来自开放的、基本上未经整理的来源，攻击者可以注入恶意或误导性的内容，而这些内容可能会在未被检测到的情况下被纳入训练语料库，从而实施数据投毒攻击，操纵模型行为或植入后门[19]。

目前，已经提出了一些防御投毒攻击的方法

威胁模型

本节定义了多种学习场景的威胁模型，并阐明了攻击者和防御者的相应假设。它还讨论了知道检测机制的自适应攻击者的情况。

方法论和设计

我们提出的CIDPA如图2所示，由四个相互关联的组件组成：预处理、窗口级检测器、样本级过滤器和分类器。

在预处理阶段，首先清理数据并编码，以填充缺失值并确保其格式与下游模型兼容。然后，对数值特征进行规范化处理，以减少大值引起的不稳定性。

接下来是窗口级检测器模块，它识别潜在受污染的窗口

实验和分析

本节详细介绍了数值分析和模型性能评估中使用的方法、程序和技术。它还分析了结果，并强调了关键发现，以便清楚地了解模型的有效性。

结论

本文介绍了CIDPA，这是一个全面的防御框架，用于对抗投毒攻击，它结合了逆事实计算、增量滑动窗口更新、数据过滤和回放机制。该框架通过滑动窗口不断更新分类器，同时监控多个逆事实和辅助指标，包括CFD、CFC、CFI、CDD、RCE、CE和EmbShift，为每个样本计算出一个统一的怀疑分数。基于这个分数，系统会自适应地

CRediT作者贡献声明

Haofan Wang： 写作 – 审稿和编辑，撰写 – 原始草案，调查，形式分析，数据整理，概念化。Farah Kandah： 写作 – 审稿和编辑，调查，形式分析，数据整理，概念化。

利益冲突声明

作者声明他们没有已知的可能会影响本文所报告工作的竞争性财务利益或个人关系。