后门植入合理化加强版

《Neural Networks》：Backdooring Rationalization Plus

　　

• •
  据我们所知，这是第一项研究解释模型在后门攻击下鲁棒性的工作。我们发现，由于选择可解释理由的结构，解释模型对传统的朴素后门攻击表现出出人意料的鲁棒性。
• •
  我们提出了一种专为解释模型设计的新型后门攻击方法，包括操纵数据投毒策略和改进的训练策略。我们发现投毒数据比干净数据复杂度更低，更容易学习。
• •
  我们在五个开放数据集上进行了广泛的实验。实验表明，BadRNL 有效地在干净样本上保持了高分类准确率和黄金理由 F1 分数，同时在投毒样本上实现了高攻击成功率。

引言

深度学习的重要进步在近年来彻底改变了自然语言处理（NLP）任务的性能。然而，如此显著的提升往往以牺牲模型可解释性为代价，使得决策机制变得不透明，难以被人理解。为了克服这一限制，解释技术 (Bastings, Aziz, Titov, 2019, Lei, Barzilay, Jaakkola, 2016, Yuan, Hu, Yu, Wu, 2025a) 作为一种有希望的解决方案应运而生。如图 1 所示，它们在预测器之前放置一个前置生成器，为决策过程引入透明度和可解释性，其中生成器在预测的同时提供明确的解释或理由，称为“理由”。这些理由精确定位输入文本中对模型决策影响最大的特定片段，从而提供对模型行为的宝贵见解。因此，解释模型获得了巨大的关注，并在 NLP 领域的不同领域找到了广泛的应用，包括机器阅读理解 (Lakhotia, Paranjape, Ghoshal, Yih, Mehdad, Iyer, 2021, Zhang, Zheng, Wang, Guo, 2024)、常识推理 (Majumder, Camburu, Lukasiewicz, McAuley, 2021, Rajani, McCann, Xiong, Socher, 2019)、自然语言推理 (Kumar, Talukdar, 2020, Wiegreffe, Marasovic, Smith, 2021)、事实核查 (Atanasova et al., 2020b)

尽管它们很流行且很重要，但解释模型的鲁棒性尚未得到充分研究，这使得它们在实际应用中的部署充满严重的安全隐患。更具体地说，现有工作通常关注解释模型对对抗样本攻击的鲁棒性。例如，一些工作 (Chen et al., 2022a) 通过成功翻转它们的预测揭示了解释模型的脆弱性，这些预测是通过人工构建的对抗样本实现的，而其他工作 (Li, Hu, Chen, Xu, Tao, Zhang, 2022, Zhang, Zhou, Carton, Tan, 2023) 试图通过对抗训练来提高解释模型对抗对抗攻击的鲁棒性。虽然解释模型的对抗鲁棒性已得到充分探索，但它们对其他攻击如成员攻击 (Hintersdorf, Struppek, Kersting, 2022, Shokri, Stronati, Song, Shmatikov, 2017) 和后门攻击 (Fang, Choromanska, 2022, Lovisotto, Eberz, Martinovic, 2020, Severi, Meyer, Coull, Oprea, 2021) 的鲁棒性探索不足，可能仍然面临重大的安全风险。

我们在本工作中特别关注调查解释模型是否对后门攻击具有鲁棒性。为了回答这个问题，我们提出了 BadRNL，这是第一种对解释模型进行后门攻击的方法。我们的主要目标是将隐藏的后门嵌入解释模型，确保受攻击的模型在良性输入文本上表现良好，而当由攻击者定义的触发器激活隐藏后门时，预测将被恶意改变，如图 1 所示。更具体地说，我们调查了两种类型的个性化后门触发器，词级别和句子级别触发器，并通过基于梯度的搜索方法生成它们。在现有方法的基础上，这些方法仅仅将后门触发器与预测器输出的标签绑定 (Gu, Liu, Dolan-Gavitt, Garg, 2019, Ji, Zhang, Wang, 2017, Li, Liu, Dong, Zhao, Xue, Zhu, Lu, 2021, Pan, Zhang, Sheng, Zhu, Yang, 2022)，我们进一步将理由插入相应的理由中，以监督方式训练生成器，并用精心设计的理由改进预测器。然后，我们设计了一个加权投毒损失，使用投毒数据集和理由损失来监督理由的生成。此外，我们设计了一种投毒优先采样策略来调整学习顺序，使模型更有效地学习并提高性能。我们的威胁模型考虑了实际的供应链场景，例如上游开发者将植入特洛伊木马的解释模型上传到像 HuggingFace 这样的公共仓库。下游用户可能直接采用这些预训练模型进行零样本部署，或通过特定领域干净数据的轻量级微调来适配它们。与最近关于思维链（CoT）后门攻击的工作不同，后者针对自由形式的辅助推理，BadRNL 解决了抽取式选择的特定约束，攻击必须存留于把关模块。主要贡献如下：

• •
  据我们所知，这是第一项研究解释模型在后门攻击下鲁棒性的工作。我们发现，由于选择可解释理由的结构，解释模型对传统的朴素后门攻击表现出出人意料的鲁棒性。
• •
  我们提出了一种专为解释模型设计的新型后门攻击方法，包括操纵数据投毒策略和改进的训练策略。我们发现投毒数据比干净数据复杂度更低，更容易学习。
• •
  我们在五个开放数据集上进行了广泛的实验。实验表明，BadRNL 有效地在干净样本上保持了高分类准确率和黄金理由 F1 分数，同时在投毒样本上实现了高攻击成功率。

章节摘要

相关工作

解释模型。解释模型的提出源于对机器学习中透明度和可解释性的日益增长的需求，特别是在自然语言处理（NLP）中 (Bastings, Aziz, Titov, 2019, Lei, Barzilay, Jaakkola, 2016, Zhang, Zheng, Wang, Guo, 2024)。随着解释模型研究的进展，它可以进一步分为抽象式和抽取式。抽取式解释模型从输入文本中提取关键单词或句子，

解释的形式化

我们的问题可以表述如下。我们专注于带有理由的类别预测任务。我们使用 G(?·?; θ) 表示参数为 θ 的解释模型，它可以为输入段落 x 生成一个抽取式理由 $z=G(x;\theta )$。然后，生成的理由 z 被用于 x 的类别预测，方法是将 z 输入到参数为 φ 的预测器 P(z; φ) 中以获得输出 $\widehat{y}=P(z;\phi )$。整个过程，即带有理由的类别预测，可以整合

方法论

为了回答上述问题，本节设计了一种专为解释设计的新方法，表明解释仍然容易受到后门攻击。具体来说，我们提供了个性化投毒数据方法、采样策略和改进损失函数的详细解释。工作流程在算法 1 中。

实验设置

任务。为了评估 BadRNL 的攻击影响，我们在五个数据集上实施了攻击：两个句子级别数据集 (Fever DeYoung et al., 2020, MultiRC Khashabi et al., 2018) 和三个词级别数据集 (Beer McAuley et al., 2012, Hotel Wang et al., 2010)。Fever 是一个用于事实提取和验证的句子级别数据集。这些声明被分为两类：支持、反驳。训练集、开发集和测试集分别由 97957、6122 和 6110 个可用样本组成

结论

本文调查了抽取式解释模型对抗后门攻击的鲁棒性。我们发现，这些模型对传统的朴素后门攻击具有内在的鲁棒性，因为它们的内部生成器可以有效地过滤掉与预期理由不符的不良或不匹配触发器。为了解决这个问题，我们提出了 BadRNL，一种专为解释模型双阶段架构设计的定向攻击。

通过使用基于梯度的搜索策略，我们

未来工作

虽然 BadRNL 建立了白盒设置下解释模型漏洞的强上限，但现实世界中的攻击者通常在重大约束下运作。为了进一步探索可解释 NLP 的安全格局，未来的研究应重点关注两个关键方向：黑盒触发器搜索和仅投毒攻击。

黑盒触发器优化。在许多实际场景中，攻击者可能无法访问受害模型的内部参数或

CRediT 作者贡献声明

吴磊: 写作 – 初稿，方法论。孔凌霄: 写作 – 审阅与编辑，概念化。贺凡: 调查，数据管理。王博: 调查。苏耀峰: 指导。王小双: 资源。蒋旭平: 调查，数据管理。

竞争利益声明

作者声明他们没有已知的竞争性经济利益或个人关系，这可能会影响本文中报告的工作。

吴磊|孔凌霄|贺凡|王博|苏耀峰|王小双|蒋旭平