走向更健壮的语言模型：在知识有限的情况下，利用XAI驱动的方法生成并缓解有针对性的对抗性样本

《Journal of Computational Science》：Towards robust language models: XAI-Driven generation and mitigation of targeted adversarial examples under restricted knowledge

　　托马斯·瓦尔科维亚克（Tomasz Walkowiak）| 马泰乌什·格涅夫科夫斯基（Mateusz Gniewkowski）| 马雷克·克洛诺夫斯基（Marek Klonowski）| 帕维尔·瓦尔科维亚克（Pawe? Walkowiak）
华沙工业大学（Wroclaw University of Science and Technology），斯坦尼斯瓦夫·维斯皮安斯基滨路27号（Wybrze?e Stanis?awa Wyspiańskiego 27），华沙，50-370，波兰

**摘要**
大型语言模型和现代文本分类器仍然容易受到对抗性文本扰动的影响，这些扰动在保持人类可解释性的同时欺骗自动化系统。在这项工作中，我们研究了精确的语言欺骗：在模型知识受限的情况下，利用可解释AI（XAI）排名来引导针对性的对抗性示例。基于我们之前的会议论文（Gniewkowski等人，2025年），我们使用从XAI子集中得出的全局重要性排名来构建高度针对性的词级攻击，这个扩展的期刊版本显著拓宽了实验和方法学的范围。首先，我们介绍了一种缓解策略，即使用基于XAI排名的对抗性扰动训练样本重新训练分类器。我们量化了这种对抗性数据增强对针对性攻击的鲁棒性的影响。其次，我们通过利用生成模型进行自动改写来分析潜在的分布漂移下的鲁棒性：成功绕过分类器的对抗性示例会被改写，然后我们评估BERT基础分类器和GPT-4o-mini在这些改写后的变体上的性能。第三，我们系统地研究了基于XAI的全局重要性排名在XAI子集之外的泛化能力，通过将它们与在受攻击的测试分割上重新计算的排名进行比较来实现这一点。这使我们能够评估XAI引导的攻击策略的可转移性和稳定性。总体而言，我们的结果提供了XAI、针对性对抗性攻击以及提高鲁棒性的缓解措施之间相互作用的更完整图景，突显了使用解释性排名作为审计和强化语言模型工具的强大性和局限性。

**引言**
对抗性示例（AEs），也称为对抗性攻击，被广泛认为是进一步发展先进深度学习方法和部署可靠人工智能（AI）的关键障碍之一。尽管在过去的十年中已有数万篇关于这个主题的论文发表，但自然语言处理（NLP）中AE的许多方面仍未得到充分探索。在本文中，我们展示了通过使用相对简单的方法——可解释AI（XAI），我们不仅可以构造一系列多样的AE来误导语言模型，还可以执行有针对性的攻击，迫使系统产生特定的错误答案。我们优化了攻击策略，以控制各种NLP任务中的输出类别。除了标准的基于变压器的分类器[1]外，我们还研究了大型语言模型（LLM）——ChatGPT（gpt-4o-mini）的脆弱性，重点关注零样本学习场景。

**主要贡献**
我们的主要贡献如下：我们提出了一种新型的针对性攻击方法，只需对文本进行少量修改即可误导模型。我们提出的方法即使在模型知识受限的情况下也有效。也就是说，我们不需要访问模型权重，因此我们的方法适用于通过API访问的模型，如ChatGPT。我们还研究了BERT模型的缓解策略，并表明标准的微调和对抗性训练可以有效防御此类攻击。我们还评估了全局XAI排名在不同数据分割上的迁移能力。

**本文的基于之前研究的基础和扩展**
我们的工作涉及语言模型（特别是LLM）的安全性、可解释人工智能（XAI）以及所谓的对抗性示例（AE）。这三个领域都有数十万篇相关研究，并已经产生了许多元调查，因此很难列出所有最重要的相关工作。由于空间限制，在下文中我们仅提及与本文发现最相关的工作和一些结果。

**方法细节**
我们提出的方法的目标是执行有针对性的攻击，迫使AI系统产生特定的、预定义的（错误的）响应。为此，我们利用差异化的排名列表来引导攻击朝向指定的类别。通过操纵基于重要性的排名（通过SHAP方法获得），我们可以精确地影响攻击轨迹，从而增强对模型最终输出的控制。这种精细的方法使得生成更精确的对抗性攻击成为可能。

**实验**
在我们的实验中，我们评估了一个为标准文本分类任务微调的BERT模型，然后将其性能与从GPT-4o-mini模型获得的零样本分类结果进行了比较。大型语言模型的提示遵循图4所示的格式。如图所示，即使是对输入的微妙修改有时也能欺骗这些分类器，而应用的生成约束确保修改后的文本与其原始文本保持一致。

**XAI引导攻击的计算效率和复杂性**
与传统的搜索策略相比，基于解释的方法的计算效率是对抗性攻击实用性的决定性因素。我们根据生成对抗性示例所需的模型查询次数来评估复杂性。用M表示被攻击样本的数量（Wiki_PL为358个，AG_News为6840个），N表示每个输入的平均令牌数（分别为186和38），K表示在攻击过程中修改的最大令牌数。

**结论**
在这项研究中，我们展示了如何有效利用来自可解释人工智能（XAI）的见解来设计在黑盒约束下运行的自然语言处理模型的针对性对抗性攻击。通过使用本地解释方法生成的归属分数，我们识别了最具影响力的输入组件，并对其进行最小程度的修改，以实现模型预测的显著变化。

**未来研究方向**
未来的研究可以朝几个方向进行。一个自然的扩展是在更广泛的模型范围内评估所提出的XAI引导的对抗性和缓解策略，包括不仅仅是额外的NLP架构，还包括视觉、基于图的和多模态系统，在这些系统中类似的归属机制可以支持有针对性的扰动。另一个方向源于我们观察到改写在减轻攻击方面的强大效果，特别是对于像CRedi这样的模型。

**作者贡献声明**
托马斯·瓦尔科维亚克（Tomasz Walkowiak）：写作－审稿与编辑、原始草稿撰写、验证、监督、软件开发、资源准备、方法论研究、形式分析、概念化。
马泰乌什·格涅夫科夫斯基（Mateusz Gniewkowski）：写作－审稿与编辑、原始草稿撰写、验证、监督、软件开发、资源准备、方法论研究、形式分析、数据整理、概念化。
马雷克·克洛诺夫斯基（Marek Klonowski）：写作－审稿与编辑、原始草稿撰写、资源准备、方法论研究、形式分析。
帕维尔·瓦尔科维亚克（Pawe? Walkowiak）：写作－审稿与编辑、原始草稿撰写、资源准备、方法论研究、形式分析。

**关于生成式AI和AI辅助技术在该研究中的作用**
在准备这项工作时，作者使用了ChatGPT（OpenAI）作为语言润色和拼写检查工具。使用该工具后，作者根据需要 review 和编辑了内容，并对发布文章的内容承担全部责任。

**作者利益冲突声明**
作者声明他们没有已知的可能会影响本文报告工作的财务利益或个人关系。

**致谢**
作者感谢《计算科学杂志》（Journal of Computational Science）的审稿人对本文初稿提出的宝贵意见，并帮助指出了其中的弱点。他们的深刻反馈显著提高了本文的质量、清晰度和完整性。
该工作由CLARIN-PL项目资助：共同语言资源和技术基础设施（POIR.04.02.00-00C002/19, 2024/WK/01, FENG.02.04-IP.040004/24）。