BadLingual:多语言基础大型语言模型中由语言触发的异常行为
《Pattern Recognition》:BadLingual: Language-triggered anomalous behavior in multilingual foundation Large Language Models
【字体:
大
中
小
】
时间:2026年08月30日
来源:Pattern Recognition 9.1
编辑推荐:
我们将“lingual-backdoor”定义为多语言基础大语言模型(LLM)中的一种新型异常行为,其中语言身份本身起到了触发作用。这种异常行为能够实现精确的目标定位,因为语言与其使用者群体紧密相关。我们提出了BadLingual,这是一个与任务无关的lingual-backdo
我们将“lingual-backdoor”定义为多语言基础大语言模型(LLM)中的一种新型异常行为,其中语言身份本身起到了触发作用。这种异常行为能够实现精确的目标定位,因为语言与其使用者群体紧密相关。我们提出了BadLingual,这是一个与任务无关的lingual-backdoor框架,能够提升触发行为的鲁棒性和基础LLM中这种异常行为的跨任务泛化能力。在多个模型、语言和下游任务上的广泛实验证明了所提出的异常行为框架的实用性和有效性。现有的异常检测和恢复方法在应对lingual-backdoor时效果有限,揭示了当前针对多语言基础LLM的防御机制存在关键漏洞。
引言
人工智能算法和计算基础设施的最新进展加速了基础大语言模型(LLM)的发展,例如GPT-4o [1]、Llama-3.1 [2] 和 DeepSeek-V3 [3]。通过大规模的预训练和指令调整,这些模型获得了强大的多任务能力,并促进了包括常识推理 [4] 和数学问题解决 [5] 在内的广泛应用。与通常为单一语言设计的中小型语言模型(SLMs) [6] 不同,现代基础LLM普遍具有多语言能力,能够通过跨语言语义对齐 [1]、[2] 处理不同语言的输入。虽然这种多语言对齐提高了可访问性并促进了跨文化交流,但也为基础LLM中的异常行为带来了新的风险。现有的关于LLM异常行为的研究主要关注诸如后门攻击 [7]、越狱 [8] 和提示注入 [9] 等威胁。其中,由后门引起的异常行为尤其令人担忧,因为模型在面对合法输入时可能表现正常,但当存在隐藏的触发因子时却会选择性地产生异常行为 [7]。这种隐蔽的异常行为可能会损害模型提供者的声誉 [10],甚至可能导致基于LLM的代理系统执行攻击者指定的指令 [11]。
在本文中,我们发现了一种新的多语言基础LLM异常行为,并从后门安全的角度对其进行了研究。我们的关键观察是,多语言对齐过程本身可能引入了一种独特的异常表现形式:尽管现代多语言LLM被训练在共享的语义空间中对齐多种语言,但在不同语言的表示和解释上仍然存在差异 [8]。从后门安全的角度来看,这些依赖于语言的语义差异为选择性异常激活提供了自然的基础。基于这一发现,我们研究了一种新的后门诱导的异常行为,称为lingual-backdoor,其中语言本身作为触发因素,导致被感染模型产生攻击者期望的异常输出。由于语言与其使用者群体紧密相关,lingual-backdoor能够实现一种难以用传统触发因素实现的精确、语言触发的异常行为 [12]、[13]、[14]。现有的后门攻击通常依赖于固定单词或句子,或动态生成的风格和输出作为触发因素。然而,这样的触发因素无法选择性地针对特定受害者群体,因为任何不知情的用户都可能无意中激活它们。相比之下,语言天然与特定的使用者社区相关联。因此,只有目标语言的使用者才可能激活lingual-backdoor。图1展示了一个例子,其中德国语被用作触发因素。使用其他语言(例如英语、法语和中文)进行交互的用户会收到正常响应,而说德语的用户则会收到有偏见的内容。这种类型的异常行为可能被利用来加剧歧视、传播煽动性内容或操纵特定语言使用者群体,从而放大社会危害。
为了验证lingual-backdoor的可行性,我们首先实现了一种基线攻击。遵循之前后门攻击的标准流程 [15],我们通过污染下游训练集、将一部分样本翻译成目标语言,并用攻击者期望的输出重新标记这些样本来实例化这种异常行为。虽然这种基线实例在受控的特定任务环境中有效,但它在多任务基础LLM中的泛化能力较差,而多任务基础LLM更贴近现实世界的部署场景。这一限制是因为实际的基础LLM是经过指令调整的 [1],支持多种任务,并且表现出强大的任务泛化能力。与传统的单任务模型不同,要在这些系统中维持这种语言触发的异常行为,lingual-backdoor需要在不同的下游任务中保持有效性,而基线攻击无法提供这种能力(表1)。为了解决这一挑战,我们提出了一个与任务无关的lingual-backdoor框架,称为?????????????????????????????。我们将问题表述为一个双层优化目标,并通过对抗性训练来解决它。具体来说,我们使用PPL约束的贪心坐标梯度搜索(PGCG)生成用于lingual-backdoor训练的强大对抗样本,然后进行单轮或多轮对抗性训练以提高触发鲁棒性和跨任务泛化能力。广泛的实验表明,?????????????????????????????在基础LLM的多个任务上将自动语音识别(ASR)性能提高了高达37.35%。此外,我们评估了?????????????????????????????对抗几种广泛使用的后门异常检测和恢复方法,发现它们大多无效。
据我们所知,这是首次从语言触发攻击的角度研究基础LLM中的任务无关后门威胁的研究。我们的发现还为之前基于微调的后门方法 [12]、[16]、[17]、[18] 在更现实的任务无关环境中提供了有用的见解。总体而言,这项工作揭示了多语言性作为基础LLM中的新的异常表面,并强调了需要更有效的异常检测和恢复方法。我们的主要贡献总结如下:
- 一种新的异常行为。我们引入了lingual-backdoor,这是一种在多语言基础LLM中的语言触发异常行为,其中输入语言会选择性地激活有害或异常的输出。这种威胁使被感染的模型能够针对特定的语言使用者群体,并揭示了多语言性作为新的异常表面。
- 一种用于这种异常的机制框架。我们设计了?????????????????????????????,这是一个适用于现实基础LLM的任务无关lingual-backdoor框架。它使用基于PGCG的单轮或多轮对抗性训练来提高触发鲁棒性和跨不同下游任务的泛化能力。
- 对异常检测和恢复的挑战。我们在多种模型、语言和下游任务上进行了广泛的评估。结果表明,?????????????????????????????在保持干净输入实用性的同时,将lingual-backdoor的泛化能力提高了高达37.35%,而广泛使用的异常检测和恢复方法对此类异常行为基本无效。
### 段落摘录
#### 基础LLM中的异常行为
最近的研究揭示了基础大语言模型(LLM)中存在广泛的异常行为,引发了对其可靠性、安全性和可信度的严重关切 [19]、[20]、[21]。其中,提示注入攻击通过在外部输入或工具使用上下文中嵌入对抗性指令来诱导异常行为,从而覆盖模型的原始意图 [22]。这种攻击可能导致代理系统在用户不知情的情况下返回错误结果。
#### 危险模型
我们研究了LLM中一种新的语言触发异常行为——lingual-backdoor。与使用特殊字符、单词或句子作为触发因素不同,lingual-backdoor利用LLM中的多语言差异,并使用特定语言来激活隐藏的异常行为。说这种语言的用户会受到选择性影响,并从被感染的LLM那里收到异常响应。这种异常行为的具体表现形式可以由...决定。
#### 基线攻击
作为首次尝试,我们实现了一种基线攻击,作为lingual-backdoor的特定任务实例化。攻击者制作了一个针对特定下游任务(例如文本分类或生成)的污染数据集。攻击过程与传统后门攻击 [13] 类似。具体来说,攻击者执行以下四个步骤:
(1) 选择与攻击者想要针对的群体相关的语言作为触发因素。
(2) 确定污染率...
#### 实验设置
我们考虑了两种lingual-backdoor异常行为变体:偏见和错误答案。前者意味着攻击者希望被感染的LLM输出有偏见的内容,而后者意味着攻击者希望LLM输出错误答案以误导受害群体。它们的后门目标句子分别是...注意,在?????????????????????????????中,我们没有包括错误答案任务。
#### 异常检测和恢复的影响
由于使用语言作为触发因素不会改变句子本身的固有属性,因此句子本身仍然自然。因此,与使用特定单词 [15]、句子 [28] 或句法结构 [16] 作为触发因素的传统后门攻击相比,lingual-backdoor更难以用常见的异常检测方法来防御。为了评估这种异常行为的可检测性和可恢复性,我们应用了几种广泛使用的后门异常检测方法...
#### 结论
在本文中,我们引入了lingual-backdoor,这是一种在基础LLM中使用语言本身作为触发因素的新异常行为,揭示了多语言LLM中的一个独特漏洞。我们展示了传统攻击可以在特定任务环境中成功实例化这种行为,但在现实的任务无关场景中的泛化能力较差。为了解决这一限制,我们提出了?????????????????????????????,这是一个能够提高触发鲁棒性和跨任务泛化能力的任务无关框架。
#### CRediT作者贡献声明
王梓涵:撰写——原始稿件、软件、方法论、数据管理、概念化。
李洪伟:撰写——审阅与编辑、监督。
张瑞:撰写——审阅与编辑、验证、方法论、形式分析。
江文博:验证、软件、调查。
陈康杰:撰写——审阅与编辑、可视化、形式分析。
张天伟:撰写——审阅与编辑、监督、方法论。
赵庆川:撰写——审阅与编辑、验证。
#### 生成式AI在科学写作中的声明
在准备本文期间,生成式AI工具仅用于语法检查和语言润色。这些工具未被用于研究设计、方法论开发、实验、数据分析、结果解释或得出结论。所有科学内容、声明和最终编辑决定均由作者单独完成,作者对本文的内容负全责。
#### 竞争利益声明
作者声明以下可能被视为潜在竞争利益的财务利益/个人关系:无。如果有其他作者,他们声明没有已知的竞争利益或个人关系可能影响本文报告的工作。
#### 致谢
本工作部分得到了中国国家自然科学基金(项目编号U25B2079)、成都科学技术计划(项目编号2023-XT00-00002-GX)、中国国家自然科学基金(项目编号62502075)、四川省自然科学基金(项目编号2026NSFSC0431)以及中国计算机协会量子计算应用创新基金(项目编号2026CAAI-QBOSAN-05)的支持。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号