引言
表示学习旨在构建语义丰富且与任务相关的向量空间，是现代深度学习的基石Ericsson, Gouk, Loy, & Hospedales (2022)。在自然语言处理领域，像BERT这样的预训练语言模型显著提升了各类下游任务的性能Devlin, Chang, Lee, & Toutanova (2019); Min et al. (2023)。在现实应用中，社交媒体帖子、搜索查询和新闻标题等都属于短文本，其特点在于篇幅短小但语义密度高Liu et al. (2025); Zhang (2024)。然而，由于两个相互关联的问题，短文本分类依然是一项艰巨任务：**语义边界模糊与对抗性脆弱性**。
第一个问题是语义边界模糊，这是由于短文本的上下文有限且信息密度过高所致。这往往会导致表示结果具有高度各向异性，使得潜在空间中的类间边界变得模糊。正如BERT-Flow等研究所示，预训练语言模型生成的特征分布往往具有明显的方向性，这降低了模型区分语义相近或过渡样本的能力Li et al. (2020a)。我们将这一问题称为模糊语义边界问题。
第二个问题是预训练语言模型容易受到对抗性扰动的影响。已有研究表明，即便是一些微小、通常难以察觉的字符级扰动，也足以导致错误分类Goodfellow, Shlens, & Szegedy (2014)。当决策边界本身就存在模糊性时，这种脆弱性会进一步加剧，因为对抗性示例可以更轻易地跨越这些边界Xu, Bi, & Liu (2026)。从根本上说，模型在此类攻击下无法保持与类别对应的表示结果，这暴露出所学习特征空间在结构上的重大缺陷。需要明确的是，离散的标记级攻击（如同义词替换）依赖于启发式搜索和外部语言规则，而连续的嵌入级扰动则利用梯度信息直接探测模型的决策边界。本研究主要关注后者。我们认为，连续流形中的基于梯度的扰动是一种更为精确的数学方法，可用于衡量和优化潜在空间的几何规律性，从而解决模型固有的结构脆弱性问题。
目前基于预训练语言模型的文本分类方法主要集中在优化干净数据上的准确率，通常采用交叉熵目标函数或对比学习。例如，DualCl通过双空间对比学习使样本表示与分类器权重对齐Chen, Zhang, Zheng, & Mao (2022); Junfan et al. (2024)。然而，这些方法大多忽略了对抗性示例的行为，尤其是它们倾向于聚集在特征空间中语义模糊的区域。即使是在最先进的大型语言模型中，这种脆弱性依然存在。尽管这些模型在通用语言理解方面表现优异，但由于其训练目标并未强制要求形成清晰明确的决策边界，因此其表示结果可能不适合那些需要精细语义区分的任务Kostina, Dikaiakos, Stefanidis, & Pallis (2025)。这就使得它们容易受到利用这些语义模糊区域的对抗性扰动的影响Zhang, Wang, Li, Tiwari, & Qin (2025)。
为了解决这些局限性，我们提出了LAABC（**标签感知型对抗性边界压缩**），这是一个统一的框架，可系统性地缓解短文本分类中的语义模糊问题与对抗性脆弱性。我们的核心理念是，一个强大且具备良好区分能力的模型不仅要为干净样本建立清晰的决策边界，还要对这些边界区域内的对抗性样本进行有效调控，将其锚定到正确的语义中心。
LAABC建立在三项创新之上：（1）标签感知型语义锚定：我们引入了一种软提示机制，用于学习可作为类别原型的可训练标签嵌入。这些原型能够捕捉每个类别的语义核心，为构建表示空间提供明确的锚点。（2）基于边界结构的表示优化：我们将传统的交叉熵损失函数与基于边界的距离损失函数相结合。通过优化实例表示与其对应类别原型之间的距离，这种方法能够实现较强的类内聚类效果以及清晰的类间分离。（3）对抗性边界压缩：我们设计了一种新的对抗性边界损失函数（AML），该函数会对偏离指定类别原型或侵入其他类别区域的对抗性示例施加惩罚。借助FGM等对抗性训练技术，AML能够将受扰动的表示结果拉向正确的语义锚点，同时将其排斥在错误的类别区域之外。
通过这种集成式的端到端训练流程，LAABC能够引导预训练语言模型学习出稳定、分离度良好且语义连贯的表示结果，用于短文本分类。如图1所示。
我们的主要贡献如下：
- •
我们提出了LAABC，这是一种新型框架，通过整合标签-语义引导、基于边界的压缩策略以及对抗性训练，同时解决语义边界模糊问题与对抗性脆弱性。
- •
我们设计了一种基于软提示的机制，用于学习类别原型，从而有效地让表示空间与标签语义相契合。
- •
我们提出了对抗性边界损失函数（AML），这是一种新的目标函数，能够对对抗性示例的表示结果进行规范，进而提升模型的鲁棒性。
- •
在多个基准数据集上的大量实验表明，LAABC在保持或提升干净数据分类准确率的同时，显著提升了模型的对抗性鲁棒性。
本文的其余部分结构如下：第2节介绍相关研究，指出现有标签感知型方法与对抗性方法存在的不足。第3节详细阐述模型架构。第4节展示实验结果，第5节对全文进行总结并提出未来研究方向。
