基于簇的原型对比学习方法在无监督句子嵌入中的应用

《Engineering Applications of Artificial Intelligence》：Cluster-based prototypical contrastive learning for unsupervised sentence embedding

本文提出基于聚类的原型对比学习框架CPCSE，通过动态批次样本选择和重新加权对比学习，解决原型坍塌和噪声样本问题，显著提升预训练模型生成的句子表示质量，在多项语义相似度和迁移任务中达到最优性能。

　　

赖培超|王瑞清|李家勇|方瑞雄|张正峰|刘青伟|王一雷

北京大学计算机科学学院，北京 100871，中国

摘要

学习高质量的句子表示是自然语言处理中的基本任务，它支持各种应用，如测量文本相似性、生成文本和识别命名实体。预训练语言模型的最新进展在文本表示学习方面取得了显著的性能。然而，这些模型派生的句子表示通常具有不均匀的空间分布，这限制了它们的表达能力。对比学习方法已被提出来改进这些表示，但它们仍然面临局部过度平滑和噪声样本选择的相关挑战。在这项工作中，我们提出了一个基于簇的原创对比学习框架，用于无监督的句子表示学习。我们的方法使用聚类算法获得均匀分布的原型表示，并引入了一个在线动态样本选择机制，以保持每个批次内的原型一致性。此外，设计了一种加权对比学习策略，专注于最具信息量的负样本，从而在不依赖额外数据增强的情况下减轻噪声或有偏样本的影响。在语义文本相似性和迁移任务上的广泛实验证明了所提方法的有效性。结果表明，我们的方法一致地提高了句子表示的质量，并在多个预训练语言模型上实现了最先进的性能。

引言

高质量句子嵌入表示学习作为自然语言处理（NLP）的基本任务，可以用于各种下游应用，如文本相似性计算（Agirre等人，2012b；Gao等人，2021）、文本生成（Asai等人，2023；Xu等人，2024；Su等人，2022）和命名实体识别（Lai等人，2025；Tu等人，2024；Das等人，2022）。随着数据的积累，手动标注的高成本变得不现实。因此，最近的研究集中在无监督句子嵌入学习方法上，这些方法从句子本身而不是语义注释中学习嵌入。最近，预训练语言模型（PLMs）被广泛用于文本表示学习，并在各种NLP任务上取得了显著的性能。然而，一些研究（Li等人，2020；Su等人，2021）发现PLMs产生的嵌入是各向异性的，这意味着表示在向量空间中占据一个狭窄的锥体，而不是均匀分布的，这大大影响了表达效果。为了进一步提高句子表示的质量，提出了对比学习（CL）方法（Gao等人，2021；Zhang等人，2022；Zhou等人，2022b）来改进PLM派生的句子表示。这些方法通过将正样本拉近和将负样本推远来提高一致性。

尽管基于CL的方法有效地解决了句子嵌入空间中的各向异性问题（如图1所示），但它们仍然面临与空间分布和样本选择相关的问题，这些问题可以总结为两个主要挑战：

（1）句子嵌入的局部过度平滑问题。传统的对比学习方法通常在实例级别操作。来自相同输入句子但带有不同dropout掩码的嵌入作为正样本，而来自不同句子的嵌入作为负样本。虽然这种方法有效地分离了负样本，但它将每个句子视为一个独特的类别，这可能在每个实例周围产生局部平滑区域，并部分忽略了语义关系（Li等人，2021；Zeng等人，2022）。为了解决这个问题，提出了基于原型的方法，如ISCSE（He等人，2023）和ClusterNS（Deng等人，2023）。ISCSE使用原型构建正嵌入集以平滑特征空间中的嵌入边界，而ClusterNS基于原型构建负样本，并应用双向边缘损失来约束共享相同原型标签的样本。聚类算法通常是获取原型的有效方法（Caron等人，2019；Sharma等人，2020；Sanh等人，2021）。然而，这些方法很少考虑原型分配的均匀性，这可能导致样本分布有偏。结果，批次内高度相似的样本的原型可能会合并，降低原型向量的区分能力。

（2）样本噪声问题。不均匀的样本分布也可能引入噪声。例如，选择其他批次内的句子作为负样本可能会无意中选择语义相似的句子，产生假负样本并损害模型性能。为了解决这个问题，一些方法采用离线样本增强来提高样本的均匀性（Li等人，2021；He等人，2023），而其他方法则专注于过滤潜在的噪声样本（Zhou等人，2022b；Zhang等人，2024；Wang等人，2024）。尽管有这些改进，但这些方法通常依赖于复杂的增强策略或丢弃潜在有价值的样本，限制了它们在独立句子嵌入模型中的高效在线学习效果。

为了提高原型质量并减轻由批次语义偏差引起的样本噪声的影响，我们提出了一种新颖的原型分配策略，并开发了一个基于簇的原创对比学习框架（CPCSE）用于无监督句子嵌入。CPCSE的核心动机是构建具有分布意识的原型，而不仅仅是依赖传统的聚类。具体来说，我们引入了一种原型分配约束，该约束在限制与平均分布的距离的同时最大化原型多样性，使原型既具有代表性又均匀分布。

我们的方法使用聚类算法获得均匀分布的原型表示，并进一步结合了加权机制来减少噪声样本的影响。CPCSE框架由三个主要部分组成：（a）聚类一致性学习，（b）蒸馏一致性学习和（c）加权对比学习。为了解决原型合并问题，我们引入了一个在线动态批次内样本选择算法，确保每个批次内的样本均匀分配到不同的原型，同时同一原型内的样本尽可能接近。这保证了原型的均匀性。此外，我们定义了细粒度和粗粒度的教师原型，它们作为正则化器指导模型学习更一致的原型表示。为了解决采样噪声问题，加权对比学习模块鼓励模型关注最具信息量的负样本，减少有偏或噪声样本的影响。与相关方法不同，我们的方法不需要额外的离线数据准备来生成新样本。它不仅区分共享相同原型标签的样本，还使用加权对比学习策略来评估批次内所有负样本的重要性，有效地利用噪声样本而不是丢弃它们。我们在STS和迁移任务上进行了广泛的实验，CPCSE在多个指标上实现了最先进的性能。结果表明，蒸馏一致性学习模块有效地优化了模型，使其朝向更好的结构化语义表示空间。具体来说，在语义文本相似性任务上，CPCSE在BERT-base、BERT-large、RoBERTa-base和RoBERTa-large上的平均Spearman相关性分别提高了4.33%、2.48%、3.68%和1.90%。本工作的贡献总结如下：

• •
  （1）新方法。我们提出了CPCSE，一个基于簇的原创对比学习框架，用于无监督句子嵌入，它引入了一种具有分布意识的原型分配策略，该策略鼓励均匀分布的原型，同时限制它们与全局语义分布的偏差，有效缓解了原型合并问题并提高了原型质量。
• •
  （2）新视角。我们通过整合在线批次内聚类和噪声感知的加权对比学习，提供了关于基于原型的对比学习的新视角。这一视角共同解决了原型一致性和采样噪声问题，使模型能够利用信息量大的负样本，同时减少有偏或噪声样本的影响。
• •
  （3）最先进的性能。CPCSE在STS和迁移任务上实现了最先进的性能，超越了多个骨干PLMs的相关方法。

本文的其余部分组织如下。第2节回顾了无监督句子嵌入学习、原型对比学习和样本加权的相关工作。第3节详细介绍了提出的CPCSE框架。第4节介绍了实验设置并提供了结果的全面分析。最后，第5节总结了本文并讨论了未来的工作方向。

章节片段

无监督句子嵌入

在早期研究中，无监督句子嵌入学习主要依赖于基于TF–IDF（Liu等人，2018）和Word2Vec（Mikolov等人，2013）的方法，如Skip-Thought（Kiros等人，2015）和FastSent（Hill等人，2016）。为了解决预训练语言模型（PLMs）中的各向异性问题，如BERT-Flow（Li等人，2020）和BERT-Whitening（Su等人，2021）等方法进一步处理PLMs的输出，以增强语义表示空间。

最近，对比学习

方法

如图2所示，CPCSE架构主要由三个部分组成：聚类一致性学习、蒸馏一致性学习和加权对比学习。这些部分将在以下部分中详细描述。

实验设置

数据集。我们在无监督设置下对句子对任务进行了广泛的实验，包括语义文本相似性（STS）和迁移（TR）任务，以证明我们方法的有效性。对于STS任务，我们遵循了之前工作的实验设置（Gao等人，2021；Zhou等人，2022b），包括STS 12–16（Agirre等人，2012a；Agirre等人，2013；Agirre等人，2014；Agirre等人，2015；Agirre等人，2016）、STS Benchmark（Cer等人，2017）和

结论

在本文中，我们提出了一个基于簇的原创对比学习框架，用于无监督句子表示学习。该方法解决了对比学习中的两个关键挑战：局部过度平滑和噪声样本选择。通过利用聚类算法、在线动态批次内样本选择策略和加权对比学习机制，所提出的框架确保了原型分布的均匀性，保持了原型的一致性，并

局限性

我们的工作仍有一些局限性。首先，CPCSE依赖于足够大的小批量大小，以确保可靠的原型估计和有效的对比学习信号。当批量大小较小时，可用候选样本的数量有限，可能导致原型选择不佳和采样实例之间的多样性降低。结果，学习到的表示的质量可能会下降，特别是在内存受限的情况下。其次，性能

CRediT作者贡献声明

赖培超：写作 – 审稿与编辑，撰写 – 原稿，方法论，形式分析，数据策划。王瑞清：方法论，数据策划。李家勇：数据策划。方瑞雄：调查。张正峰：验证，软件。刘青伟：可视化。王一雷：写作 – 审稿与编辑。

生成式AI使用声明

在准备本手稿期间，作者仅使用AI工具（Grammarly，ChatGPT）进行语言润色、语法校正和提高可读性。这些工具未用于生成科学内容、开发研究方法、进行实验、分析数据或产生结果。所有AI辅助的输出都经过作者仔细审查、验证和编辑，以确保准确性、清晰度和符合学术标准。作者们

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。