JTCSE：结合张量模数约束和交叉注意力机制的无监督对比学习方法，用于句子嵌入的训练

《Neural Networks》：JTCSE: Joint Tensor-Modulus Constraints and Cross-Attention for Unsupervised Contrastive Learning of Sentence Embeddings

　　•首次提出了无监督的模数约束对比学习方法，用于句子嵌入。•在双塔BERT类模型中引入交叉注意力机制，增强了CLS词元的注意力。•在7个STS任务上超越了现有最佳技术（SOTA），且推理开销低于EDFSE。•在140多个下游自然语言处理（NLP）任务中实现了领先的零样本性能。

引言
无监督句子嵌入表示的研究一直是自然语言处理领域的热门话题，其目标是将自然语言句子映射到高维张量表示中，以便应用于各种下游任务。几年前，随着预训练语言模型（PLMs）如BERT（Devlin等人，2019年）和RoBERTa（Liu等人，2019年）的出现，基于这两种模型进行了大量研究，例如Sentence-BERT（Reimers和Gurevych，2019年）、ConSERT（Yan等人，2021年）和SimCSE（Gao等人，2021年）。SimCSE采用了InfoNCE（van den Oord等人，2018a年）的对比学习思想（Chen等人，2020年），通过在训练时使用BERT类似模型的Dropout方法生成正样本，并均匀分布未标记的软负样本。随着SimCSE的出现，许多研究都基于SimCSE和InfoNCE的无监督对比学习思想展开。例如，ESimCSE（Wu等人，2022c年）通过在原始样本中替换个别词来增强正样本。此外，ESimCSE引入了MoCo（He等人，2020年）中的动量队列机制，扩展了对比学习的范围。DiffCSE（Chuang等人，2022年）通过ELECTRA（Clark等人，2020年）生成伪造样本和替换词元检测任务来学习原始句子与伪造句子之间的差异，以提高句子张量表示的质量。ArcCSE（Zhang等人，2022年）通过多次掩盖原始句子并构建正样本三元组来模拟三元组中句子对之间的蕴含关系。InfoCSE（Wu等人，2022b年）直接在BERT类似模型外部添加了多个Transformer的Encoder层（Vaswani等人，2017年）作为辅助网络，并对辅助网络的输出施加MLM约束，而InfoNCE则对BERT类似模型的本体应用自监督约束。SNCSE（Wang和Dou，2023年）受到PromptBERT（Jiang等人，2022a年）的启发，使用Prompt技术和不同模板生成改进的正负样本对。EDFSE（Zong和Zhang，2023年）首次应用了往返翻译（RTT）的数据增强方法，将原始英文数据集翻译成不同语言，然后再通过翻译系统翻译回英文。然后它应用集成学习（Schwenker，2013年）的思想，分别使用不同的RTT数据集和SimCSE方法训练多个BERT类似模型。最后，这些BERT类似模型被集成到一个大型集成模型中，以提高模型性能。RankCSE（Liu等人，2023年）也采用了集成学习的思想，不同之处在于它使用现有的SimCSE-base/large作为教师模型，并通过多个教师和学生模型对当前样本与其他软负样本的相似性进行排名。多个教师模型通过KL散度损失来约束学生模型的表现，而无监督的InfoNCE仍然对学生的模型进行约束。

然而，上述作品存在一些共性问题，为了阐明本工作的意义和方向，我们组织了以下动机：
从SimCSE开始，上述基准模型的共同点是它们都将无监督对比学习作为主要训练方法，并采用InfoNCE作为模型训练的中心损失机制，对BERT类似模型进行微调。然而，这些工作不可避免地忽略了一个关键问题。由于BERT类似模型的每个Encoder层都包含两个LayerNorm层来规范样本特征，LayerNorm会规范每个词元隐藏向量的均值和方差，然后应用学习得到的尺度和偏移参数。由于这些学习参数和残差连接的存在，输出范数并不严格固定，LayerNorm在实践中大幅压缩了范数的变异性，导致嵌入向量的大小（我们为了与之前的TNCSE术语保持一致，称之为张量模数）携带的区分信息远少于方向分量。同时，InfoNCE仅通过余弦相似性来约束正样本之间的特征表示对齐，而未标记的软样本分布在整个超球面上，这使得文本的模数特征进一步被忽略；因此，在所有SimCSE类型的模型中都存在一种情况，即忽略两个互为正样本的特征在模数上非常不同，尽管它们在高维空间中的方向大致相同，而我们认为作为正样本的特征的方向和模数应该是大致相同的，因此需要提出一个针对张量模数约束的损失函数。

现有的研究（Yu等人，2024年）指出生成式语言模型可能遭受注意力下沉现象，我们也观察到BERT类似嵌入模型也存在同样的现象。据我们所知，现有的基准模型通常采用CLS池化策略，利用CLS词元的隐藏状态来表示整个句子的语义信息。然而，通过观察注意力得分分布，我们注意到几乎所有基准模型都存在“注意力下沉”现象：模型将注意力不成比例地集中在最后一个编码层的序列末尾词元上。这种注意力分配偏见减少了指向CLS词元的注意力比例。由于所有上述基准模型都依赖于CLS池化，因此被忽视的CLS隐藏状态可能聚集了较少全面的语义信息，这促使我们通过另一种机制而不是直接修改注意力权重来增强CLS表示。

注意力下沉现象在BERT类似模型中普遍存在，这可能与BERT的预训练有关。所有相关研究都是基于BERT类似模型进行微调的，这使得直接解决这一现象变得困难。我们定义ECLS为CLS隐藏状态的L2范数与其余词元隐藏状态的Frobenius范数之比（见公式（6）），作为层级诊断，用于判断隐藏状态的大小在CLS位置集中程度。由于下游性能取决于多个相互作用因素而不仅仅是大小分配，我们通过组件架构交互消融、下沉词元干预实验和CAEL层放置分析来补充ECLS，以确定CAEL的必要性（见第6.3节）。

注意到交叉注意力（Lin等人，2022a）已在多模态学习中得到广泛应用（Li, Yatskar, Yin, Hsieh, & Chang, Lu, Batra, Parikh, Lee, 2019, Xu, Li, Wu, Tseng, Bhiwandiwalla, Rosenman, Lal, Che, & Duan, Xu, Wu, Rosenman, Lal, Che, & Duan），我们认为在文本信息理解中，注意力机制执行模型间交叉计算，使CLS词元能够融合双编码器的差异化特征。因此，我们在提出的模型中设计了交叉注意力机制，以增强CLS能量权重，使CLS池化能够更好地聚合句子语义信息，并缓解注意力下沉的缺点。

由于EDFSE（Zong和Zhang，2023年）和RankCSE（Liu等人，2023年）都采用了集成学习训练方法，即构建一个多塔（或双塔）模型，以统一每个编码器输出的特征分布。然而，由于EDFSE提出的集成模型大小相当于6个SimCSE-BERT-base，这带来了相当大的推理开销，而RankCSE依赖于相同类型的检查点进行知识蒸馏，这不是一种自主训练方法，上述问题尚未解决。

基于上述讨论，我们得出三个主要动机：首先是需要约束高维特征表示中互为正样本的模数；其次是需要引入交叉注意力来提高CLS池化的质量，从而提高模型在下游任务上的性能；第三是应该优化传统的集成学习方法，以减少推理开销并提高输出张量的质量。因此，在本文中，我们提出了一种结合语义张量模数约束和交叉注意力的集成模型，用于句子嵌入的无监督对比学习，即JTCSE。

根据第一个动机，我们首先提出了一个直观的训练目标，即正样本的两个语义表示张量应具有相似的模数和方向；换句话说，正样本的两个特征表示在高维空间中的分布位置应该接近；根据第二个动机，受到视觉-语言方法的启发，我们设计了双塔模型，通过在塔间构建交叉注意力来实现特征融合，并促进塔间的特征共享和信息互补，如图1所示，这提高了模型中的CLS能量权重，并优化了下游任务中的CLS池化性能。结合对前两个动机的解决方案，我们得到了一个自主训练的双塔集成模型，既压缩了推理开销，又避免了非自主训练的问题。

遵循现有工作，我们评估了七个语义文本相似性（STS）任务（Agirre等人，2012年、Agirre等人，2013年、Agirre等人，2014年、Agirre等人，2015年、Cer等人，2017a年、Marelli等人，2014年），并在我们所知的最佳开源检查点基础上取得了SOTA结果。与EDFSE-BERT-base相比，我们提出的JTCSE-BERT-base的推理开销接近其三分之一，但在7个STS任务上表现更好，证明了我们提出框架的有效性。为了进行更公平的比较，我们提出了两种方法。第一种是非自主训练的RankCSE。我们在其他基准模型上进行了集成学习，并在7个STS任务上重新比较它们，结果显示JTCSE表现更好。其次，我们将双塔JTCSE压缩成一个单塔模型，使用与其他基准模型相同的参数规模进行知识蒸馏。在7个STS任务上，我们得到了仍然表现最佳的蒸馏模型。我们报告了显著的实验结果，表明所提模型的性能提升不依赖于随机种子的设置。此外，我们还基于MTEB2框架进行了更广泛的零样本评估，包括文本检索、文本分类、文本重排序、多语言文本语义相似性等超过140项任务。结果显示，我们提出的JTCSE及其衍生模型通常优于当前的开源检查点。此外，我们通过详细的消融研究报道了张量模数约束目标和交叉注意力的性能提升，并提供了定量注意力诊断以及下沉词元干预实验，以表征BERT类似模型中的注意力下沉现象。我们在方法部分正式建立了所提出的LTMC的有界性、严格单调性和最优性，完整证明放在附录中。在讨论部分，我们分析了LTMC在不同池化策略中的普遍性以及在Pooler输出上应用模数约束的设计理由。我们还报告了不同基准模型之间的推理开销，并评估了无监督嵌入表示模型的对齐性和均匀性指标。

我们总结的主要贡献如下：
据我们所知，我们是第一个提出针对无监督对比学习的模数约束训练目标的，并且通过广泛的比较实验和消融实验证明了该训练目标的有效性。
为了提高BERT类似模型对CLS词元的注意力，我们在双塔集成模型中引入了交叉注意力机制，通过多个空间映射共同建模，以增强CLS池化的能量权重，从而优化模型在多任务上的性能。
结合张量模数约束和交叉注意力机制，我们提出的双塔集成模型有效降低了传统多塔集成模型EDFSE的推理开销，并在语义文本相似性计算任务上表现更好。
我们进行了广泛的评估。首先，JTCSE在七个语义文本相似性任务中表现最好，我们提出的JTCSE及其衍生模型在当前的开放源检查点基线中，在自然语言处理的多种0样本评估中表现最佳。我们进行了详细的消融分析，以深入了解所提出模型的优势，并将本工作的全部代码和检查点开源。为了促进相关领域的研究进展，我们也开源了本工作的代码并保存了检查点。本工作是在现有工作TNCSE（Tensor的范数约束用于句子嵌入的无监督对比学习，Zong等人，2025年）的基础上进行的扩展，该工作已被AAAI25接受进行口头汇报。与之前的工作相比，本工作的主要更新是在双编码器中添加了跨注意力结构，以增强BERT类模型对CLS标记的关注。这加强了CLS标记捕捉句子全局语义信息的能力，并优化了模型在下游任务中的CLS池化性能。我们报告了本工作相对于前驱工作的主要更新如下：

- 新动机：我们观察到，类似BERT的无监督句子嵌入模型通常会出现注意力集中现象，即较深的编码器层次会不成比例地关注序列末尾的标记（例如标点符号或[SEP]），而不是[CLS]标记。由于所有这些基线都依赖于CLS池化来表示句子层面，因此未得到充分关注的[CLS]隐藏状态可能聚集较少的语义信息，这促使我们通过跨编码器交互来提高CLS表示的质量。
- 新方法：直接优化注意力权重矩阵可能会破坏BERT类模型的预训练知识。相反，我们提出了一种替代方法：在保持原始注意力模式不变的情况下，通过跨编码器交互来丰富CLS隐藏状态。我们定义了CLS能量权重（ECLS）作为一个诊断指标，来量化CLS隐藏状态相对于其他标记的分配程度。基于不同编码器层次（无论是同一模型内还是不同模型之间）捕获互补语言特征的观察，我们在双编码器之间引入了跨注意力机制，以实现塔间特征融合。该机制使CLS标记能够从互补的编码器中聚合更丰富的语义信息，从而提高ECLS并改善下游任务的CLS池化质量。
- 新实验结果：与之前的工作TNCSE相比，本工作中重新训练的JTCSE在7个STS任务上的性能有所提升；为了更全面地评估JTCSE的泛化能力，我们对自然语言处理的下游任务进行了广泛的0-shot评估，结果显示JTCSE在140多个下游任务中的平均性能优于现有基线，达到了新的SOTA结果。
- 其他更新：我们通过将张量模数约束训练目标LTMC分解为两个子目标并讨论它们的各自作用，深入分析了该目标，并在附录中提供了其有界性、严格单调性和最优性的正式证明。我们进一步通过STS句子对的实证范数 gap分析验证了范数一致性效应。对于跨注意力设计，我们增加了组件-架构交互消融、CAEL层放置敏感性分析和沉没标记干预实验，以确立CAEL的必要性。我们还在所有编码器层中引入了定量注意力诊断指标（CLS关键质量、沉没标记关键质量、CLS查询熵）。为了保证评估的严谨性，我们在7个STS任务上报告了多种子显著性测试，并在140个MTEB任务上进行了任务级别的Wilcoxon符号秩检验。我们通过纳入三个多语言STS基准的英文子集来扩展评估范围，将原来的七个STS任务增加到十个。我们还在讨论部分增加了推理池化一致性和相似性度量比较。结果证实，JTCSE及其衍生模型始终获得了最佳的整体性能。

本文的其余部分组织如下：
- 相关工作部分回顾了代表性的无监督句子嵌入方法和跨注意力在多模态融合中的典型应用。
- 方法部分推导了张量模数约束训练目标LTMC，以解决InfoNCE中忽略的幅度对齐问题，介绍了双编码器架构中的跨注意力机制以提高CLS表示质量，并描述了整体模型架构和联合损失函数设计。
- 实验部分详细说明了训练设置、评估基准，并报告了在140多个任务上的性能，以及多种子显著性测试。
- 消融研究部分分析了对齐性和一致性、集成学习和训练/推理效率的影响、未标记SICKR数据的影响、跨注意力结构配置以及损失函数组件。
- 讨论部分探讨了LTMC在的各种池化策略中的通用性、张量模数约束训练目标的设计理由、跨注意力设计的详细动机以及推理池化的一致性。

**无监督句子嵌入方法**
InfoNCE（van den Oord等人，2018a）（噪声对比估计损失）是一种广泛用于自监督学习的损失函数，主要用于特征表示学习。该方法通常使用余弦相似性来比较正样本和负样本之间的相似性，并优化模型参数。在无监督句子嵌入训练中，许多研究将InfoNCE损失与预训练的语言模型结合使用（例如BERT Devlin等人，2019年；RoBERTa Liu等人，2019年）。

**方法**
在本部分中，我们首先介绍了用于语义表示张量约束的提出的训练目标，然后介绍了跨注意力结构设计，最后描述了所提出的JTCSE的整体结构和损失函数设计。

**设置**
在JTCSE中，我们使用了两个先前由Google Translate系统生成的RTT训练集和无监督SimCSE微调的双编码器。对于训练数据集，我们选择了1M维基语料库和一无监督的SICKR数据集。

**对齐性和一致性**
Wang和Isola（2020）提出了两个评估嵌入表示质量的关键指标：一致性和对齐性。一致性意味着一个小批量的嵌入表示应该在单位超球面上尽可能均匀分布。对齐性意味着作为彼此正样本的两个嵌入表示应该在单位超球面上尽可能相似地分布。这两个指标都应该尽可能小。

**LTMC的通用性**
在我们的实验设置中，模数对齐（LTMC）损失被应用于池化器输出。为了保留双塔模型的预训练信息，我们在评估过程中使用了最后一层隐藏状态（LHS）。尽管我们的消融实验表明LHS池化产生了更好的结果，但上述实验配置可能导致人们认为性能提升源于池化方法而不是LTMC本身。因此，本部分进行了……

**结论**
在这项工作中，我们引入了无监督句子嵌入表示框架JTCSE。在JTCSE中，我们首先提出了张量模数约束的训练目标，以改进无监督对比学习中正样本之间的对齐性。然后，我们引入了跨注意力机制来优化CLS池化的质量，以加强模型对CLS标记的关注。通过广泛的评估，结果表明JTCSE取得了具有竞争力或领先的性能。

**未引用的参考文献**
Zhou（2014年），Ponti等人（2020年），Rong（2014年），Wang和Xiong（2021年），Hu等人（2021年），Pang和Lee（2004年），Cer等人（2017b年），Xu等人（2023a年），Lin等人（2017年），Tan等人（2022年），Muennighoff等人（2023年），Pham等人（2021年），Hou等人（2019年），Pennington等人（2014年），Müller等人（2023年），van den Oord等人（2018b年），Lin等人（2014年），Xu等人（2022年），Su等人（2021年），Zhang等人（2020a年），Zhu和Yang（2023年），Lin等人（2022b年），Voorhees和Tice（2000年），Sharma等人（2023年）。

**AI助手的使用**
在本文中，AI助手仅用于文本润色。

**CRediT作者贡献声明**
Tianyu Zong：撰写——原始草稿、可视化、验证、软件、方法论、调查、形式分析、数据整理。
Bingkang Shi：形式分析。
Hongzhu Yi：方法论。
Yuanxiang Wang：撰写——审阅与编辑。
Zhenghao Zhang：撰写——审阅与编辑。
Jungang Xu：资源、资金获取。

**利益冲突声明**
Jungang Xu报告称文章发表费用由中国科学院提供。Jungang Xu与中国科学院存在关系，包括雇佣关系。Jungang Xu拥有待审批的专利。
如果还有其他作者，他们声明自己没有已知的可能会影响本文所述工作的财务利益或个人关系。

**Tianyu Zong|Bingkang Shi|Hongzhu Yi|Yuanxiang Wang|Zhenghao Zhang|Jungang Xu**