基于注意力增强对比学习（AECL）的短文本聚类判别性表征学习：解决假阴性分离问题的新策略

本文提出了一种创新的短文本聚类框架AECL（Attention-Enhanced Contrastive Learning），通过样本级注意力机制挖掘样本间语义相似性，生成具有判别性的一致性表征。该模型采用相似性引导的对比学习策略，有效解决了传统对比学习中存在的假阴性分离（false negative separation）问题，并通过伪标签辅助模块提升聚类性能。实验表明AECL在八个基准数据集上优于现有最先进方法。

　　

Highlight

我们提出了一种端到端的短文本聚类框架，该框架整合了样本级注意力网络以学习样本间的语义相似性并生成一致性表征。这些一致性表征展现出显著的判别能力，从而促进聚类任务。

Method

本节展示所提出的AECL的详细结构和工作流程。3.1节总体描述AECL的整体结构，3.2和3.3节分别描述AECL中的两个关键子模块，3.4节提供AECL的训练流程。

Experiments

本节通过大量实验验证所提出模型的性能。我们还进行了消融研究以评估模型中每个组件的重要性。

Conclusion

我们提出了一种新颖的短文本聚类框架，该框架构建了样本级注意力机制来学习样本间的语义相似性。通过利用相似性优化对比学习中正样本的构建，解决了假阴性分离问题。实验结果表明我们的方法能够产生高度判别性的表征，并在短文本聚类中展现出卓越性能。

CRediT authorship contribution statement

Zhihao Yao: 撰写-审阅和编辑、可视化、验证、监督、项目管理、方法论、调研、形式分析、数据整理、概念化。Bo Li: 撰写-审阅和编辑、监督、软件、资源、方法论、调研、资金获取、形式分析、数据整理、概念化。Yufei Liao: 方法论。

Declaration of competing interest

作者声明不存在任何可能影响本研究报告的已知竞争性经济利益或个人关系。