基于置信度感知的半监督连体图网络，用于低资源乌尔都语文本的语义相似度计算

《Scientific Reports》：Confidence-aware semi-supervised siamese graph networks for semantic text similarity in low-resource Urdu

　　

摘要

准确识别语义相似的文本是抄袭检测和内容推荐等应用的基础，但在乌尔都语这类资源匮乏的语言中，由于标记数据有限且注释质量较差，这一任务仍面临挑战。我们提出了孪生图基于半监督学习（SGSSL）框架，该框架通过回译和掩码词预测增加训练数据的多样性，并利用基于置信度的伪标记方法以及一致性正则化技术从无标记数据中学习。SGSSL的核心是一个孪生图神经网络，它结合了图卷积网络和图注意力网络，以捕捉句子之间的细微关系特征。一个瓶颈特征优化层以及具有多头自注意力的Transformer编码器则有助于减少GNN的过度平滑现象，同时实现长距离依赖关系的建模。此外，我们还利用乌尔都语RoBERTa嵌入模型来提升上下文语义理解能力。我们所设计的混合式置信度过滤方法结合了概率置信度、语义相似度以及模型不确定性，从而筛选出高质量的伪标记。在六个用于文本重用和意译检测的基准数据集上进行的测试显示，SGSSL的表现始终优于各种强基线模型。在USTRC数据集上，SGSSL的准确率为0.722，比最佳基线模型高出8.1%，充分证明了其在资源匮乏环境中的有效性。