基于骨架的语义文本相似度方法

《Natural Language Processing》：Skeleton-based approach for semantic textual similarity

　　

语义文本相似度（Semantic Textual Similarity，STS）旨在衡量句子之间的语义等价性；它在自然语言处理（Natural Language Processing，NLP）任务中扮演着重要角色。STS的核心是文本表示。本文研究了如何为STS中的文本表示获取句子骨架。与大多数现有句法模型不同，研究人员提出了一种基于骨架的强化学习方法，用于识别骨架并构建句子表示。采用并行网络来提取句子中不同维度的特征。在并行网络框架下，设计了两种句子表示模型：上下文约束LSTM（Context Constrained LSTM，CC-LSTM）和修饰骨架LSTM（Adorned Skeleton LSTM，AS-LSTM）。CC-LSTM通过约束词上下文来构建句子表示。AS-LSTM通过使用识别出的骨架及其修饰词来构建句子表示。该方法在不使用外部资源的情况下取得了良好结果。尤其是AS-LSTM，在SICK数据集上无需使用外部资源即超越了现有最优方法。

**研究背景与问题**
语义文本相似度（STS）是自然语言处理（NLP）中的关键任务，广泛应用于智能问答、机器翻译和自动摘要等场景。其核心在于句子表示，而现有方法主要分为基于词汇和基于语义两类。基于语义的方法中，文本表示依赖序列模型（如LSTM、BERT）或结构模型（如Tree-LSTM），但多数结构模型需要语法树标注，而此类资源有限且现有语法分析模型效果不理想。同时，传统强化学习方法虽能学习句子结构，但仅关注短语级结构，未能明确词语在句子中的功能。为解决上述问题，研究人员提出一种基于骨架的强化学习方法，通过自动发现句子骨架来改进句子表示，从而提升相似度计算精度。该研究发表在《Natural Language Processing》。

**关键技术方法概述**
研究人员采用强化学习策略网络（Policy Network, PNet）识别句子中的骨架词（subject, predicate, object）和修饰词（attributive, adverbial, complement等）。PNet基于LSTM编码的当前状态，在二元动作空间{骨架, 修饰}中采样，并通过包含词性标注权重（Rpos）、骨架相对长度奖励（Reward_L）和相似度计算损失的奖励函数引导学习。句子表示模型采用并行网络（Parallel Networks, PN），包含高维（900维）和低维（300维）隐藏层，分别捕捉长句和短句特征。在并行网络框架下，设计了两种模型：上下文约束LSTM（CC-LSTM）以骨架词为边界限制词上下文，构建上下文表示；修饰骨架LSTM（AS-LSTM）先通过修饰词构建每个骨架词的表示，再组合成句子表示。相似度计算模型基于KL散度损失，预测[1,5]范围内的分数。实验数据集源自SemEval竞赛：SICK（9927句对，训练/验证/测试=4500/500/4927）、STS Benchmark（8628句对，含MSRVID 1500句对）。

**研究结果**
**4.1 任务与数据集**
使用SICK、STS Benchmark和MSRVID数据集进行实验，评估指标包括皮尔逊相关系数、斯皮尔曼相关系数和均方误差（MSE）。

**4.2 SICK数据集结果**
AS-LSTM在SICK测试集上超越所有对比模型，包括未使用语法结构的MALSTM、SimCSE、BERT，以及使用语法结构的Tree-LSTM。尤其AS-LSTM（900维隐藏层）在单隐藏层下即取得优秀结果，并行网络（PN）进一步提升了长句对的性能。分析表明，300维隐藏层在短句（长度<6）上表现更好，900维隐藏层在长句（长度>13）上更优。

**4.3 STS Benchmark数据集结果**
在STS Benchmark上，CC-LSTM和AS-LSTM的结果优于仅用训练集的多数模型，但低于SimCSE-RoBERTa、SBERT等大规模预训练模型，原因在于STS数据集中句子类型多样且各类型数量过少。

**4.4 结果分析**
对比人工标注骨架与强化学习所得骨架，发现后者虽存在差异，但更适配STS任务。词性统计显示，名词（NN/NNS）、动词（VBG/VBZ/VBD/VBN）更易被识别为骨架，而基数词（CD）、限定词（DT）、介词（IN）、形容词（JJ）、副词（RB）概率较低。骨架识别准确率在特定词性（如JJ、VBG、VBD、CD、IN）上较高，但在名词和复数名词（NNS）上较低。

**4.5 消融研究**
奖励函数消融实验表明，单独使用损失函数作为奖励时，AS-LSTM的皮尔逊相关系数为X（原文未给出具体值，但需保留结论）；添加Reward_L后结果提升0.06，添加Rpos后提升0.22，且两者均减少达到最优的轮次。同时添加所有奖励时（AS-LSTM_A），结果再提升0.11，最优轮次减少3个。与BiLSTM相比，AS-LSTM不易过拟合，鲁棒性更强。

**讨论与结论**
讨论部分指出研究存在三方面局限：（1）当前句子骨架结构信息较少，未来可探索自动生成更复杂语法；（2）动作空间仅含二元选项，未来可设计多动作空间；（3）AS-LSTM对含否定词的句子处理不佳，未来可尝试将否定词识别为骨架。
结论部分翻译如下：本文提出了一种基于骨架的强化学习方法，通过发现句子骨架来学习句子表示。在并行网络框架下，设计了两种表示模型：CC-LSTM通过约束词上下文构建句子表示，以骨架词为上下文边界；AS-LSTM先将句子中的词分类为骨架词或修饰词，再构建骨架表示，最后通过骨架表示组合成句子向量。大量实验表明，该方法不仅能够发现句子的骨架信息，还利用该信息提升了相似度计算的精度，在不依赖外部资源的情况下取得了优异性能。