基于解析的自然语言软件需求实体提取方法

《PLOS One》：Parsing-based approach for entity extraction from natural language software requirements

　　

软件需求以自然语言编写，因此本质上具有歧义性。这种歧义会导致对需求的误解，并导致系统被错误地实现，无法满足用户的需求。因此，所有利益相关者理解需求至关重要。需求陈述围绕需求实体展开。识别需求实体对于理解需求至关重要，它们被用于识别共指实体、创建术语表、生成文档摘要、特征提取、需求分类以及领域理解。人工实体提取是一项劳动密集型任务。近年来，基于Transformer的模型在改进实体提取结果方面发挥了重要作用，但它们需要对领域特定任务进行大量的模型预训练。为克服这些挑战，所提出的自动化方法无需人工努力和用于预训练的大规模数据集，即可从软件需求中提取实体。本研究应用了两种广泛使用的解析技术——成分句法分析（constituency parsing）和依存句法分析（dependency parsing）——来提取基于名词短语的实体。此外，还开发了一种结合两种解析器提取结果的混合方法。数据集包含来自医疗保健领域的软件需求，并经过人工标注以建立评估的金标准。实验结果表明，混合方法在所评估的方法中实现了最佳的整体提取性能。成分句法分析器实现了最高的精确率，但其召回率相对较低。相比之下，混合方法在保持与成分句法分析器相当的精确率的同时，实现了最高的召回率和F1分数。这些结果表明，混合方法通过利用句子的句法结构而非依赖领域特定的模型训练，为自动从软件需求中提取实体提供了一种更有效的解决方案。

论文解读：基于解析技术的软件需求实体自动提取研究

一、研究背景与问题

软件需求以自然语言撰写，涵盖项目范围，是利益相关者与开发团队的重要指南。然而，自然语言固有的歧义性、不一致性和不完整性等特性，常导致需求被误解，进而使系统实现偏离用户真实需求。需求陈述围绕需求实体展开，这些实体通常以名词短语形式呈现，是理解需求概念的核心。实体提取的成果可广泛应用于信息提取、特征建模、项目规模估算（如功能点分析）、UML类图生成、术语表创建以及需求质量评估等多个下游任务。

然而，人工提取实体是一项劳动密集型且耗时的工作，且容易出现遗漏和重复提取。传统方法中，基于词性标注（POS tagging）的技术精确率和召回率相对较低；基于规则的方法依赖人工判断，难以适应领域特定任务。近年来，基于Transformer的深度学习模型虽在实体提取中表现优异，但需要大量领域特定语料进行预训练或微调，而构建此类语料需投入大量的人工标注工作，且标注过程可能存在不一致性。因此，亟需一种无需大规模领域数据训练、可跨领域迁移的自动化实体提取方法。

二、研究内容与结论

针对上述挑战，研究人员提出了一种基于句法结构的自动化需求实体提取方法。该方法整合了成分句法分析和依存句法分析两种解析技术，并在此基础上开发了混合方法。研究使用来自医疗保健领域的9个软件工程项目共875条功能需求语句作为数据集，通过人工标注建立金标准。实验结果表明，混合方法在整体提取性能上最优，实现了最高的召回率和F1分数，同时精确率与成分句法分析器相当；成分句法分析器精确率最高但召回率较低。该研究证明，基于语法结构的方法无需领域特定模型训练，即可有效实现需求实体的自动提取，且具有良好的跨领域迁移潜力。

三、关键技术方法

研究采用的主要技术方法包括：其一，基于自注意力编码器和CKY风格解码算法的图表式成分句法分析器（Berkeley Neural Parser，Benepar），该解析器集成于spaCy流水线中，通过生成成分句法树来提取名词短语；其二，基于转换的依存句法分析器（spaCy内置），通过构建依存树并利用名词块迭代器提取名词短语；其三，混合方法，即整合两种解析器的提取结果并进行精确匹配去重。此外，研究还引入了BERT-based神经分块模型作为基线对比，并开发了处理连字符、撇号等特殊字符的规范化模块，以及用于分解多词序列为子跨度并提取单个名词的附加模块。

四、研究结果

数据集与人工标注。 研究人员构建了包含875条医疗保健领域功能需求语句的语料库，涵盖医院管理系统、在线咨询、疫苗管理系统、捐赠系统和皮肤病检测系统等类别。两位标注者独立进行名词短语标注，Cohen's Kappa系数为0.86，表明标注者间具有高度一致性；分歧项由第三位语言学专家仲裁，最终形成包含5416个有效实体跨度的金标准数据集。

基线模型评估。 预训练BERT-based分块模型在医疗保健数据集上取得84.59%的精确率、88.55%的召回率和86.53%的F1分数。该模型能识别基础名词短语、复合名词、带前置修饰语的名词短语和单个名词，但无法系统识别带后置修饰语的名词短语，导致召回率受限。

NP方法基线对比。 文献中的NP方法在医疗保健数据集上的表现优于其在智能家居数据集上的结果，召回率显著提升，表明该方法能恢复几乎全部标注实体；但精确率相对较低，部分原因是人工标注可能未穷尽所有句法上有效的名词短语。

成分句法分析器提取。 成分句法分析器通过生成层次化句法树提取名词短语，识别出13种类别的语法模式。该解析器在提取大跨度名词短语方面表现优异，但无法直接处理所有格结构（如"doctor's profile"），需通过规范化步骤去除冗余输出。

依存句法分析器提取。 依存句法分析器基于词间依存关系构建依存树，识别出5种类别的语法模式。该解析器能有效提取基础名词短语和部分带修饰语的名词短语，并对所有格结构表现较好，但无法完整提取具有递归后置修饰语的名词短语。

混合方法提取。 混合方法整合了两种解析器的提取结果，通过精确匹配去重消除冗余。由于两种解析器基于不同的句法表示，其提取能力具有互补性，混合方法有效克服了单一方法的局限，在保持较高精确率的同时显著提升了召回率。

五、讨论与结论

讨论部分指出，成分句法分析器在识别大跨度名词短语方面更有效，但会遗漏嵌入在更大成分结构中的子跨度；依存句法分析器虽能较好处理所有格结构，但无法完整表示具有递归后置修饰语的名词短语跨度。两种解析器的互补性为混合方法提供了理论依据。研究还指出，人工标注的选择性可能导致解析器提取的有效名词短语被计为假阳性，从而降低精确率。

研究结论表明，所提出的基于解析的混合方法在需求实体提取任务上推进了现有技术水平。该方法无需领域特定模型训练和大规模标注数据，仅依赖预训练于通用语料库的解析器，即可有效提取软件需求实体。该方法具有良好的跨领域迁移潜力，为软件需求工程中的实体提取任务提供了一种高效、可解释且可追溯的解决方案。