SNOWTEC：基于Transformer的信息提取技术实现的合成自然语言过采样，用于自动化合规性检查

《Machine Learning with Applications》：SNOWTEC: Synthetic Natural Language Oversampling with transformer-based information extraction for automated compliance checking

　　汉西·赫蒂亚拉奇（Hansi Hettiarachchi）| 穆罕默德·梅德哈特·加贝尔（Mohamed Medhat Gaber）| 波扬·帕萨法德（Pouyan Parsafard）| 埃德利拉·瓦卡吉（Edlira Vakaj）
兰卡斯特大学计算与通信学院，兰卡斯特，LA1 4WA，英国

**摘要**
在建筑、工程和施工（AEC）领域，优化自动化合规性检查（Automated Compliance Checking，ACC）需要将建筑规范转化为机器可处理的格式。由于这些规范主要以文本形式存在，信息提取（Information Extraction，IE）对于解码这些数据变得至关重要，因此发展出了多种信息提取技术，包括手动方法、基于规则的方法以及机器学习方法。最近的研究表明，采用深度学习技术具有潜力；然而据我们所知，在AEC领域，Transformer/语言模型的潜力尚未得到充分挖掘或探索，尽管它们在各种基于文本的任务中表现出先进的性能。为了解决这一差距，我们提出了一种基于合成自然语言过采样与Transformer信息提取（Synthetic Natural language Oversampling With Transformer-based information ExtrCtion，SNOWTEC）的方法，该方法旨在从法规文本中提取实体和关系，并将其转换为机器可处理的知识图谱。我们利用了基于Transformer的架构，并引入了一种创新的数据过采样/增强方法来应对数据稀缺问题，因为数据稀缺会阻碍模型性能的提升。我们在多个子领域的实验强调了Transformer在识别关系方面的优势，同时也揭示了在AEC领域识别实体时面临的挑战，为未来的研究提供了启示。数据过采样在提高关系提取效果方面发挥了关键作用，平均F1分数提升了26%。

**1. 引言**
在建筑、工程和施工（AEC）行业中，合规性检查对于确保建筑设计的安全性、稳定性、可靠性和可用性至关重要。然而，手动检查方法劳动强度高、耗时且容易出错（Fuchs & Amor, 2021）。因此，过去50年来，人们广泛研究了自动化合规性检查（ACC）以提高合规性检查的准确性和效率（Zhang et al., 2023）。ACC主要关注将法规或建筑规范转化为计算机可处理/机器可读的格式，从而通过智能设计来促进检查（Zheng et al., 2024）。目前，建筑规范是以文本文档的形式编写的，供人类阅读。由于自然语言的非结构化特性和固有的复杂性（这些特性源于以人类为中心的设计），计算机难以自动处理自然语言（Manning et al., 2008）。在法规文本中，这些挑战因结构复杂、含义模糊以及领域特定性而变得更加严重。因此，在实现ACC的过程中，从文本中提取信息成为一个关键且复杂的阶段（Costa et al., 2024, Zhou et al., 2022）。

信息提取（IE）是自然语言处理（NLP）的一个子领域，其目标是检索自由文本中描述的事实信息（Piskorski & Yangarber, 2013）。文本中存在两种主要类型的信息：（1）实体（也称为命名实体）和（2）关系，这两种信息对于理解自然语言表达的思想至关重要（Jurafsky & Martin, 2009）。实体是一个可以分类的概念或具体信息，或者简单来说，任何可以通过专有名词识别的内容（Jurafsky & Martin, 2009）。例如，在句子“The gradient should not exceed five per cent.”中，“gradient”和“five per cent”就是实体。关系是文本中实体之间的语义关联/联系（Jurafsky & Martin, 2009）。上述句子展示了“gradient”和“five per cent”之间的“小于等于”关系。总体而言，这些实体及其关系共同传达了自然语言中的规则。

以往的研究提出了多种从文本中提取信息的方法，旨在提高ACC的有效性。早期工作中，由于文本的复杂性和领域特定要求，通常使用手动方法进行信息提取（Beach et al., 2015, Hjelseth and Nisbet, 2011）。然而，手动方法的劳动强度高且难以高效支持ACC，这促使人们转向利用NLP和机器学习（ML）技术自动化信息提取。这一转变主要引入了基于规则的信息提取方法（Zhang and El-Gohary, 2016, Zhang and El-Gohary, 2017, Zhou and El-Gohary, 2017）。尽管基于规则的方法表现良好，但它们本质上缺乏适应性和灵活性，严重依赖于领域特定特征（Zhang & El-Gohary, 2021）。这些方法的准确性高度依赖于手工制定的规则，需要深厚的领域专业知识。这些局限性促使人们将监管信息提取方法转向ML技术，利用预测模型来捕获文本信息，而不是依赖繁琐的手工规则。
根据最近的ML研究，采用深度学习技术已成为监管信息提取的一个有前景的方向。双向长短期记忆（Bidirectional Long Short-Term Memory，Bi-LSTM）和卷积神经网络（Convolutional Neural Network，CNN）架构因其在学习长期依赖关系和上下文特征方面的能力而常被用于从法规文本中提取实体和关系（Wang and El-Gohary, 2021, Wang and El-Gohary, 2023）。然而，在AEC领域提出的信息提取方法存在明显不足，尤其是在NLP领域取得最新进展的背景下。在NLP中，基于Transformer的架构获得了显著认可，在包括信息提取在内的各种任务中展现出先进的性能（Plum et al., 2022, Shen, Tan et al., 2023, Shen et al., 2022, Yang, Choi et al., 2023）。总体而言，Transformer模型（也称为语言模型）在文本处理方面取得了重大进展，它们能够捕捉文本的上下文细节，并将预训练的知识传递给下游任务（Devlin et al., 2019, Vaswani et al., 2017）。然而，将这些模型端到端应用于AEC领域的监管信息提取，特别是同时针对实体和关系提取，仍然是一个尚未充分探索的领域。

我们的研究通过将AEC领域的监管信息提取视为一个基于Transformer的端到端提取问题来解决这一差距，该问题能够在资源有限的条件下同时支持实体和关系建模。除了采用Transformer架构外，我们的贡献还包括在具有复杂句子结构、领域特定术语和有限标注数据的领域内系统地调整、评估这些模型。为了缓解数据稀缺这一关键瓶颈，数据增强已成为NLP领域中流行的解决方案，包括通过生成现有样本的合成数据来过采样训练数据（Feng et al., 2021）。然而，在AEC领域，专注于文本数据的数据增强应用尚不明显。为了解决这一限制，我们提出了一种针对监管文本关系提取的新型领域感知数据增强策略。与通用增强方法不同，我们的方法利用了监管句子的结构特性来生成一致的合成训练样本，从而提高了模型的鲁棒性。此外，我们引入了一个全面的信息提取流程，将监管句子转换为实体和关系的结构化知识图谱（Knowledge Graphs，KGs），以支持自动化合规性检查（ACC）。虽然现有的ACC方法通常直接将监管文本转换为可执行的规则语言（如SPARQL，Fuchs et al., 2022, Zheng, Zhou et al., 2022），但我们的工作提出了一种中间表示方式，这种表示方式既可被机器处理也可被人类解读。这种中间KG层有两个重要用途：（1）它支持与下游合规引擎的模块化集成；（2）它便于人在高风险的监管环境中进行验证。通过重视可解释性、可扩展性和领域适应性，我们的方法不仅应用了标准架构，还为AEC领域的可信监管信息提取提供了一个结构化的框架。

通过实验研究，我们比较了几种最近的Transformer模型的性能，包括双向编码器表示（Bidirectional Encoder Representations from Transformers，BERT）（Devlin et al., 2019）、鲁棒优化的BERT方法（Robustly optimised BERT，RoBERTa）（Liu et al., 2019）和简化BERT（Lite BERT，ALBERT）（Lan et al., 2020），并采用了多种学习技术进行信息提取。我们还使用了来自多领域的数据（如无障碍性、消防安全、结构完整性、能效等），以强调所提出方法的一般适用性。

**总结**
本文的主要贡献如下：
1. 我们提出了一种名为合成自然语言过采样与Transformer信息提取（SNOWTEC）的新信息提取流程，利用最先进的Transformer/语言模型以领域无关的方式自动从监管文本中提取信息。
2. 我们引入了一种新的数据过采样/增强方法，旨在解决数据稀缺问题，这个问题会限制语言模型的预测能力。
3. 我们将从监管文本中提取信息的过程重新定义为知识图谱生成任务，为有效的ACC提供了新的方向。
4. 我们将实现成果作为开放源代码项目发布，以支持未来的研究和应用。

本文的其余部分安排如下：第2节讨论了以往的工作，主要涵盖了从建筑监管文本中提取信息以及自然语言处理的最新趋势。第3节介绍了所提出的SNOWTEC方法，这是一种基于合成自然语言过采样的Transformer信息提取流程。第4节描述了实验设置，包括数据、Transformer模型、超参数和评估指标。接下来，第5节全面报告了实验结果、误差分析以及端到端的SNOWTEC演示。最后，第6节对本文进行了总结，并讨论了可能的未来方向。

**2. 相关工作**
2.1. 从建筑监管文本中提取信息
在AEC领域，监管信息主要通过自然语言传达。因此，为了实现ACC，从文本中提取信息或将文本内容转换为机器可读格式变得至关重要。为此目的 early 引入的方法之一是要求、适用性、选择和例外（Requirement, Applicability, Selection, and Exception，RASE）方法（Hjelseth & Nisbet, 2011）。RASE基于语义将规范文档转换为使用布尔逻辑的结构化规则。它需要手动将文档中的文本短语或独立文本块标记为不同的类别，并依赖文本信息和领域专业知识手动提取元数据以生成规则（Beach et al., 2015）。然而，鉴于手动方法的人力需求，最近的研究将重点转向利用NLP技术自动提取信息，以有效简化ACC流程（Ding et al., 2022）。

文本中的两种基本信息类型是实体和关系，它们对于理解自然语言表达的思想至关重要（Jurafsky & Martin, 2009）。因此，以往的研究展示了自动信息提取的两个子领域：实体提取和关系提取（Zhang and El-Gohary, 2017, Zhou et al., 2022）。早期的研究主要集中在基于规则的方法上，这些方法往往表现出较高的性能（Zhang & El-Gohary, 2016）。然而，制定规则需要大量的人工工作。因此，最近的研究倾向于使用基于机器学习的方法，特别是监督学习方法（下面将详细介绍）。

2.1.1. 实体提取
在AEC领域，基于规则的方法被广泛用于从监管文本中提取实体。具体来说，通常使用依赖于模式匹配的规则来识别文本实体（Zhang and El-Gohary, 2016, Zhang and El-Gohary, 2017）。这些规则主要使用词性（PoS）标签、短语标签（由短语结构语法规则生成）和字典标签等句法特征，以及使用领域特定本体捕获的语义特征。Zhou和El-Gohary（2017）进一步改进了这些规则，考虑了监管文本中的复杂结构，提出了基于依赖关系的和级联模式。Xue和Zhang（2022）也提出了一种类似的模式匹配方法来提取实体，但他们仅使用PoS标签作为句法特征。所有这些方法都是在选定的领域（如节能或国际建筑规范（IBC）的特定章节）上进行的实验，强调了基于规则的方法的领域依赖性和有限的扩展性。由于几乎所有基于规则的提取方法都依赖PoS标签，Xue和Zhang（2020）引入了基于错误的转换规则来改进现有的PoS标注器。后来，他们还使用深度学习技术改进了适用于建筑规范的PoS标注器（Xue & Zhang, 2021）。然而，编写规则需要大量的人工工作，既耗时又容易出错。此外，基于规则的方法在不同领域的泛化能力较弱，因为大多数规则都是领域特定的。

鉴于基于规则的实体提取方法的局限性，最近的研究更多地关注基于监督学习的方法，以减少人工干预。采用深度学习技术已成为从监管文本中提取实体的一个有前景的方向。这一趋势也与各种机器学习应用的发展趋势一致，其中深度学习方法始终优于传统方法。在可用的不同神经网络架构中，双向长短期记忆（Bi-LSTM）模型在AEC领域被广泛用于实体提取。LSTM利用其记忆单元更善于学习长期依赖关系，其双向架构能够捕获序列的过去和未来状态，这对实体识别非常重要（Hassan & Mahmood, 2018）。例如，Moon等人（2021年）提出了一种利用Word2Vec嵌入和Bi-LSTM架构的模型，用于识别道路建设项目规范中的实体。Zhang和El-Gohary（2021年）通过添加条件随机场（CRF）层改进了这一架构。同样，另一项研究提出了一种结合Bi-LSTM和卷积神经网络（CNN）的混合模型，用于识别防坠落保护相关实体（Wang & El-Gohary, 2021）。与这一常见趋势不同，基于transformer的架构（如双向编码器表示Transformer（BERT）（Devlin等人，2019年）也被开发出来用于提取实体，这得益于自然语言处理（NLP）的最新进展（Sch?nfelder和K?nig，2021年；Zheng, Lu等人，2022年；Zhou等人，2022年）。

2.1.2. 关系提取
大多数现有的从法规文本中提取语义关系的方法主要依赖于基于规则的方法。类似于早期的实体提取趋势，语义规则也被广泛用来识别建筑规范中的关系（Zhang和El-Gohary，2016年；Zhang和El-Gohary，2017年；Zhou和El-Gohary，2017年）。这些规则基于各种NLP技术提取的句法（如词性标注、地名词典标签等）和语义（如建筑本体概念及其相互连接）特征。然而，由于规则的高度领域依赖性，这些方法主要局限于捕捉特定领域（如节能）或IBC（国际建筑规范）中选定的关系。另一种流行的方法是语法分析，用于分析带有实体的句子结构，以提取潜在的关系（Zheng，Zhou等人，2022年；Zhou等人，2022年）。这种方法还需要定制的无监督语法（CFG），这严重依赖于领域特定的特征或文本模式，从而限制了其扩展性。先前报告中关于封闭领域（如防火保护）的实验进一步强调了这一点。
考虑到基于规则的方法因领域特定约束和复杂性而需要大量的人工劳动，人们倾向于采用基于监督学习的方法从法规文本中提取关系，这与实体提取的趋势一致。然而，文献中发现的有限应用表明，这一趋势在AEC（建筑、工程和建筑）领域仍处于早期阶段。Wang和El-Gohary（2023年）提出了两种深度神经网络架构：基于注意力的CNN和考虑实体的注意力Bi-LSTM，用于识别实体之间的关系。他们使用Word2Vec和GloVe嵌入对文本进行编码，研究结果表明基于CNN的模型表现最好，这突显了上下文特征在识别关系中的重要性。此外，他们还尝试了多种关系类型，如部分-整体关系、位置关系和不存在关系，这与基于规则的方法不同，表明所提出方法的扩展性。然而，这些实验仅限于防坠落保护要求。

2.2. 自然语言处理的最新趋势
在NLP领域，从基于规则的方法向监督学习的方法转变是显而易见的。利用先进的嵌入技术改进文本编码，从而能够自动捕获语言学的底层信息，这是这一转变的主要驱动力之一。Word2Vec（Mikolov等人，2013年）是最早的基于预测的嵌入建模技术之一，受到了NLP社区的广泛关注。最近引入的Transformer模型（也称为语言模型）能够捕捉单词含义的上下文影响，克服了传统词嵌入（如Word2Vec）的一些主要局限性。Transformer是深度神经网络，它利用注意力机制来捕捉文本的上下文细节和长距离依赖关系（Vaswani等人，2017年）。在Transformer之后，提出了不同的模型变体，如BERT（Devlin等人，2019年）、鲁棒优化BERT方法（RoBERTa）（Liu等人，2019年）和跨语言语言模型-RoBERTa（XLM-R）（Conneau等人，2020年），它们能够生成上下文文本表示，并通过迁移预训练知识来微调下游任务。这些能力使基于Transformer的架构在许多复杂的NLP任务中取得了最先进的结果，如机器翻译（Ranasinghe等人，2020年）、冒犯性语言检测（Zampieri等人，2023年）和问答（Nassiri & Akhloufi，2023年）。
在NLP领域，实体和关系提取任务也表现出使用基于Transformer的模型的相同趋势，因为它们具有更好的性能。例如，基于BERT的架构被广泛用于识别新闻文本中的常见实体，如地点、组织和人物（Shen等人，2023年；Shen等人，2022年）。Shen和Tan等人（2023年）提出了一种基于RoBERTa的架构来提取这些常见实体。BioBERT和PubMedBERT基架构也被开发出来用于生物医学文本中的实体识别（Luo等人，2022年；Shen等人，2022年）。此外，最近的一项研究探索了不同Transformer模型（如BERT、XLM-R等）在识别事件描述文本中的实体方面的性能，鉴于它们的先进性能（Hettiarachchi等人，2023年）。在关系提取方面，Plum等人（2022年）提出了一种基于BERT的架构来识别文本中的传记关系。最近，SpanBERT（BERT的修改版本）也被用于提取新闻和网络文本中常见的关系（Joshi等人，2020年）。Luo等人（2022年）提出使用BioBERT和PubMedBERT模型来识别生物医学文本中的关系。这一趋势还扩展到了利用多语言BERT模型来识别历史关系，并取得了最先进的性能（Yang等人，2023年）。

2.3. 总结
如2.1节所述，以往的文献揭示了在AEC领域利用各种NLP技术从法规文本中提取信息的情况。然而，鉴于NLP领域的最新进展，这些方法仍存在不足之处。尽管最近在建筑规范中使用了基于Transformer的架构进行实体识别，但现有的实验主要依赖于BERT模型，限制了探索范围（Zheng，Lu等人，2022年；Zhou等人，2022年）。据我们所知，尽管Transformer基方法在NLP领域表现出最先进的性能，但它们尚未应用于AEC领域的法规关系提取。我们的主要目标是通过整合基于Transformer的架构来解决这些不足，以实现从建筑领域法规文本中提取实体和关系的功能。此外，我们旨在评估使用不同学习技术的各种Transformer模型的性能，超越BERT模型的应用范围。
需要大量标注的数据来训练大规模神经网络，这是阻碍NLP最新进展在AEC领域应用的主要原因之一。尽管预训练的Transformer模型提供了初步的语言知识，但它们也需要大量数据才能成功微调以完成下游任务。为此，数据增强最近成为NLP领域的一种流行技术，以解决数据稀缺问题（Feng等人，2021年）。常见的文本增强技术包括回译、同义词替换和改写（Feng等人，2021年；Obadinma等人，2023年；Shanbhogue等人，2023年）。然而，这些方法主要适用于一般的NLP任务，因为它们可能会改变对于从法规文本中提取信息等任务至关重要的领域特定关键词。在AEC领域，有一些研究使用了图像数据增强（Yang，del Rey Castillo等人，2023年；Zhai等人，2022年）；然而，没有找到使用文本数据增强的方法。在这项工作中，我们提出了一种针对领域特定文本数据（如法规文本）的新型数据增强方法，并研究其对Transformer模型性能的影响，这符合我们填补这些差距的主要目标。此外，我们的重点还包括开发一个集成监督学习模型的信息提取流程，用于实体和关系提取，这在之前的研究中是缺失的。这种方法旨在简化信息提取过程，同时减少人工努力和领域特定要求，从而提高扩展性。与大多数专注于特定章节或领域的现有实验研究不同，我们的目标是分析所提出方法在AEC领域多个子领域中的性能。这样的评估对于确定方法的普遍适用性至关重要。

3. SNOWTEC
合成自然语言过采样与基于Transformer的信息提取（SNOWTEC）中介绍的信息提取流程包括四个核心组件：（1）实体分类器，（2）实体配对器，（3）关系分类器和（4）图构建器。如图1所示，该架构遵循顺序处理方案，每个模块的输出作为后续阶段的输入，从而实现从非结构化文本到机器可处理的知识图的结构转换。
流程从实体分类器开始，这是一个基于Transformer的模型，用于识别和分类原始句子中的实体。其预测定义了生成图的节点。然后实体配对器从检测到的实体中构建所有候选实体对，将实体分类器的输出转化为关系分类器所需的结构化输入。接下来，基于先进Transformer架构的关系分类器确定每对候选实体之间的语义关系。这一阶段有效地过滤和标记实体交互，区分有意义的关系和无关关系。最后，图构建器将有效的实体-关系预测整合到结构化的图表示中，其中实体对应于节点，预测的关系对应于边。这些模块共同构成了一个全面的IE流程，在该流程中，分类组件（实体和关系分类器）执行语义提取，而转换或连接组件（实体配对器和图构建器）确保架构一致性和数据流兼容性。分类组件的详细信息分别在3.2节（实体分类器）和3.3节（关系分类器）中介绍，3.1节首先介绍了通用Transformer架构。完整的工作流程如图1所示，包括输入示例、中间表示和最终图输出，以明确模块之间的交互。此外，算法1提供了整个过程的算法概述，3.4节讨论了其计算复杂性。
总的来说，当提供法规句子作为输入时，SNOWTEC生成一个机器可读的输出（即实体-关系图），该图封装了自然语言中表达的信息。这个图可以很容易地处理，以实现合规性检查。此外，SNOWTEC依赖于监督机器学习模型，与依赖领域特定规则的方法相比，所需的人力资源更少。除了以领域无关的方式自动化关系提取外，我们还提出了一种新的数据增强方法来合成数据以有效地训练语言模型（第3.3.1节）。据我们所知，这是第一次将法规句子转换为知识图以促进合规性检查。

下载：下载高分辨率图像（231KB）
下载：下载全尺寸图像
下载：下载高分辨率图像（328KB）
下载：下载全尺寸图像
图1. 所提出方法概述 – SNOWTEC

3.1. 用于文本编码的Transformer架构
SNOWTEC使用基于Transformer的架构来进行实体和关系提取，专注于它们在许多NLP应用中的有效性（Devlin等人，2019年；Hettiarachchi等人，2021年；Ranasinghe等人，2020年）。尽管Transformer在AEC领域中不广泛用于合规性检查，但它们在NLP领域构成了最先进的实体和关系提取方法（Ma等人，2023年；Shen，Tan等人，2023年）。大多数Transformer模型，如双向编码器表示Transformer（BERT）（Devlin等人，2019年）和鲁棒优化BERT方法（RoBERTa）（Liu等人，2019年），比基于循环神经网络（RNN）架构的模型提供了更强的结果，同时提供了在大型文本语料库上预训练的语言模型，有助于下游任务的成功微调。此外，Transformer由多层双向编码器组成，这些编码器使用自注意力机制（Vaswani等人，2017年）来生成捕捉语言学和上下文的语言表示。Transformer编码器处理文本序列（例如句子），并输出对应于整个序列及其标记的表示/嵌入，可用于下游任务的学习，同时保留原始文本的语言特征。图2展示了Transformer编码器架构的总体概述。
Transformer输入格式：
Transformer编码器接受文本序列或文本序列对作为输入，使其能够处理多种下游任务。它使用特殊标记，包括[CLS]和[SEP]，来组织输入文本。[CLS]是序列的开始标记。[SEP]是在输入包含两个序列时放置在它们之间的分隔符。在这种原始文本格式化之后，分词器将序列转换为标记嵌入。除了标记嵌入外，还需要段嵌入和位置嵌入来格式化输入。这三个嵌入的总和构成了Transformer的输入。该片段嵌入包含布尔值（即0和1），用于表示序列/片段的分隔。位置嵌入包含从0开始的序列号，这些编号指定了每个标记在序列中的位置。下载：下载高分辨率图片（290KB）下载：下载全尺寸图片图2. 变换器编码器架构的概念概述。为了清晰起见，内部层被抽象表示；每层对应一个标准的变换器编码器，该编码器由多头自注意力和带有残差连接的前馈子层组成（Vaswani等人，2017年）。变换器输出格式：变换器编码器为输入序列中的每个标记生成表示/嵌入。初始标记([CLS])的输出是一个表示整个输入序列的嵌入。它可以用于基于序列的预测/分类或作为上下文序列嵌入。同样，其他输出是对应于每个输入标记的标记嵌入，这些嵌入可以用于基于标记的预测/分类。需要通过在输出层之上添加一个额外的层（如适合目标任务的分类头）来修改变换器架构，以对模型进行微调，以便用于下游任务。3.1.1. 学习方法变换器根据其设计经历两个训练步骤：（1）预训练/语言建模和（2）微调。预训练/语言建模：在预训练阶段，通过在未标记的文本数据或自由文本上训练变换器架构来构建语言模型。因此，预训练也被称为语言建模。有两种常用的预训练方法：（1）掩码语言建模（MLM）和（2）下一句预测（NSP）（Devlin等人，2019年）。MLM方法随机掩码输入标记的一部分（例如15%），然后训练模型预测被掩码的标记。这项任务通过训练模型在多层上下文中预测被掩码的标记来帮助学习双向表示，同时关注两个方向。NSP是一个二元预测任务，专注于识别句子对是否在单语言语料库中连续出现。这项任务主要帮助模型理解句子之间的关系/联系。在这两种技术中，MLM被各种变换器架构广泛使用，如RoBERTa（Liu等人，2019年）和ALBERT（Lan等人，2020年），因为它被证明是有效的。因此，在本研究中我们也使用了MLM进行语言建模。微调：微调通常针对下游任务进行。为了训练用于下游任务的变换器，需要根据目标任务在变换器的输出层之上添加适当的层（如分类头）。在此过程中，模型使用其预训练参数进行初始化，然后利用特定于任务的有标签数据进行微调。使用预训练参数进行初始化可以以模型的原始知识开始学习过程，并有助于有效学习下游任务。微调可以应用于所有模型参数（即变换器及其附加层的参数），或者仅应用于附加层。根据之前的研究，对变换器及其新添加的层进行微调可以获得最佳的 downstream 任务结果，因为这种方法调整了整个架构中的权重，包括关注特定任务或领域特定数据的通用语言模型，而不仅仅是微调特定于任务的层（Merchant等人，2020年）。因此，我们的方法也遵循了整个微调过程。关于我们对变换器架构所做的修改以支持实体和关系分类的更多细节将在以下部分中描述。3.2. 实体分类器我们将实体分类视为一个序列标注问题，因为所有输入标记都可以与实体标签关联。我们使用BIO（开始、内部、外部）格式，这是信息提取任务的标准（Ramshaw & Marcus, 1995），来安排与模型一起使用的实体标签。由于一个实体可以跨越多个单词/标记，B标记开始单词，I标记属于该实体的其他单词。所有不表示任何实体的单词将标记为O。按照这种格式，我们为文本序列中的每个单词提供标签，将实体识别任务转换为序列标注问题。图3显示了一个带有BIO标记的句子及其实体。我们修改了图2中显示的一般变换器架构，在每个输出标记后添加了softmax层，如图4所示，这遵循了与变换器一起使用的常见序列标注架构，并取得了显著的结果（Devlin等人，2019年；Hettiarachchi等人，2023年）。由于模型需要预测每个实例中的单个句子中的实体，我们仅使用[CLS]标记进行输入格式化，而不包括[SEP]标记。softmax层包含k个神经元，数量等于分类器所针对的类别/数量（即实体类型）。每个神经元采用公式（1）中的softmax激活函数，返回每个类别i的概率Pi。输入和输出向量分别由zi和zj表示。一旦计算出所有概率，具有最高概率的类别就被识别为最终预测。(1)Pi=ezi∑j=1kezj下载：下载高分辨率图片（79KB）下载：下载全尺寸图片图3. 以BIO格式标记的实体。该样本来自CODE-ACCORD数据集，更多细节将在第4.1节中描述。下载：下载高分辨率图片（291KB）下载：下载全尺寸图片图4. 实体分类架构。3.3. 关系分类器对于关系提取，我们采用了图5中所示的基于变换器的架构，这是NLP领域最近的研究提出的（Baldini Soares等人，2019年；Plum等人，2022年）。由于目的是识别实体对之间的语义连接，我们引入了四个额外的特殊标记：、、和来格式化模型的输入。和表示选定的实体对中第一个实体在文本序列中的开始和结束。类似地，和表示第二个实体的开始和结束。在变换器的特殊标记中，我们仅在关系分类器中使用[CLS]标记，因为它需要处理每个实例中的单个句子，类似于实体分类器。从输出层中，我们取出与和相对应的嵌入作为给定实体的语言表示。然后，它们的连接被视为最终输出表示，并输入softmax层以预测相关关系。如第3.2节所述，softmax层根据公式（1）计算每个类别的概率（即关系类型）。我们选择具有最高预测概率的关系类型作为最终预测。此外，我们在第3.3.1节提出了一种新的数据增强方法，用于关系数据，其中涉及实体数据。深度神经网络通常在大型数据集上训练时性能得到提升，使它们能够更有效地学习。下载：下载高分辨率图片（323KB）下载：下载全尺寸图片图5. 关系分类架构。3.3.1. 数据增强数据增强是从可用数据集中构建合成数据的过程。在数据有限或不平衡的情况下，这种过程非常有用，可以降低模型训练过拟合的风险（Feng等人，2021年）。尽管数据增强已在图像数据中得到广泛应用，但在NLP中的使用仍处于早期阶段（Shorten等人，2021年）。在增强文本数据时，一个主要挑战是在合成数据中保留原始数据的复杂语言结构。回译和随机同义词替换是NLP中常用的两种数据增强技术，因为它们可以在不丢失底层语言信息的情况下生成数据（Jin等人，2020年；Longpre等人，2020年）。回译将一种语言的文本翻译成另一种语言，然后再翻译回原始语言。然而，当原始数据包含标记级别标签时，这种方法不能自动使用，因为回译后的样本可能具有与原始标签不对应的不同数量的标记。另一种方法是用相应的同义词替换原始文本中的一个或多个单词。尽管这种方法通常适用于标记数据，但它不适用于本研究的目标监管数据。监管数据中的大多数实体是多词实例（例如“防火门”、“横截面积”等），用同义词替换某些单词可能会导致出现领域未知的文本短语或不再构成实体。在仔细分析了现有数据增强技术的局限性后，我们提出了一种利用领域特定实体合成生成关系注释数据的新方法。每个关系注释的实例包括在句子或文本上下文中标记的实体对及其对应的实体类别和关联关系，如表1（列Original Sample、e1、e2和Relation）所示。在这种情况下，我们可以通过用同一类别的其他实体替换一个或两个实体来创建更多样本。表1包含每个原始样本的三个增强样本，以进一步说明这一想法。在某些情况下，生成的样本可能包含错误信息。例如，表1中的第一个合成样本表示面积（即横截面积）应等于体积测量值（即1立方米）。然而，它准确地展示了给定上下文中两个此类实体之间的文本模式和语义关系，从而允许模型在给定文本上下文中学习实体之间的关联。这一事实也得到了第5节报道的结果的支持。此外，尽管我们使用第4.1节中描述的CODE-ACCORD数据集的样本来描述所提出的方法，但它适用于任何实体-关系数据集，因为没有任何数据特定的约束。表1. 原始句子样本及其对应的合成样本。列e1和e2表示每个实体的类别。使用颜色方案来突出显示原始样本和合成样本中的实体。原始样本e1e2关系合成样本在榫槽锁和表面安装的边缘锁的锁定点之间，〈e1〉
〈/e1〉 应该是 〈e2〉
〈/e2〉。在榫槽锁和表面安装的边缘锁的锁定点之间，〈e1〉
〈/e1〉 应该是 〈e2〉
〈/e2〉。在榫槽锁和表面安装的边缘锁的锁定点之间，〈e1〉
〈/e1〉 应该是 〈e2〉
〈/e2〉。在榫槽锁和表面安装的边缘锁的锁定点之间，〈e1〉
〈/e1〉 应该是 〈e2〉
〈/e2〉。在榫槽锁和表面安装的边缘锁的锁定点之间，〈e1〉
〈/e1〉 应该是 〈e2〉
〈/e2〉。 basement storeys的〈e1〉部分不得连接到防火和防烟〈e2〉
〈/e2〉。objectobjectnot-part-of〈e1〉
〈/e1〉 basement storeys的〈e1〉部分不得连接到防火和防烟〈e2〉
〈/e2〉。 basement storeys的〈e1〉部分不得连接到防火和防烟〈e2〉
〈/e2〉。 basement storeys的〈e1〉部分不得连接到防火和防烟〈e2〉
〈/e2〉。3.4. 计算复杂性最后，我们分析了SNOWTEC信息提取流程的计算复杂性。根据算法1中的算法描述，设n表示句子S中的标记数量，m=|Eraw|表示实体分类器检测到的实体数量。每个实体和关系分类器由L层和d个隐藏维度组成。我们在下面展开了与每个组件相关的复杂性。步骤1：实体分类。实体分类器是一个带有序列标注头的变换器编码器（第3.2节）。如Vaswani等人（2017年）所示，自注意力机制每层的计算复杂度为O(n2?d)，导致整个变换器编码器的计算复杂度为O(n2?d?L)。带有softmax层的标记分类头增加了O(n?ke)的复杂性，其中ke=|EntityTypes|，即实体类别的数量。由于复杂性由变换器编码器主导，因此此步骤的整体复杂度为O(n2?d?L)。步骤2：实体配对。实体配对步骤枚举无序的、唯一的实体对，总共产生m(m?1)2个候选对。这种枚举的计算复杂度为O(m2)。步骤3：关系分类。对于每个候选实体对，关系分类器通过变换器编码器（第3.3节）处理整个句子S。这一步的计算复杂度为O(n2?d?L)，类似于实体分类器中的编码器块。然后，实体嵌入被连接并通过softmax层，每对增加O(kr)的复杂性（kr=|RelationTypes|，即关系类别的数量），这与变换器编码器相比可以忽略不计。因此，这一步的总复杂度为 O(m2?n2?d?L)。第4步：图构建。最后一步从m个实体节点和最多m(m?1)2条关系边中组装图，贡献了O(m2)的复杂度。总体而言，整个流程主要由第3步中的重复Transformer推理过程控制，用于关系分类，最终复杂度为O(m2?n2?d?L)。在实际应用中，对于典型的法规句子，m≤n，因为检测到的实体数量相对于句子长度来说较少。在这种假设下，二次项m2的影响较小，将总体成本简化为O(n2?d?L)。

4. 实验设置
在我们的实验中，我们使用了CODE-ACCORD数据集（Hettiarachchi等人，2025年）以及从英格兰批准的文件集合中提取的法规文本语料库（第4.1节）。关于与我们的提案架构结合使用的预训练Transformer/语言模型的更多详细信息，请参见第4.2节，其中还包含了各自的超参数设置。第4.3节概述了用于模型性能评估的指标。我们的实现使用了Python，并利用PyTorch（Paszke等人，2019年）和Huggingface（Wolf等人，2020年）库来构建机器学习模型。为了可视化图输出，我们使用了Graphviz库。

所有实验都是使用Intel Xeon Gold 6240 GPU进行的。

4.1. 数据
4.1.1. 注解数据
我们使用CODE-ACCORD数据集（Hettiarachchi等人，2025年）来评估所提出的基于Transformer的模型。该数据集包含了来自英格兰和芬兰建筑规范的法规句子，分别涉及18个子领域和8个子领域，包括无障碍性、消防安全、结构完整性和能源效率。所有句子都是英文的，因为使用的是芬兰规范的英文翻译。每个句子都标注了实体（例如窗户、烟雾探测器等）和关系，这些实体和关系捕捉了它们之间的语义关联。这些注释共同形成了一个句子级别的知识图，结构上表示了用自然语言表达的法规要求。重要的是，注释框架被设计为通用领域适用，而不是局限于特定的法规章节或要求类型，从而可以在AEC领域的不同法规环境中广泛应用。

据我们所知，CODE-ACCORD是目前唯一一个专门为建筑法规数据提供全面实体和关系注释的公开可用数据集。其多国和多子领域的覆盖范围使得可以系统地评估模型的泛化能力，这一点使其不同于早期仅限于狭窄法规范围的数据集（Zhang和El-Gohary，2017年；Zhou等人，2022年）。有关CODE-ACCORD中使用的实体和关系类别的更多详细信息，请参见附录。

在CODE-ACCORD中，共有862个带注释的法规句子。图6显示了这些句子的序列长度分布，发现大多数句子的字符数量少于40个。数据集总共包含4297个实体注释，分布在四个类别中（图7）。在关系方面，有4329个注释，分布在十个类别中（图8）。对于这两种分类器，我们将80%的样本作为训练数据，剩余的20%作为测试数据。然而，这导致每个模型的样本数量不同，因为实体分类器将每个句子视为一个独立样本，而关系分类器将单个关系视为单独的样本。

4.2. 注解数据增强
考虑到关系分布中的高度不平衡现象，主要表现为某些类别的代表性不足，我们应用了第3.3.1节中介绍的增强技术来处理带注释的关系数据。我们仅专注于生成表示“等于”、“大于”、“大于等于”、“小于”、“小于等于”和“不属于”的合成数据，这些类别在数据中的表示较为稀少。重要的是，测试集保持不变，而我们仅对训练数据进行了增强。对于训练集中的每个样本，我们生成了12个合成样本，考虑到整体的类别分布。总的来说，数据增强使原始训练数据集增加了2912个样本，总数达到3463个，如表2所示。此外，图9(b)展示了最终训练数据集的分布，仍然遵循图9(a)中的原始分布。

4.3. 转换器和超参数
我们使用了四种Transformer模型进行实验：(1) bert-large（bert-large-cased）（Devlin等人，2019年），(2) roberta-large（roberta-large）（Liu等人，2019年），(3) albert-large（albert-large-v2）（Lan等人，2020年），以及(4) electra-large（electra-large-discriminator）（Clark等人，2020年），这些模型都是在英语文本上预训练的。这些模型在最近的研究中因其出色的性能而受到广泛关注（Han等人，2021年；Hettiarachchi和Ranasinghe，2023年）。此外，这些模型是在不同的设置下预训练的。robertha是BERT的一个变体，它在更多的数据上训练，并使用更长的训练句子。Albert是BERT的轻量版本，通过减少参数来加速训练过程。Electra采用基于令牌区分的预训练方法，以促进更高效的训练。所有这些预训练的Transformer都是从HuggingFace的模型仓库（Wolf等人，2020年）获取的。

4.4. 实验结果和分析
我们使用了相同的超参数设置来生成可比较的结果，同时保持不同架构之间的一致性。我们还相信这些参数将为未来的实验提供基础。对于所有实体和关系分类器模型，我们将最大序列长度设置为128，这基于目标文本数据的序列长度分布（图6）。批量大小为16，学习率为1e?5，使用Adam优化器，并设置了五个训练周期，每个周期的提前停止耐心值为10，考虑到Transformer的计算复杂性。根据训练数据的可用性，我们将实体分类器的评估步骤设置为8个，关系分类器设置为16个，分别允许每个周期进行5次和15次评估。这些评估是在一个占训练数据10%的验证分割上进行的，而使用剩余的90%进行训练。

我们采用了两种模型优化技术：(1) 超参数调整和(2) 语言建模。在超参数调整过程中，我们特别关注优化模型的学习率。初步实验表明，调整这一参数对最终结果的影响比其他参数更为显著。关于我们方法的更多细节以及每个分类器的结果，请参见第5节。对于语言建模，我们使用图10中的最大序列长度128。我们将批量大小设置为16，学习率设置为3e?5，并使用Adam优化器。我们允许模型训练25个周期，并设置提前停止耐心值为10，考虑到这项任务的敏感性。

4.5. 评估指标
为了评估模型的性能，我们使用精确度（P）、召回率（R）和F1分数（根据公式(2)–(4)）。在这些公式中，TP、FP和FN分别表示真阳性、假阳性和假阴性计数。精确度衡量模型预测的准确性，而召回率衡量模型正确预测的实际实例的比例。F1是精确度和召回率的加权调和平均值，结合了它们的优点。

5. 结果和讨论
我们在第5.1节和第5.2节中分别介绍了本研究中开发的机器学习模型（实体分类器和关系分类器）的性能评估。这些评估包括深入的错误分析，旨在理解模型的行为。接下来，在第5.3节中，我们展示了所提出的SNOWTEC流程的完整功能。该演示使用了真实世界的法规句子，展示了我们方法的实际应用和有效性。

5.1. 实体分类器
对于实体分类，我们使用了第4.2节中描述的四种预训练Transformer来评估所提出的架构的性能（图4）。在验证集和测试集上获得的结果总结在表3中。由于模型是根据验证数据的结果进行微调的，而验证数据是训练数据的一个较小子集（占训练数据的10%），因此验证分数预计会略高于测试集的分数。这种现象在大多数模型中都存在。为了提供更全面的评估，我们还在测试数据上报告了基于令牌级别的指标。正如预期的那样，基于令牌级别的评估由于匹配标准较为宽松，因此得分更高。这种差异表明，尽管预测的实体边界偶尔会偏离黄金标准，但模型通常能够有效地识别正确的实体令牌。

在Transformer模型中，roberta-large取得了最佳的整体性能。它在验证集F1分数上平均优于其他模型4.2%，在严格模式下测试F1分数上高出8.3%，在基于令牌级别的测试F1分数上高出7.2%。这些结果还表明，如果语言模型在大规模语料库上进行预训练，它可以有效地为下游任务进行微调。

尽管roberta-large模型在F1分数和召回率上都表现最佳，但它并不总是获得最高的精确度。所有其他模型的精确度都高于召回率，有时甚至超过了roberta-large的精确度。这种性能不对称性可以直接归因于每种Transformer模型不同的预训练目标。BERT、Electra和Albert在预训练时包含了次要目标（例如，句子间或令牌异常检测目标）以及掩码语言建模（Clark等人，2020年；Devlin等人，2019年；Lan等人，2020年）。这些组合目标使得这些模型更加保守，导致实体预测更为严格，从而获得较高的精确度但召回率相对较低。相比之下，roberta模型仅使用动态掩码进行预训练（Liu等人，2019年）。这种设计完全优化了模型的上下文令牌预测能力，可能实现更广泛的上下文泛化。当针对实体识别进行微调时，正如结果所表明的，这种设计似乎允许模型识别出更广泛的真正例，但代价是偶尔会过度预测实体，从而降低了精确度。在监管信息提取的背景下，这种权衡在操作上是可取的，因为错过真正例的下游成本高于预测误例的成本，而误例可以在后续阶段被过滤掉。我们进一步优化了表现最好的实体分类器，我们的发现总结在表4中。如第4.2节所述，在超参数调优过程中，我们的主要关注点是优化学习率。在初始设置为1e?5的基础上，我们尝试了其他学习率（1e?3、1e?4和1e?6）。相应的训练和验证曲线在图11中可视化。值得注意的是，学习率为1e?4时的表现与1e?5相当，但收敛性更好。微调学习率带来了显著的性能提升，验证F1分数提高了9.1%，严格模式测试F1分数提高了8.2%。此外，令牌级测试F1分数也提高了2.6%。表3显示了使用不同Transformer模型对实体分类器在验证和测试数据集上的性能评估。最佳F1分数以粗体标出。Transformer Validation (Strict) Test (Strict) Test (Token-level) Empty Cell PRF1 PRF1 PRF1 bert-large 0.6182 0.5448 0.5686 0.6288 0.5446 0.5694 0.8277 0.7046 0.7514 electra-large 0.6838 0.5486 0.5964 0.5633 0.4468 0.4740 0.7312 0.5747 0.6157 albert-large 0.6708 0.5841 0.6219 0.6270 0.5354 0.5703 0.8088 0.7174 0.7547 roberta-large 0.6352 0.6427 0.6379 0.6281 0.6197 0.6212 0.8090 0.7593 0.7790 此外，我们使用第4.1.2节中描述的监管文本语料库对roberta-large模型应用了语言建模。如表4所示，这一步骤使得验证F1分数（严格模式）额外提高了0.6%，令牌级测试F1分数提高了1.5%。然而，这导致严格模式测试F1分数略微下降了0.9%。总体而言，这些适度且部分不一致的改进表明，特定领域的语料库规模可能限制了持续预训练的效果。利用更大的监管语料库可能会带来更显著的提升，这与其他最近的研究结果一致（Gururangan等人，2020年；Ranasinghe等人，2025年）。在比较应用于roberta-large的优化策略时，语言建模取得了最佳的整体F1分数，尽管其在验证和测试集上的精确度略低于超参数调优。超参数调优侧重于优化决策边界，以产生更受控制、更准确的预测分布。相比之下，针对领域内文本的语言建模（领域适应型预训练）鼓励模型学习特定领域的词汇和语法模式，增加了其在一般环境中识别实体的可能性。这引入了与我们在roberta-large模型与其他预训练Transformer相比观察到的相同的精确度-召回率权衡。随着模型对实体变得更加敏感，它似乎更容易处理边界情况，适度降低了精确度，同时提高了召回率。尽管如此，我们的发现表明，向语言模型传授领域知识有助于提升实体分类性能。我们将在第5.1.1节中进一步讨论最佳实体分类器的性能，提供深入分析。表4显示了不同优化技术对最佳实体分类器（roberta-large）结果的影响。最佳F1分数以粗体标出。优化技术 Validation (Strict) Test (Strict) Test (Token-level) Empty Cell PRF1 PRF1 PRF1–0.6352 0.6427 0.6379 0.6281 0.6197 0.6212 0.8090 0.7593 0.7790 超参数调优 0.7674 0.6956 0.7287 0.7708 0.6550 0.7028 0.8689 0.7642 0.8054 语言建模 0.7655 0.7100 0.7351 0.7244 0.6678 0.6940 0.8607 0.7884 0.8207 下载：下载高分辨率图像（130KB）下载：下载全尺寸图像(a)。训练损失。下载：下载高分辨率图像（97KB）下载：下载全尺寸图像(b）。评估损失。图11显示了使用roberta-large模型在不同学习率下构建的实体分类器的训练和验证学习曲线。5.1.1 错误分析我们进一步分析了表现最好的实体分类器（即带有语言建模的roberta-large）的结果，以确定其性能限制的原因。我们的分析揭示了两个主要因素：（1）实体类别的独特属性和（2）上下文复杂性，这些因素直接影响模型性能，具体如下所述。实体类别的独特属性的影响：在实体分类中，我们的目标是识别CODE-ACCORD数据集中定义的四个类别（即对象、属性、质量和价值），这些类别具有其独特的特征。例如，对象和值主要由一两个标记/单词构成。此外，较大比例的值包含数字，并且通常与单位相关联。相比之下，属性和质量的组成包含短文本序列和长文本序列。总体而言，质量的文本跨度比所有其他类别都要长。我们在表5中展示了每个类别中随机选择的一些实体，以进一步强调它们的独特属性。表6展示了我们关于模型对每个实体类别的预测性能的分析结果，这些结果是在严格匹配和令牌级匹配标准下评估的。严格匹配要求精确的跨度边界匹配，而令牌级匹配对重叠的预测给予部分分数，从而提供了对接近正确提取的更灵活的评估。在严格匹配下，具有更明确结构且序列较短的对象和值的实体类别显示出相对较高的F1分数（分别在测试集上为0.7136和0.8261）。由于值的注释样本最少（图7），这些结果表明实体结构的完整性对模型的学习影响大于样本数量。这一事实通过质量类别的结果得到了进一步证实。尽管质量类别的注释样本数量是值的六倍，但由于其结构复杂，因此其F1分数最低（测试集上的F1分数为0.5732）。令牌级结果揭示了另一个有信息量的模式。质量类别在两种评估模式下的改进最大，从严格匹配下的0.5732上升到令牌级匹配下的0.8735。这表明，虽然模型经常能够捕捉到属于质量实体的正确标记，但在边界检测方面存在困难，这是由于质量实体的跨度较长且结构更加多变。尽管如此，我们的发现表明，向语言模型传授领域知识有助于提升实体分类性能。我们将在第5.1.1节中进一步讨论最佳实体分类器的性能，提供深入分析。表4显示了不同优化技术对最佳实体分类器（roberta-large）结果的影响。最佳F1分数以粗体标出。优化技术 Validation (Strict) Test (Strict) Test (Token-level) Empty Cell PRF1 PRF1–0.6352 0.6427 0.6379 0.6281 0.6197 0.6212 0.8090 0.7593 0.7790 超参数调优 0.7674 0.6956 0.7287 0.7708 0.6550 0.7028 0.8689 0.7642 0.8054 语言建模 0.7655 0.7100 0.7351 0.7244 0.6678 0.6940 0.8607 0.7884 0.8207 下载：下载高分辨率图像（130KB）下载：下载全尺寸图像(a)。下载：下载高分辨率图像（97KB）下载：下载全尺寸图像(b）。图11显示了使用roberta-large模型在不同学习率下构建的实体分类器的训练和验证学习曲线。5.1.1 错误分析我们进一步分析了表现最好的实体分类器（即带有语言建模的roberta-large）的结果，以确定其性能限制的原因。我们的分析揭示了两个主要因素：（1）实体类别的独特属性和（2）上下文复杂性，这些因素直接影响模型性能，具体如下所述。实体类别的独特属性的影响：在实体分类中，我们旨在识别CODE-ACCORD数据集（第4.1.1节）中定义的四个类别（即对象、属性、质量和价值），这些类别具有各自的独特特征。例如，对象和值主要由一两个标记/单词组成。此外，很大比例的值包含数字，并且通常与单位相关联。相比之下，属性和质量的组成包括短文本序列和长文本序列。总体而言，质量的文本跨度比所有其他类别都要长。我们在表5中展示了每个类别中随机选择的一些实体，以进一步强调它们的独特属性。表6展示了我们关于模型对每个实体类别的预测性能的分析结果，这些结果是在严格匹配和令牌级匹配标准下评估的。严格匹配要求精确的跨度边界匹配，而令牌级匹配对重叠的预测给予部分分数，从而提供了对接近正确提取的更灵活的评估。在严格匹配下，具有更明确结构且序列较短的对象和值实体类别展示了相对较高的F1分数（在测试集上分别为0.7136和0.8261）。由于值的注释样本最少（图7），这些结果表明实体结构的完整性对模型的学习影响大于样本数量。这一事实通过质量类别的结果得到了进一步确认。尽管质量类别的注释样本数量是值的六倍，但由于其结构复杂，其F1分数最低（测试集上的F1分数为0.5732）。令牌级结果揭示了另一个有信息量的模式。质量类别在两种评估模式下的改进最大，从严格匹配下的0.5732上升到令牌级匹配下的0.8735。这表明，虽然模型经常能够捕捉到属于质量实体的正确标记，但在边界检测方面存在困难，这是由于质量实体的跨度较长且结构更加多变。相比之下，值和对象类别在这两种模式下的改进较小，这与它们较短、更明确的性质一致，其中严格匹配和令牌级评估往往趋于一致。总体而言，我们的发现表明，实体类别的固有性质或结构显著影响基于Transformer的实体分类器的学习过程，通常超过训练数据中样本数量的影响。模型需要更多来自复杂实体类别的数据才能更好地学习它们，而较少的数据足以学习简单的（或更有结构的）实体。上下文复杂性的影响：在自然语言中，文本中元素的组织结构显著影响实体识别。为了衡量上下文复杂性，我们在实验中使用了句子中的实体数量，其中较高的数量表示更详细和复杂的上下文。表7总结了实体分类器在各种复杂性水平下的性能变化，这些变化是在严格匹配和令牌级匹配标准下评估的。表5显示了不同实体类别的实体分类器结果。在严格匹配下，需要精确的跨度边界一致，而令牌级匹配对重叠的标记给予部分分数，从而获得更高的支持计数，因为评估的是标记（而不是完整的实体跨度）。类别 Validation Test Empty Cell Support PRF1 Support PRF1 Empty Cell 严格匹配 object 146 0.7955 0.7192 0.7554 317 0.7240 0.7035 0.7136 属性 48 0.6154 0.6667 0.6400 98 0.7375 0.6020 0.6629 质量 139 0.7281 0.5971 0.6561 317 0.5723 0.5741 0.5732 值 28 0.9231 0.8571 0.8889 48 0.8636 0.7917 0.8261 宏平均 36 10.7655 0.7100 0.7351 78 0.7244 0.6678 0.6940 0.8607 令牌级匹配 object 25 40.9104 0.7598 0.8283 50 60.8351 0.7905 0.8122 属性 100 0.7596 0.7900 0.7745 189 0.8114 0.7513 0.7802 质量 60 70.8292 0.9275 0.8756 1923 0.8607 0.8866 0.8735 值 56 0.9804 0.8929 0.9346 80 0.9355 0.7250 0.8169 宏平均 101 70.8699 0.8426 0.8532 269 80.8607 0.7884 在严格匹配下，结果表明了一种不能仅用简单的复杂性-性能权衡来解释的复杂模式。实体数量较多的句子（>5）获得了最高的宏观F1分数（0.7354），其次是中等复杂性的句子（有3-5个实体的句子），而低复杂性的句子（实体≤3个）获得了最低的宏观F1分数（0.6361）。这表明，虽然非常简单的句子可能缺乏足够的上下文信号来进行精确的边界检测，但中等和高度复杂的句子提供了模型可以利用的更丰富的上下文。令牌级匹配分数在所有复杂性组中始终较高（宏观F1范围从0.7855到0.8535），表明模型能够可靠地识别正确的标记，无论句子的复杂性如何，边界检测是严格匹配错误的主要来源。总体而言，这些发现表明，上下文的丰富性而不仅仅是简单性本身，可以支持实体分类。模型可能从接触更复杂的句子结构中受益，以提高实体类别的边界检测能力。表7显示了根据每个句子中的实体数量，最佳实体分类器（roberta-large）在测试数据集上的结果。实体数量 Category Strict matching Token-level matching Empty Cell Support PRF1 Support PRF1 ≤3 object 70 0.6667 0.7429 0.7027 125 0.8095 0.8160 0.8127 属性 170.7143 0.5882 0.6452 35 0.7000 0.8000 0.7467 质量 87 0.5652 0.5977 0.5810 72 10.9430.9071 0.9250 值 70 0.6667 0.5714 120.8182 0.7500 0.7826 空 macro平均 18 10.6532 0.6251 0.6361 89 30.8179 0.8183 0.8168 >3 and ≤5 object 10 0.7100 0.7100 0.7100 155 0.8101 0.8258 0.8179 属性 44 0.6944 0.5682 0.6250 72 0.7727 0.7083 0.7391 质量 10 30.5556 0.6311 0.5909 65 10.8375 0.8786 价值 19 0.7778 0.7368 0.7568 40 0.9231 0.8607 0.8866 0.8735 值 56 0.9804 0.8929 0.9346 80 0.9355 0.7250 0.8169 宏平均 10 170.8699 0.8426 0.8532 269 80.8607 0.7884 0.8207 在严格匹配下，结果表明了一种复杂的模式，这不能用简单的复杂性-性能权衡来解释。实体数量较多的句子（>5总体评估显示，在所有关系类别中均表现一致，验证F1分数超过80%，如表10所示。尽管在“更大相等”和“更不等”类别中测试集的分数略有下降，但由于样本量相对较小，这些下降可以忽略不计。总体而言，这些发现表明关系类别对模型的最终性能没有显著影响。

其次，我们分析了误分类情况以识别关系类别之间的潜在混淆。这种深入分析揭示了复杂的文本结构会影响模型性能，导致误分类。以下是这些发现的详细信息。

表10. 最高性能的关系分类器（roberta-large）在验证和测试数据集上不同关系类别的结果。

| 关系类别 | 验证 | 测试 |
| -------- | ---- | ---- |
| 空 | | |
| 支持PRF1 | | |
| 相等 | 0.9625 | 1.0000 |
| 150.7143 | 1.0000 | 0.8333 |
| 更大 | 1.0000 | 1.0000 |
| 110.8182 | 0.8182 | 0.8182 |
| 更大相等 | 0.9889 | 1.0000 | 0.9944 |
| 210.7273 | 0.7619 | 0.7442 |
| 更小 | 1.0000 | 1.0000 | 1.0000 |
| 21.0000 | 1.0000 | 1.0000 |
| 更小相等 | 0.9865 | 1.0000 | 0.9932 |
| 140.6842 | 0.8902 | 0.8902 |
| 0.8844 | | |
| 无 | 0.8592 | 0.7625 |
| 0.8079 | | 0.8289 |
| 0.7750 | | 0.8010 |
| 不是部分 | 1.0000 | 1.0000 | 0.8000 |
| 部分 | 0.8657 | 0.8923 | 0.8788 |
| 1620.7910 | 0.8642 | 0.8260 |
| 930.8947 | 0.9140 | 0.9043 |
| 2330.8498 | 0.8498 | 0.8498 |

表10中的宏观平均值：6380.9448。

图13展示了在测试数据集上表现最佳的关系分类器的混淆矩阵。该矩阵显示出明显的模式，证实了模型的整体强大性能。对角线上的高值表示大多数预测准确，而非对角线上的低值表明误分类较少。然而，我们进一步调查了误分类情况（特别是非对角线上的值超过10的情况），以了解导致模型混淆的因素。分析指出，大多数混淆实例源于文本结构中的复杂性。为了说明这一发现，我们在表11中总结了经常出现的各种文本复杂性及其相关数据样本。

下载：下载高分辨率图片（217KB）
下载：下载全尺寸图片

表11. 经常被误分类的关系及其原因和样本：

| 真实标签 | 预测标签 | 样本 | 原因 |
| ---- | ---- | ---- | ---- |
| 必需性 | 无 | 任何〈e1〉墙壁〈/e1〉、门和窗户应进行隔热和〈/e2〉防风处理，至少要与现有建筑相同。 |
| 多个必需性 | 底层管道包括〈e1〉主管道〈/e1〉和歧管应〈/e2〉作为一个系统冲洗以清除所有碎屑并 purged 以排除所有空气〈/e2〉。 |
| 部分 | 〈e1〉屋顶结构〈/e1〉和〈e2〉接头〈/e2〉必须适当倾斜并密封以便排水。 |
| 参考 | 无 | 应为建筑物内的人员提供〈e1〉足够的通风〈/e1〉措施〈/e2〉。 |
| 层次关系 | 空 | 使用过程中〈e1〉每台机器〈/e1〉的排气速率应为20升每秒〈/e2〉。 |
| 选择 | 无 | 在现有建筑中，如果〈e1〉主要或〈e1〉员工入口〈/e1〉或〈e2〉入口〈/e2〉无法进入，则应提供替代入口。 |
| 多个选择 | 如果建筑〈e1〉与邻近建筑相邻或〈e2〉过于接近，以至于火势可能蔓延，则必须设置防火墙〈/e2〉。 |
| 部分 | 〈e1〉无障碍要求的〈/e1〉与保护历史建筑或环境的〈e2〉之间应取得平衡。 |
| 混淆的文本模式 | 〈e2〉地面〈/e2〉和爬行空间对热量损失的影响应在热量损失计算中考虑。 |

5.3. SNOWTEC演示

最后，我们展示了SNOWTEC管道的完整功能（图1），该管道利用了第5.1节“实体分类器”和第5.2节“关系分类器”中详细介绍的最佳性能实体和关系分类器。SNOWTEC自动识别监管句子中的实体及其关系，生成包含所传达信息的知识图谱。

表12展示了通过最终流程处理的一系列测试样本，每个样本都附有其生成的知识图谱。可以看出，这些图谱以结构化的方式全面捕获了原始句子中的思想。此外，这些图谱作为机器可处理的输出，捕捉和处理了监管句子中固有的语言复杂性。当前机器学习模型的准确性限制可能会对结构复杂的句子转换产生负面影响，需要根据本研究的发现改进模型。然而，我们认为这个框架是将监管文本转换为机器可处理格式的强大起点，可以利用最近的自然语言处理（NLP）技术。此外，实体-关系图的描述性有助于人工审核，有助于减少错误并促进更可靠和透明的转换。最终，SNOWTEC将通过将复杂的监管数据转换为更简单的格式来促进有效的合规性检查（ACC）。

6. 结论和未来工作

本文提出了SNOWTEC，这是一种创新的信息提取管道，采用合成自然语言过采样方法，旨在从文本中提取AEC领域的监管信息。给定一个监管句子，它生成一个机器可读的输出，即知识图谱，其中详细说明了从自然语言中提取的实体及其关系，可以方便地用于自动化合规性检查。符合NLP的最新趋势，SNOWTEC使用基于Transformer/语言模型的两种机器学习模型来从文本中提取实体和关系。我们的实验涉及多种预训练的Transformer，采用了不同的学习技术，如微调和语言建模，以全面评估模型在各种环境中的性能。我们还引入了一种针对关系标注数据的数据增强方法，利用领域特定的实体来解决数据稀缺问题，这通常会限制语言模型的预测能力。我们使用了CODE-ACCORD数据集，其中包含AEC多个子领域的数据，包括无障碍性、消防安全、结构完整性、能源效率等，以评估所提出模型的性能及其通用性，这对实际应用至关重要。在测试的四个预训练Transformer模型中（即BERT、RoBERTa、ALBERT和ELECTRA），RoBERTa模型在实体和关系提取方面表现出色。考虑到由于自然语言的非结构化特性以及监管文本中的复杂性、歧义和领域特定特征（例如结构完整性、消防安全等），开发出的模型取得了有希望的结果。相比之下，实体分类器的性能低于关系分类器。详细分析表明，实体的复杂性（由于其独特的属性和上下文影响）主要导致了实体提取性能受限。此外，有限的训练数据也影响了模型的准确性，特别是在关系分类器中，数据增强显著提高了F1分数，平均提高了26%。通过使用语言建模方法，用领域特定知识丰富预训练的语言模型，提高了实体分类器的结果，这在标注数据匮乏的情景中非常有益。然而，这种方法并未改善关系分类器的性能，因为其训练语料库已经非常丰富。这种观察结果突显了在使用有限领域特定语料库和丰富训练数据集进行语言建模时模型混淆的潜在风险，这对未来研究很有帮助。

总体而言，我们认为我们的工作在监管信息提取（IE）领域是一个重要的进步，因为它完全基于最先进的Transformer/语言模型，无需任何领域依赖规则。此外，我们的方法将IE任务重新定义为知识图谱生成任务，进一步证明了其在不同领域的泛化能力。此外，知识图谱以人类和机器均可以理解的格式表示信息，这增强了人工审核流程，确保了AI生成输出的准确性和可信度，这对ACC至关重要。在未来，我们计划探索大型语言模型（如Generative Pre-Trained Transformers (GPT) (OpenAI, 2023) 和 Large Language Model Meta AI (LLaMA) (Touvron et al., 2023)）从监管文本中提取信息的潜力。我们还计划扩展研究，以支持多种语言的IE，因为监管文件通常用不同语言编写，将其翻译成英语通常需要大量的手动工作和领域专业知识。此外，我们希望捕捉监管文档的从句结构和句子之间的相互关系，这对于全面的规则生成至关重要。