建筑行业日益采用自然语言处理(NLP)和深度学习技术来自动化复杂的手动任务并提高运营效率。NLP应用侧重于自动化文档分析和规范审查[1],而更广泛的深度学习方法包括项目调度优化[2]和结构缺陷检测[3]。在韩国建筑行业,AI也被积极应用于安全指南生成、项目管理、预算估算、规划支持以及事故案例分析等领域[4][5][6][7][8]。
然而,尽管技术取得了进步,建筑工程师在从大量技术文档中获取相关信息时仍面临重大挑战。当工程师需要特定信息(例如“混凝土养护温度要求是什么?”)时,他们必须手动浏览数百页的监管文件和技术规范。这种传统方法需要花费大量时间来理解复杂的技术语言并跨参考不同标准,常常导致关键细节被遗漏,从而降低生产效率。
大型语言模型(LLM)在解决这些信息检索挑战方面展现出巨大潜力,为建筑文档分析提供了先进的推理能力和自动化可能性。
然而,将LLM直接应用于特定领域或少数语言时存在显著挑战,因为建筑术语和文档结构具有特殊性。建筑工程文档中的术语依赖于上下文,相同的术语在不同情境下可能具有不同含义。例如,在建筑文档中,“slab”一词在讨论结构设计时可能指“承重结构元素”,在施工执行时指“混凝土浇筑表面”,在质量控制中则指“厚度检测目标”。这些领域特定特征加上少数语言的限制,常常导致LLM生成看似合理但错误或误导性的信息,从而影响其在高精度工程应用中的可靠性。
为应对这一领域适应挑战,出现了两种主要方法:在建筑特定数据上微调LLM以及实施检索增强生成(RAG)系统[10]。虽然微调可以提高领域性能,但随着LLM规模的不断扩大[11],它需要大量的计算资源和成本,同时还需要大量人工 effort 来创建特定领域的训练数据集[12]。RAG作为一种成本效益较高的替代方案受到关注,它将LLM的响应基于外部知识源,而无需进行大规模模型重新训练。
尽管RAG系统在建筑应用中的采用率不断上升[13],但在理解和优化作为检索性能基础的嵌入模型方面仍存在关键差距。嵌入模型将文本转换为数值表示,用于基于语义相似性的文档检索,在RAG效果中起着关键作用。当将专业技术领域与少数语言结合时,这一挑战尤为突出,因为大多数LLM主要针对英语文本进行训练,在韩语等语言上的表现较差。此外,在RAG系统中,如果嵌入模型检索到错误文档,即使是最优秀的LLM也会产生错误答案,因为它处理的是无关信息。然而,针对这些挑战性情境的领域特定嵌入改进研究仍然十分有限。
为解决这一研究空白,本文致力于开发一种适用于韩语建筑文档的实际RAG系统。主要目标是解决现有系统无法理解建筑术语和检索错误文档的问题。
图1展示了从标准RAG系统到RAGO-CONSTRUCT的概念转变,强调了所提出方法如何通过对比句生成和句子块嵌入克服资源匮乏建筑领域的检索挑战。
目标是开发RAGO-CONSTRUCT,一种建筑工程师可以用于日常工作的检索优化方法。工程师应能够快速通过公司技术标准回答问题,而无需花费数小时手动查找文档。
本研究提出了两种关键解决方案来实现这一目标。首先,对比句生成(CSG)通过从现有韩语建筑规范中自动生成训练数据,降低了成本和语言障碍,使公司无需昂贵的手动数据标注即可改进系统。其次,句子块嵌入(SBE)通过将每个文档转换为多个嵌入向量并合并它们来提高检索准确性,无需对嵌入模型进行额外微调。此外,Matryoshka表示学习(MRL)与这两种方法结合使用,提升了嵌入模型性能并实现了高效的向量压缩。
这种检索优化方法整合了CSG、SBE和MRL,以提升建筑工作流程的检索性能。
为此研究,我们选择了韩语建筑工程文档作为目标领域。韩语建筑工程文档结合了技术领域的复杂性和少数语言的特性,是一个特别具有挑战性的案例。建筑规范中的术语依赖于上下文,相同的术语在不同情境下可能具有不同含义[1,14]。此外,韩语的语言特征(包括语法颗粒、间隔单位(eojeols)和相对自由的词序)增加了解析和语义表示的难度[15]。这些领域语言特征的组合为研究嵌入模型的局限性和改进提供了理想的测试平台。
通过系统设计的全面实验来验证我们的方法,我们进行了(1)重复微调实验以评估统计可靠性,(2)在受控条件下的检索性能比较,(3)对提出的SBE方法进行评估,以及(4)答案质量评估。实验结果表明,RAGO-CONSTRUCT在韩语建筑文档上的检索准确率达到53.7%,而OpenAI的textembedding-3-large仅为41.4%。这一显著提升为建筑文档分析带来了实际的检索准确性收益。
所提出的检索优化方法可以很容易地应用于其他国家的建筑行业,提升检索性能,从而实现更有效的基于RAG的NLP应用,提高生产力、法律文档审查、检查流程和建筑项目间的知识转移。通过建立实际部署所需的基础准确性改进,该方法有助于弥合理论RAG能力与建筑专业人士日常工作中实际需求之间的差距。此外,我们的方法具有模型无关性,可以无缝应用于未来出现的嵌入模型,确保长期适用性和投资价值。更广泛地说,这种方法可扩展到其他少数语言和专业领域,为不同技术领域提供具有重大潜力的解决方案。CSG生成的数据集、韩语建筑规范文档、手动验证的验证和测试数据集以及微调后的嵌入模型可在以下链接获取:
https://github.com/Choikichang/RAGO-CONSTRUCT
https://huggingface.co/Choikichang/RAGO-CONSTRUCT
相关工作
相关工作
本节回顾了与RAGO-CONSTRUCT方法相关的现有文献和基础研究。具体而言,我们研究了嵌入模型作为RAG系统核心组件的发展历程,分析了各种数据集生成技术以适应不同领域,并讨论了在资源匮乏环境下的学习策略,以突出本文所解决的研究空白。
提出的方法
本文提出了一种针对韩语建筑领域的数据集生成和嵌入模型微调方法,以提高RAG系统的性能。为解决资源匮乏语言中高质量训练数据的缺乏问题,我们使用EEVE[61](一种针对韩语的大型语言模型)构建了一个数据集并设计了高效的数据生成流程。
实验
本节介绍了一系列实验,用于评估RAGO-CONSTRUCT在韩语建筑领域的有效性。实验框架分为五个阶段:首先对嵌入模型的可靠性进行统计验证,然后对RAG系统的答案质量进行端到端评估。通过将提出的方法与各种基线模型(包括商业API和开源多语言模型)进行比较,...
讨论
本文提出了RAGO-CONSTRUCT方法,通过对比句生成(CSG)实现低成本的数据集生成,通过句子块嵌入(SBE)优化文档检索,从而提升资源匮乏语言领域的RAG性能。在韩语建筑领域的实验验证表明,我们的方法在保持计算效率和模型无关性的同时,显著提升了性能。
虽然RAGO-CONSTRUCT的各个组成部分基于现有技术构建,...
结论
本文提出了RAGO-CONSTRUCT方法,用于提升资源匮乏语言领域(特别是韩语建筑领域)的RAG系统和答案生成性能。为此,我们使用LLM以低成本生成了特定领域的数据集,并应用了微调和检索优化技术。具体来说,我们使用MNRL和MRL进行了嵌入模型微调,并引入了句子块嵌入方法以进一步改进...
Kichang Choi:撰写 – 审稿与编辑、原始草稿撰写、可视化、验证、软件开发、方法论设计、数据整理、概念化。Minwoo Jeong:验证、方法论设计、概念化。Younga Shin:可视化、数据整理。Jongwon Ma:撰写 – 审稿与编辑、验证。Kinam Kim:撰写 – 审稿与编辑、验证。Hongjo Kim:撰写 – 审稿与编辑、原始草稿撰写、可视化、验证、监督、项目管理
写作过程中生成式AI和AI辅助技术的声明
在准备本工作时,作者使用了ChatGPT进行手稿校对。使用该工具后,作者根据需要对内容进行了审查和编辑,并对出版物的内容负全责。
利益冲突声明
作者声明以下可能被视为潜在利益冲突的财务利益/个人关系:Hongjo Kim表示获得了韩国国家研究基金(NRF)的财务支持。如果有其他作者,他们声明没有已知的财务利益或个人关系可能影响本文所述的工作。
致谢
本工作得到了韩国国家研究基金会(NRF)的资助,该基金由韩国政府(科学技术信息通信部)提供(项目编号:RS-2024-00457308)。