一种用于实际施工成本的混合堆叠回归模型:结合MPNet句子嵌入、元学习与贝叶斯超参数优化技术

《Applied Soft Computing》:A hybrid stacked regression model for actual construction cost: Incorporating MPNet sentence embeddings, meta-learning, and Bayesian hyperparameters optimization

【字体: 大 中 小 】 时间:2026年07月09日 来源:Applied Soft Computing 7.8

编辑推荐:

  杜黄范|胡英秋阮|成耀李|永汉安|周成李 韩国京畿道安山市汉阳大学建筑人工智能技术中心,邮编15588 **摘要** 在建筑行业中,准确预测实际施工成本仍是一项重大挑战。目前大多数机器学习方法主要依赖结构化的数值和分类输入,而忽视了非结构化项目描述中蕴含的丰富上下文

  杜黄范|胡英秋阮|成耀李|永汉安|周成李
韩国京畿道安山市汉阳大学建筑人工智能技术中心,邮编15588

**摘要**
在建筑行业中,准确预测实际施工成本仍是一项重大挑战。目前大多数机器学习方法主要依赖结构化的数值和分类输入,而忽视了非结构化项目描述中蕴含的丰富上下文信息。本研究提出一种混合堆叠回归框架,将基于MPNet的句子嵌入与结构化特征相结合,用于施工成本预测。具体而言,采用all-mpnet-base-v2模型从自由文本项目描述中提取上下文表示,这些表示随后与数值和分类输入相拼接,并用于回归模型的堆叠集成中。该模型在472个韩国政府住房项目的数据集上进行了开发,并通过TF-IDF和Word2Vec表示以及仅使用结构化特征的基准模型进行了对比测试。结果表明,所提出的模型可实现R2值为0.9251,RMSE约为524万美元,相比基准模型RMSE降低了38%。事后SHAP分析进一步表明,MPNet嵌入维度对预测有重要贡献,能够捕捉到结构化数据中未明确体现的潜在成本驱动因素,如地下不确定性及行政延误等。这些发现表明,上下文句子嵌入可作为回归模型的有效输入,从而实现更准确且可解释的施工成本估算。

**引言**
成本超支仍是建筑行业最持久且影响最严重的挑战之一,多项研究显示,有很大比例的项目预算超出初始估算[1]。因此,准确预测实际施工成本不仅对项目的财务规划与采购决策至关重要,也有助于提升公共基础设施投资的整体效率与透明度[2]。传统的成本估算方法主要依赖于专家判断、参数公式以及基于回归的方法,往往难以把握建筑项目中的复杂性与不确定性,从而导致系统性预测误差,且在不同类型和背景的项目中的泛化能力有限[1]。

为解决这些局限,机器学习作为一种有前景的技术出现,它能够从历史项目数据中自动提取非线性模式,从而提升施工成本预测的准确性。早期的应用主要集中在单一模型方法上,如人工神经网络、线性回归、支持向量回归以及基于案例的推理等[3]。尽管这些模型具备一定的预测潜力,但往往无法完全捕捉施工成本数据中复杂的关联关系[4][5]。后续的研究试图通过更复杂的技术提升预测精度,包括集成方法、混合机器学习架构、深度学习模型以及结合元启发式算法优化的深度学习模型等[6][7][8][9][10]。虽然这些方法相比单一模型在精度上有所提升,但仍然存在一个根本性局限:现有研究大多仅依赖有限的数值和分类输入特征(如项目地点、合同类型及初始成本估算)。这种狭窄的特征空间限制了模型捕捉成本驱动因素全部复杂性的能力,进而可能影响其在不同项目条件下的泛化性能。另一个重要但常被忽视的预测信息来源是非结构化的文本项目描述,这类描述通常出现在施工合同和采购记录中。它们往往包含与成本变动相关的宝贵上下文细节,如设计变更、施工事件、技术规格、范围定义以及其他项目相关信息。尽管具有很高的信息价值,但由于从长度可变的自然语言输入中提取异构语义信息的难度较大,文本数据在现有的成本预测框架中一直被忽视。少数研究尝试通过基本的自然语言处理技术,如词频-逆文档频率和n-gram表示,将项目描述纳入模型中[11][12][13],但这些研究中的文本输入通常较短、结构受限,或仅简化为关键词计数。这些传统方法根本无法捕捉复杂项目描述中丰富的上下文与语义关系,从而导致重要信息丢失,进一步限制了模型的表达能力。

近年来,基于Transformer的预训练语言模型的发展为解决这一局限提供了新的可能。在建筑领域,BERT、GPT等大型语言模型已被广泛用于分类任务,如风险条款识别、事故报告分类、危险检测等[14][15][16][17],同时也被应用于报告起草和进度计划生成等生成式任务[18]。这些研究表明,基于Transformer的模型在从建筑相关文本中提取有意义的语义信息方面具有强大能力。然而,它们的应用主要局限于分类和生成任务,在涉及连续输出值的回归问题,尤其是施工成本估算方面,探索尚不充分。这构成了一个重要的研究空白,因为项目描述中蕴含的丰富语义信息若能有效地整合到回归框架中,有望显著提升预测性能。

弥补这一空白的关键在于文本表示的选择。虽然BERT和大型语言模型在理解与生成文本方面表现优异,但它们并非专为生成适用于下游回归任务的稳定、高质量句子嵌入而优化[19]。这一局限促使人们使用专门为语义表示设计的嵌入模型。在此背景下,MPNet(all-mpnet-base-v2)显得尤为具有前景[20]。通过采用统一的掩码与排列预训练目标,以及对大规模句子对进行对比式微调,MPNet能够生成密集且语义连贯的固定维度嵌入,相较于传统的BERT基表示和常规自然语言处理方法,更能准确捕捉句子层面的含义[20][21]。尽管具有这些优势,但MPNet作为施工成本回归特征提取器的潜力尚未得到系统研究。这一缺口为开发混合建模方法提供了机会,即结合MPNet的语义表示能力与机器学习模型的预测能力,以实现准确高效的施工成本估算。

为填补这些空白,本研究旨在构建一个融合MPNet基句子嵌入与堆叠集成回归模型的施工成本预测框架。具体而言,本研究的目标有三个方面:(i) 提出一种混合堆叠回归框架,利用all-mpnet-base-v2从非结构化项目描述中提取高质量上下文表示,这些表示随后与结构化特征相拼接,并输入到包含元学习器的堆叠集成模型中,以生成最终的成本预测;(ii) 对所提出的框架与使用传统文本嵌入方法(如TF-IDF和Word2Vec)的模型以及仅使用结构化特征的基准模型进行系统比较评估;(iii) 通过SHapley加性解释方法进行事后可解释性分析,量化文本嵌入特征与结构化项目属性对模型预测的相对影响,从而证明非结构化文本数据是否以及如何为施工成本估算提供有意义的预测信号。

本研究的独特贡献如下:
• 将基于Transformer的句子嵌入首次系统地整合到施工成本回归中。据作者所知,这是首批尝试将来自非结构化项目描述的MPNet衍生上下文嵌入直接作为回归模型输入,用于实际施工成本预测的研究之一,从而架起了基于自然语言处理的特征提取与定量成本建模之间的桥梁。
• 提出了一种结合语义特征与结构化特征的混合堆叠集成框架。该框架采用堆叠回归架构,将MPNet嵌入与结构化项目属性相拼接,形成统一的输入表示,再由多种机器学习基础模型与元学习器组成的堆叠集成模型进行处理,以生成最终的成本预测。这种设计充分利用了语义丰富性与数值精确性的互补优势,同时保持了计算的可行性。
• 通过SHAP进行事后可解释性分析。借助SHAP进行特征重要性分析,量化文本嵌入维度与结构化特征对模型预测的相对贡献,帮助了解项目描述中的语义信息如何影响成本估算结果,从而提升所提框架的实际透明度。

**相关综述**
近年来,机器学习已成为建筑成本建模中最广泛采用且最有效的工具之一。该领域的早期研究通常依赖单一的机器学习模型进行成本预测,其中基于神经网络的方法(如CNN、ANN和DNN)最为常用。例如,江和王等人[4]证明了反向传播神经网络是有效的施工成本估算工具。深度神经网络也被证明具有更好的性能。

**方法论**
本研究提出了一种混合堆叠建模框架,整合MPNet以利用非结构化文本数据与结构化数据。模型开发与评估过程分为四个主要阶段,如图1所示的研究路线图所示。首先,从项目报告中提取结构化与非结构化文本数据,并对其进行预处理以构建输入特征。其次,利用某种方法将文本数据转换为数值表示。

**特征选择**
为确定最具信息量的输入特征并消除特征空间中的冗余信息,对数据集进行了成对皮尔逊相关性分析。皮尔逊相关系数用于量化两个特征之间线性关系的强度和方向,其定义为两个特征的协方差与其标准差乘积的比值,如方程(4)所示。其中, 和 分别为两个参数 和 的均值。

**结论**
本研究提出了一种混合堆叠回归框架,将基于MPNet的句子嵌入与结构化的数值及分类特征相结合,用于实际施工成本预测。为评估非结构化文本数据的贡献以及不同文本表示策略的相对效果,对多种嵌入方法(即TF-IDF、Word2Vec和MPNet)以及多种回归算法进行了系统比较分析。

**CRediT作者贡献声明**
杜黄范:写作——审稿与编辑、写作——初稿撰写、验证、监督、方法论、数据整理、概念构思。胡英秋阮:写作——审稿与编辑、写作——初稿撰写、可视化。成耀李:写作——审稿与编辑、写作——初稿撰写。永汉安:写作——初稿撰写、资金获取。周成李:写作——审稿与编辑、监督。

**利益冲突声明**
作者声明没有已知的财务利益或个人关系可能影响本文所述的工作。

**致谢**
本研究得到了汉阳大学研究基金(HY-2022-00000002894)的支持,同时也获得了韩国政府资助的韩国国家研究基金会(NRF)项目(MSIT,编号2022R1C1C1009927)的资助。此外,我们还要衷心感谢Branden Elvis Anuka先生对本文手稿的细致校对工作。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号