《Buildings》:Youth-Oriented Public Space Regeneration in Historic Districts: A Participatory IPA-Based Evaluation in Beijing’s Fayuan Temple Area
编辑推荐:
工程项目中的建筑材料描述往往因命名约定不一致、供应商特定术语以及规格信息不完整而呈现异质性,这使得将非标准描述自动映射到标准化材料词典变得困难。现有基于规则的方法严重依赖人工构建的规则和预定义词典,限制了其适应性,而直接基于大型语言模型(large langu
工程项目中的建筑材料描述往往因命名约定不一致、供应商特定术语以及规格信息不完整而呈现异质性,这使得将非标准描述自动映射到标准化材料词典变得困难。现有基于规则的方法严重依赖人工构建的规则和预定义词典,限制了其适应性,而直接基于大型语言模型(large language model, LLM)的方法往往缺乏领域特定约束,导致材料分类和属性分解的可靠性较低。为解决这些挑战,本文提出了LLM-MSMA,一种基于LLM的多智能体框架,用于建筑材料分类和属性分解。该框架采用多尺度任务分解策略,整合了混合检索、逻辑验证和模板引导的属性分解。混合检索生成候选材料类别,随后通过基于LLM的语义推理进行精炼。逻辑验证智能体(Logic Validation Agent)进一步使用工程规则验证分类结果,而属性分解智能体(Attribute Decomposition Agent)根据分类特定模板提取结构化材料属性。该框架在一个真实世界的工程量清单数据集上进行了评估,该数据集包含从大型工程项目中收集的2912条材料记录。实验结果表明,与基于规则的基线相比,LLM-MSMA将材料分类准确率提高了43.39个百分点,属性分解F1分数提高了68.89个百分点。与直接LLM基线相比,该框架进一步将材料分类准确率提高了8.24个百分点,属性分解F1分数提高了7.31个百分点,同时达到了82.83%的精确匹配准确率(Exact Match Accuracy, EMA)。这些结果表明,将混合检索与领域特定结构化知识以及多智能体LLM推理相结合,可以提高所评估工程背景下异质材料描述的建筑材料分类和属性分解的可靠性。
**建筑信息分类与属性分解的多智能体框架LLM-MSMA研究解读**
建筑材料在工程项目中常占很大比重,其准确管理对成本估算、采购和交付至关重要。然而,实际工程中的材料描述因命名规则不一、供应商术语差异及规格信息不完整而呈现高度异质性,导致非标准描述难以自动映射到标准化材料词典。现有基于规则的方法依赖人工构建的规则和词典,适应性差;直接应用大语言模型(Large Language Model, LLM)的方法又常缺乏领域约束,造成分类与属性分解不可靠。为此,研究人员提出了LLM-MSMA——基于LLM的多智能体框架,旨在解决异质材料描述的标准化问题。该研究发表于《Buildings》。
该框架采用多尺度任务分解策略,将材料匹配拆分为分类、逻辑验证和属性分解三阶段。研究构建了标准化知识架构,包括三级材料字典、分类模板知识库和专用规则知识库。分类智能体通过规则匹配、混合检索、交叉编码器重排序及LLM推理逐步确定材料类别;逻辑验证智能体依据工程规则进行一致性检查;属性分解智能体按模板提取结构化属性。整个流程通过验证-反馈机制实现智能体间协作。
研究方法上,研究人员采用了以下关键手段:混合检索结合BM25关键词检索与Sentence-BERT语义检索;Cross-Encoder重排序;LLM推理(分类使用Qwen2.5-72B-Instruct,属性分解使用DeepSeek-V4);逻辑验证反馈。实验数据来自中国三亚某大型建筑项目,总建筑面积约405,700平方米,涵盖土建、安装、装饰、市政、园林和机械六个工程类别,共2912条材料记录。数据经过清洗、去重和专家共识标注,构成最终评估集。
研究结果分述如下:
**4.1 数据集构建**:通过清理、去重、专家共识标注等步骤形成2912条记录,确保标签可靠性。
**4.2 实验协议**:分类实验比较了规则基线、LLM直接匹配、关键词+LLM、语义+LLM、混合+LLM和完整LLM-MSMA;属性分解实验比较了规则、LLM直接匹配和LLM-MSMA。
**4.3 评估指标**:分类使用准确率;属性分解使用精确率、召回率、F
1分数和精确匹配准确率(Exact Match Accuracy, EMA)。
**4.4 实验结果与讨论**:
**4.4.1 与基线方法比较**:LLM-MSMA分类准确率达84.92%,较规则基线提升43.39个百分点,较直接LLM提升8.24个百分点;属性分解F
1达93.97%,EMA为82.83%,显著优于基线。
**4.4.2 与中间检索基线比较**:逐步引入关键词检索、语义检索和混合检索,准确率从76.68%升至83.41%,验证了混合检索的互补性。
**4.4.3 轻量级组件分析**:各组件均贡献性能,其中混合检索增益最大(+6.73个百分点),其次为重排序(+0.74)、逻辑验证(+0.41)和反馈机制(+0.36)。
**4.4.4 不同工程类别的表现**:装饰工程准确率最高(90.26%),机械工程最低(74.57%),所有类别F
1均超92%,表明跨类别稳定性。
**4.4.5 不确定性和敏感性分析**:bootstrap置信区间窄,统计稳定;Top-k检索以Top-10为最优。
**4.4.6 错误分析**:剩余错误源于业务上下文歧义和信息不完整,提示未来需融入项目级上下文。
讨论总结指出,混合检索与领域结构化知识结合能显著提高材料处理的可靠性,但当前框架主要依赖材料描述本身,无法利用更广泛的工程背景。研究结论翻译如下:本研究提出了LLM-MSMA,一种基于多尺度任务