《KSCE Journal of Civil Engineering》：Multimodal Understanding of Interior Construction Scenes Based on the Bootstrapping Language-Image Pre-training (BLIP) Model
编辑推荐：
在建筑行业数字化转型的驱动下，多模态视觉-语言模型已广泛应用于施工场景感知。然而，主流方法受限于领域语义适应性差、跨模态匹配精度低以及人工标注成本高。研究人员提出了一种具有自累积语义机制的BLIP-2多模态场景理解方法。基于室内施工图像-文本数据集，采用语义渐
在建筑行业数字化转型的驱动下，多模态视觉-语言模型已广泛应用于施工场景感知。然而，主流方法受限于领域语义适应性差、跨模态匹配精度低以及人工标注成本高。研究人员提出了一种具有自累积语义机制的BLIP-2多模态场景理解方法。基于室内施工图像-文本数据集，采用语义渐进领域微调策略，以提高模型对施工特定对象和行为的描述能力。在室内翻新走廊上的实验结果表明，优化后的模型在BLEU、ROUGE-L和METEOR指标上分别达到0.14、0.44和0.35，关键场景元素召回率为0.89，显著优于原始BLIP-2模型。经验证适用于狭窄室内施工场景，所提出的轻量级模型可作为数字孪生系统的前端语义感知模块，支持智能建造中的细粒度对象识别、场景语义抽象、实时环境感知、施工行为分析和风险预警。该框架在测试场景中实现了稳定且准实时的图像解析，但其鲁棒性和跨场景可扩展性需要进一步的实验验证。与传统依赖人工和静态视觉检测方案相比，该方法减少了标注偏差，并为智能施工场地监测提供了一种创新方法。
**论文解读：基于自累积语义机制的BLIP-2模型在室内施工场景多模态理解中的应用**
**研究背景与问题**
建筑施工场地是高度复杂且动态演变的系统，涉及施工机械、材料堆放、流动工人和变化的环境条件。传统施工管理依赖二维图纸、施工进度表和人工监督日志，难以准确反映实时现场状态。尽管多源传感和智能分析技术已大幅提升施工场地的可观测性，但将海量动态数据自动转化为可解释的语义信息仍是关键瓶颈。现有方法存在领域语义适应性差、跨模态匹配精度低、人工标注成本高等问题。此外，主流视觉-语言模型（如YOLO、CLIP、原始BLIP-2）在施工场景中要么缺乏自然语言描述能力，要么因通用预训练权重而无法迭代扩展施工领域语义，导致关键元素召回率低。因此，本研究旨在降低手动文本标注偏差，实现客观、一致且精确的语义描述，并保证在高度动态、噪声干扰的施工环境中实现实时稳定的语义理解。该研究发表在《KSCE Journal of Civil Engineering》。
**研究内容与结论**
研究人员提出了一种集成自累积语义机制的BLIP-2多模态理解方法，并在室内翻新走廊施工场景中验证。构建了涵盖图像采集、文本生成和领域微调的完整多模态语义生成流程。实验结果表明，迭代的自累积语义机制有效提升了施工场景的图像-文本匹配精度。与原始BLIP-2模型相比，BLEU、ROUGE-L和METEOR指标分别提升0.04、0.09和0.09，关键场景元素召回率提升18.2%。作为数字孪生系统的轻量级语义感知模块，该模型实现了施工现场动态目标的细粒度识别和结构化语义描述，为狭窄室内施工空间的实时智能监控和自动安全风险识别提供了新方案。但该方法仅在一个室内走廊场景中测试，其鲁棒性和跨场景可扩展性仍需后续实验验证。
**主要关键技术方法**
研究人员采用BLIP-2模型作为核心框架，该模型由冻结的图像编码器（ViT-B/16）和Querying Transformer（Q-Former）组成。关键技术包括：（1）自累积语义机制：通过通用大模型Qwen生成初始伪标签文本，构建迭代语义缓存池，每五轮训练进行一次语义蒸馏，将积累的施工语义特征注入Q-Former的查询向量，实现领域语义的持续自更新；（2）语义渐进领域微调策略：基于室内施工图像-文本数据集（原始300帧图像经数据增强至6000样本，按7:1:2分割为训练、验证、测试集），对BLIP-2进行多阶段微调。数据采集来源为厦门理工学院室内翻新走廊场景，使用固定高清摄像机（6mm焦距、200万像素、1920×1080px分辨率）在1-10fps采样频率下获取。
**研究结果**
**4.2.1 实验环境与推理速度**：在单台NVIDIA RTX 3090显卡（24GB显存）工作站上，单张图像推理时间约82ms，对应稳定帧率约12.2FPS，满足室内施工场景的准实时监控需求。
**4.2.2 图像-文本生成性能分析**：通过BLEU、ROUGE和METEOR指标评估。BLEU值为0.14，表明生成文本在词汇级别匹配较高，句子简洁；ROUGE-L为0.44，反映语义结构一致性良好；METEOR为0.35，验证了模型对施工场景核心特征的语义理解与表达能力。与原始未微调BLIP-2对比，所提方法在BLEU（0.10→0.14）、ROUGE-L（0.35→0.44）、METEOR（0.26→0.35）和关键元素召回率（0.75→0.89）上均有显著提升。
**4.2.3 图像-文本模型文本生成性能分析**：在不同时间戳的图像样本上，模型能稳定识别走廊、墙壁、照明灯具等主要场景元素，并在视角和光照变化下保持高一致性。当场景元素或施工活动丰富度增加时，生成文本包含更多描述信息。在短时间内（约3分钟）场景变化小时，生成文本差异在预期范围内，展示了对静态或缓慢变化场景的稳定性。场景变化大时（如材料和工人减少），输出文本相应简化，体现了模型对整体场景变化的基本适应能力。
**讨论部分总结**
- **模型对比与性能提升**：与YOLO系列（仅输出检测框和类别，关键元素召回率0.70，领域适应性和安全隐患识别能力低）、CLIP（仅文本-图像匹配，召回率0.74，中等）和原始BLIP-2（召回率0.75，中等）相比，所提自累积语义BLIP方法实现了专业结构化描述，关键元素召回率0.89（相对提升18.2%），领域适应性和安全隐患识别能力高。
- **复杂环境鲁棒性与移动工人识别**：得益于BLIP-2的Q-Former架构，理论上在遮挡（50%以下）、光照波动和快速移动下具有识别优势，但所有实验仅在一个室内走廊场景进行，缺乏跨场景定量数据验证。
- **施工场景数字孪生生态系统定义**：构建了四层架构，包括物理实体层、数据融合层、模型计算层和应用服务层。所提模型部署在模型计算层作为前端语义感知子模块，仅负责单场景图像语义解析。
- **模型局限性**：（1）场景泛化能力有限，仅测试于室内翻新走廊；（2）对异形施工机械和精细化施工工序的语义描述存在偏差；（3）严重遮挡下仍产生少量语义幻觉；（4）原始样本仅300帧，仅通过数据增强扩充，缺乏多工地多批次原始数据支持。
**结论部分翻译**
**6. 结论**
**6.1 研究总结**
本文提出了一种集成自累积语义机制的BLIP-2多模态理解方法，并在室内翻新走廊施工场景中验证。构建了涵盖图像采集、文本生成和领域微调的完整多模态语义生成流程。实验结果表明，迭代的自累积语义机制有效提升了施工场景的图像-文本匹配精度。与原始BLIP-2模型相比，BLEU、ROUGE-L和METEOR指标分别提升0.04、0.09和0.09，关键场景元素召回率提升18.2%。作为数字孪生系统的轻量级语义感知模块，该模型实现了施工现场动态目标的细粒度识别和结构化语义描述，为狭窄室内施工空间的实时智能监控和自动安全风险识别提供了新方案。然而，所提方法仅在一个室内走廊场景中测试，本文提及的实时推理性能仅适用于实验环境；遮挡和光照干扰下的鲁棒性能仅为模型架构的理论预期，缺乏跨场景实验数据支持。因此，该框架不能声称具有普适性、全范围高鲁棒性或大规模可扩展性。与传统纯视觉检测和人工标注方案相比，所提方法在单场景内降低了人工标注成本，提升了语义描述的专业性和一致性。
**6.2 未来研究方向**
针对研究局限性，后续将从四个方向开展扩展研究：（1）扩展多场景实验数据集，采集室外工地、多层建筑和基坑等不同施工环境的原始图像，进行跨场景对比实验；（2）设计三组消融对比实验，分别移除自累积语义迭代模块、Qwen伪标签生成分支和多阶段蒸馏微调流水线，量化各独立模块对指标提升的贡献；（3）将施工规范和BIM参数信息嵌入语义累积过程，以缓解语义幻觉并提升对精细化施工工序和特殊施工机械的识别精度；（4）构建连续视频流推理框架，将单帧图像解析扩展为视频序列的实时时序分析，实现施工人员行为的连续跟踪和动态风险的时序预警，进一步提升数字孪生系统的全范围虚实同步能力。总的来说，BLIP模型在施工场景中的应用仍处于探索阶段，但其跨模态优势为施工现场语义理解开辟了新研究方向。随着后续工作中的针对性优化和领域知识深度整合，BLIP模型有望在智能施工管理、动态监控和数字孪生平台开发中发挥更实质性作用。
