利用自适应卷积神经网络（CNN）、变换器特征融合（Transformer Feature Fusion）和对比学习（Contrastive Learning）技术实现自动化自由形式桥梁检测图像解读

《AUTOMATION IN CONSTRUCTION》：Automated free-form bridge inspection image interpretation using adaptive CNN, transformer feature fusion, and contrastive learning

自动生成桥梁检查图像的描述性句子方法研究，提出基于BLIP的视觉语言模型结合CNN-Transformer混合特征提取框架、自适应特征加权模块和对比学习，有效捕捉桥梁组件、缺陷及空间关系，在CIDEr和SPICE指标上显著优于基线，为工程领域提供高效可解释的自动化检测方案。

　　

王胜义|诺拉·埃尔-戈哈里

伊利诺伊大学厄巴纳-香槟分校格兰杰工程学院土木与环境工程系，美国伊利诺伊州厄巴纳市马修斯大道205号，邮编61801

摘要

现有的桥梁检测图像分析方法受到手动注释的依赖、捕捉桥梁组件与缺陷之间关系的能力有限，以及依赖于刚性预定义模板的限制。本文探讨了如何从桥梁检测图像中自动生成自由形式的、人类可读的描述性句子，以捕捉桥梁组件、缺陷及其关系的问题。提出了一种基于视觉语言模型的方法，该方法利用了自举式语言-图像预训练（BLIP），结合了混合CNN-Transformer特征提取框架、自适应特征加权模块进行特征融合，并采用对比学习来增强图像与文本之间的语义对齐。该方法取得了优异的性能（CIDEr评分为183.9，SPICE评分为28.6），在桥梁检测图像-文本对数据集上超越了现有的最佳基线方法。这些结果为桥梁工程师和交通机构提供了一种更高效、更易于解释的自动化检测方法。所提出的框架可以启发未来将视觉语言模型扩展到更广泛的基础设施检测和状况评估任务的研究。

引言

传统的桥梁检测方法依赖于人工视觉评估，这种方法耗时、劳动密集、成本高、主观性强且可能存在安全隐患[16]。人工检测还需要熟练的专业人员来评估观察到的缺陷的严重性和影响。随着维护预算的有限、成本的上升以及熟练劳动力的短缺[55]，迫切需要更高效、准确和可扩展的自动化检测方法。除了提高状况评估的质量和可靠性外，自动化方法还可以简化检测流程、提高效率、降低成本，并提升安全性和运营性能[17]。

无人机（UAV）的快速发展和深度学习算法的突破，加上计算能力的提升，极大地激发了通过基于图像的分析来自动化桥梁检测的兴趣。越来越多的研究证明了数据驱动的桥梁检测方法的可行性和适用性，这些方法利用图像分析来监测结构健康状况并识别缺陷[[60]，[61]]。例如，刘等人[44]开发了Mamba-Enhanced HRNet，用于在像素级别进行裂缝的语义分割。杨等人[66]开发了一种基于Transformer的无锚点一次检测（YOLO）方法，以在运动模糊和强光照等挑战性条件下提高各种缺陷的检测能力。尽管这些研究很重要，但现有的从桥梁检测图像中提取信息的方法在三个方面存在局限性。首先，它们通常依赖于手动注释来分割和检测桥梁组件和缺陷，这一过程耗时且需要领域专业知识。其次，提取的组件与缺陷之间的关系（例如，甲板上的裂缝）没有得到很好的捕捉或连接。大多数现有方法将组件和缺陷的检测视为独立的任务，没有考虑它们之间的语义或空间关联。这些关系对于理解观察到的缺陷的背景和重要性以及捕获准确评估桥梁状况所需的信息至关重要。例如，甲板上的裂缝与梁上的裂缝可能在维护决策的严重性和紧迫性上有所不同。第三，现有的信息提取方法通常基于刚性的、基于模板的字幕方法，假设感兴趣的对象类别是已知且固定的，并且图像只包含这些有限的类别。这种假设限制了它们的描述能力，因为这些方法往往难以捕捉复杂的关系、上下文线索或超出这些固定模板的属性。例如，描述更细粒度的缺陷类别（如剥落与网状剥落）、行人、修复区域或不同形式的植被可能无法适应预定义的类别或结构。为了解决这些知识空白，本研究提出了一种通过生成自由形式的、人类可读的描述性句子来解释现场桥梁检测图像的方法。该方法涉及识别桥梁检测图像中的组件和缺陷，理解它们之间的关系，并用自然语言表达这些信息。建筑、工程和建筑行业（AEC）领域现有的图像字幕方法（例如[13]，[56]）在捕捉和表达复杂信息方面的能力有限，因为它们通常依赖于限制表达能力和适应性的固定模板。此外，当前大多数方法要么专注于使用卷积神经网络（CNN）进行局部特征提取，要么专注于使用Transformer进行全局上下文建模，而没有结合两者的优势。这可能会限制模型在不同规模的桥梁组件、缺陷和背景场景之间的泛化能力。此外，一个主要挑战是桥梁图像-文本数据对的稀缺性和质量较差（例如，高噪声），这限制了为基础设施检测定制的有效模型的训练能力。

为了解决这些挑战，本文提出了一种基于视觉语言模型的方法，用于提取桥梁缺陷信息并生成人类可读的自由形式描述性句子，该方法利用了自举式语言-图像预训练（BLIP）及其来自其他大规模来源的视觉语言预训练数据。这一目标分为三个目标：（1）识别桥梁组件和缺陷并捕捉它们之间的关系；（2）开发一个结合局部和全局图像特征的强大特征提取框架，以处理不同的规模；（3）生成准确、具有上下文意识的自然语言描述，以表达这些发现。该方法提出了并使用了三个新颖的模块。首先，提出了一个多尺度感知混合特征提取框架（HFEF），结合了CNN和Transformer的优势，以提高模型性能。HFEF通过多尺度策略捕捉桥梁检测图像的局部细节特征和全局特征。CNN层专注于提取局部特征，而Transformer层处理全局信息，增强了模型在图像中识别更强大特征的能力。其次，提出了一个自适应特征加权模块（AFWM），实现了全局和局部特征的自适应融合，以提高模型的整体准确性和鲁棒性。第三，还应用了对比学习。在图像-文本、图像-图像和文本-文本对上进行对比学习，可以增强模态间和模态内的语义对齐，减少相似图像或文本之间的语义不对齐问题。

相关工作

本节回顾了与所提出方法相关的工作。2.1节介绍了本工作的三个关键主题的背景：图像字幕、预训练和对比学习。2.2节回顾了桥梁检测图像分析的最新进展，并指出了激发本研究的知识空白。

用于桥梁检测图像解释的提出的图像字幕方法

本文提出了一种基于视觉语言模型（VLM）的图像字幕方法，用于生成描述桥梁组件、缺陷及其关系的描述性字幕。为了在没有大规模、高质量领域特定数据的情况下实现有效的字幕生成，采用了迁移学习策略。该方法利用了BLIP模型[37]的图像-地面文本解码器的预训练权重，这些权重最初

实验结果与讨论

所提出的图像字幕方法在桥梁检测图像-文本对上进行了训练和测试。进行了一系列实验来评估：（1）将所提出方法与基线模型BLIP在桥梁检测图像上的性能进行比较（第4.3节）；（2）COCO Caption数据集对模型性能的影响（第4.3节）；（3）结合混合特征提取框架（HFEF）和自适应特征加权模块（AFWM）的影响

局限性

本文承认了四个局限性。首先，所提出方法在各种桥梁结构、材料、缺陷类型和位置上的泛化能力尚未得到充分评估。与其他基于机器学习的方法一样，该方法的有效性取决于训练数据的质量和代表性。虽然该方法在所使用的数据集上表现良好，但它可能无法完全捕捉现实世界场景的多样性，尤其是在变化和具有挑战性的情况下

对知识体系的贡献

本研究提出了一种从检测图像自动生成桥梁状况描述性句子的方法，从四个主要方面推进了桥梁检测自动化领域的发展。首先，据作者所知，这是首批基于视觉语言模型（VLM）自动为桥梁检测图像生成自由形式字幕的方法之一，这些字幕描述了桥梁组件、缺陷或修复及其关系。该方法还

结论与未来工作

本文提出了一种基于视觉语言模型（VLM）的方法，用于从检测图像中自动提取桥梁缺陷信息并生成人类可读的描述性句子。该方法包括四个主要组成部分。首先，它利用自举式语言-图像预训练（BLIP）来利用领域外的知识。其次，多尺度感知混合特征提取框架（HFEF）结合了CNN和Transformer，以提取多样的视觉特征并提高

CRediT作者贡献声明

王胜义：撰写——原始草稿、可视化、验证、软件、方法论、调查、形式分析、数据管理。诺拉·埃尔-戈哈里：撰写——审阅与编辑、验证、监督、资源管理、项目行政、方法论、调查、资金获取、形式分析、概念化。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

致谢

作者感谢国家科学基金会（NSF）的支持。本文基于NSF在Grant No. 2305883下的资助。这项工作使用了伊利诺伊大学厄巴纳-香槟分校通过CIV230015分配的Advanced Cyberinfrastructure Coordination Ecosystem: Services & Support (ACCESS)计划提供的NCSA Delta GPU，该计划得到了国家科学基金会的资助，资助编号为#2138259、#2138286、#2138307、#2137603和#2138296。任何观点、发现和结论或