《Expert Systems with Applications》：Text-prompted generative data augmentation and semi-supervised learning for indoor defect detection using quadruped robots
编辑推荐：
室内缺陷检测的复杂环境挑战与机器人解决方案。研究提出基于四足机器人的室内检测平台，结合生成模型与半监督学习缓解数据不足问题，实验表明其检测速度达244FPS且F1-score达0.685，优于现有方法。
向骥|陈俊杰|傅永林|陈伊莎贝尔|董臻
香港大学房地产与建筑系，香港特别行政区薄扶林道
摘要
及时发现缺陷是制定有针对性的维护计划、延长设施使用寿命的关键。尽管在部署机器人（例如无人机）进行室外缺陷检测方面已经付出了巨大努力，但对室内缺陷检测的关注却相对较少。室内缺陷检测（IDD）具有独特的特点：(a) 复杂的环境（狭窄通道、楼梯等）给数据收集带来了挑战；(b) 由于照明不均匀和视角变化导致图像特征差异显著，这使得适用于室外检测的方法在室内应用时效果较差。本研究应对这些挑战，提出了一种自动化的IDD方法。为了在具有挑战性的室内环境中（如楼梯）进行检测，我们设计了一个四足机器人平台用于采集图像。为了解决室内数据稀缺的问题，我们提出了一种新的算法框架，该框架结合了大型生成模型进行数据增强，并利用半监督学习在生成的未标记数据上进行训练。研究发现，利用四足机器人的独特移动能力，该方法能够有效检测室内缺陷。尽管缺乏训练数据，该框架仍使模型性能提升了5.03%。未来的研究可以探索机器人的自主导航以及检测到的缺陷的三维建模。
引言
建筑物是现代社会中支撑各种生活活动的人造结构。它们能否成功履行服务功能直接影响人们的生活质量。然而，全球各地的建筑物，尤其是在发达经济体中，正在迅速老化。例如，欧洲约有40%的建筑物建于1970年之前（Hartmann, 2022）。在香港，有12,000栋建筑物的使用年限超过50年（香港特别行政区, 2022）。随着时间的推移，建筑物的性能会下降，从而产生各种缺陷（如裂缝、混凝土剥落和污渍）。如果不及时修复，这些缺陷可能会持续发展，在极端情况下甚至可能导致灾难性后果（Snodgrass和Anthony, 2022）。鉴于其重要性，及时发现缺陷至关重要。
现代计算工具有望提高缺陷检测的时效性。值得注意的是，许多研究致力于通过应用机器人（如无人机）来减轻现场工作的负担（Liu等人, 2019; Cai等人, 2019; Chen等人, 2023; Hoskere等人, 2019）。机器人可以替代人类检查人类难以到达或危险的地方（如高层建筑立面），显著提高安全性和效率。这些机器人通常配备高分辨率摄像头，能够在短时间内收集大量检测图像。另一类研究旨在自动化这些图像的处理以进行缺陷检测，这得益于深度学习（DL）的快速发展——一种端到端的机器学习模型，能够以数据驱动的方式自动学习与任务相关的特征（Ian Goodfellow等人, 2016; LeCun等人, 2015）。通过应用DL，可以批量处理航空图像，高精度地提取与缺陷相关的信息（Cha等人, 2017; Gao和Mosalam, 2018; Cheng和Wang, 2018; Ma等人, 2021）。尽管已经取得了显著进展（Long等人, 2021; Qi等人, 2022），现有的缺陷检测研究主要集中在室外场景中的外部元素（如立面），因为这些场景的空间开阔且光照充足。
室内缺陷的严重性不亚于室外缺陷。这是因为许多结构关键部件（如承重柱）位于建筑物内部。然而，现有的室外缺陷检测方法难以直接应用于室内场景。这主要源于两个挑战：
-首先，室内环境更为复杂，使得基于无人机或传统轮式机器人的检测变得困难。一个典型的例子是楼梯，空间狭小且地形崎岖。在香港、东京和纽约等人口密集的城市，这种封闭性和复杂性的特点尤为明显。
-其次，室内缺陷的视觉特征与室外缺陷有显著差异，这使得在室外数据上训练的检测模型无法直接应用于室内场景（见图1）。图1展示了阻碍泛化的三个主要因素：首先是由于人工照明、自然光和阴影的复杂组合导致室内照明条件变化大；其次，视角（远场、上视角等）与室外近场和正交视角有很大不同；最后，室内检测会受到扶手、海报和电缆等前景物体的遮挡。目前的研究主要集中在室外检测上，可用于训练室内检测模型的数据集也非常有限。
鉴于这一研究需求，本研究旨在通过解决上述挑战来开发一个系统的IDD框架。为了穿越复杂且封闭的室内空间，我们设计了一个基于四足机器人的检测平台。该平台配备了高分辨率摄像头和机载计算单元，能够实时采集和处理室内图像。为了解决室内数据稀缺的问题，我们采用文本驱动的扩散模型进行数据增强，并利用半监督学习策略进行网络训练。我们的贡献包括：
-从理论角度来看，本研究正式提出了室内缺陷检测问题，并阐明了其中的挑战来源。我们收集并公开了一些室内缺陷图像，这些图像可以作为未来IDD研究的通用基准。
-本研究提出了一种基于四足机器人的检测平台。其腿部运动机制和机载计算单元使平台具备了在封闭和复杂室内环境中进行检测的独特能力。
-我们提出了一种新的IDD算法框架，以解决数据稀缺问题。该框架结合了大型生成模型生成高保真室内缺陷图像的能力，以及半监督学习模型在生成数据上进行训练的可扩展性。我们的模型在单颗GPU A5000上的检测准确率为71.05%，在机器人机载CPU上的检测速率为15 FPS，其速度和准确性均优于现有的室内缺陷检测方法。它扩展并丰富了无监督/弱监督训练领域，并为IDD提供了具体的应用背景。
部分摘录
机器人化建筑检测
机器人技术的进步促使人们越来越多地用机器人替代人力完成繁琐、重复性和危险性的工作（Ben-Ari和Mondada, 2018）。在建筑、工程、施工和运营（AECO）行业中，配备了先进传感设备的机器人技术已被应用于各种建筑检测应用，如缺陷检测（Liu等人, 2020）和室内空气质量监测（Jin等人, 2018）。建筑检测可以分为室外和室内两部分
四足检测平台的发展
与基于轮式运动的传统无人机不同，四足机器人拥有四条腿，移动方式类似于动物的步态。这一特性使四足机器人能够适应不平坦的表面、台阶等轮式机器人难以到达的区域。因此，四足机器人能够适应室内检测所需的复杂环境。在本节中，我们将详细介绍基于四足机器人的检测平台的配置和开发细节
概述
图4展示了所提出的IDD算法框架。为了解决室内缺陷数据的独特性和稀缺性问题，我们使用Stable Diffusion模型进行数据增强。通过设计文本提示，我们将室内缺陷特征整合到这些提示中以生成室内缺陷数据。为了筛选大量生成的数据，我们利用现有的缺陷检测模型进行自动筛选，确保数据的质量
实验
本实验主要分为两部分。第一部分侧重于测试分割网络的性能，包括数据集准备、Mean Teacher方法的消融实验以及与现有方法的性能比较。第二部分是在实际建筑内部对QIP进行现场测试，以评估其性能。实验的第一部分在配备GPU（NVIDIA A5000）和第12代
与现实世界中的结果相比
讨论
过去几个世纪的快速现代化创造了宏伟的建筑环境，但也带来了妥善维护这些建筑的需求。在发达经济体中，建筑物的老化问题日益严重。正是在这种背景下，近年来关于建筑缺陷检测的研究蓬勃发展。与主要关注开阔室外空间的研究不同，本研究专注于封闭室内空间的缺陷检测
结论
本文提出了一种系统化的室内缺陷检测框架，结合了四足机器人平台和弱监督半监督学习模型。该框架旨在解决IDD面临的两个主要挑战：(a) 室内空间封闭且有时环境恶劣；(b) 室内缺陷的视觉特征与室外缺陷有显著差异，以及缺乏足够的机器人采集的室内数据来支持模型训练。
利益冲突声明
作者声明他们没有已知的利益冲突或个人关系可能影响本文报告的工作。
致谢
本研究得到了香港研究资助局（17202424, 17205025）和水利工程智能建造与运营国家重点实验室（HESS-2303）的支持。
