《Engineering Applications of Artificial Intelligence》：A computer vision-based approach for detecting tenon pull-out damage in ancient timber structures
编辑推荐：
基于计算机视觉和YOLOv7改进的古木榫卯松动检测方法研究，提出专用数据集构建、目标检测算法优化及松动量化模型，实现文化遗产保护中高精度非接触式检测。
Juan Wang|Yuan Yao|Yujing Yuan|Lei Tan|Xiaohui Yang|Na Yang
北京交通大学土木工程学院，北京，100044，中国
摘要
以榫卯结构为特征的古代木结构是中国和东亚地区重要的文化遗产。准确且快速地检测榫卯连接的拔出情况对于确保结构的安全性和稳定性至关重要，从而保护这一无价的遗产。传统的榫卯拔出损伤检测方法面临数据集稀缺、背景复杂、木材纹理干扰以及缺乏合适的量化方法等问题。鉴于榫卯连接在古代木结构结构完整性中的关键作用，采用现代的非破坏性损伤识别技术显得尤为重要。计算机视觉作为一种非破坏性方法，特别适合这一目的。为了应对这些挑战，本文提出了一种基于计算机视觉的方法，用于精确定位和量化古代木结构中的榫卯拔出损伤。建立了一个全面的检测流程，包括数据集构建以验证准确性、损伤位置识别以及拔出程度的量化。与仪器测量结果的比较分析显示，该方法的识别精度很高。这种方法为评估古代木结构中榫卯连接的状态提供了参考，显著有助于文化遗产的科学保护。
引言
古代木结构承载着悠久的中国文化历史，是中国宝贵的文化遗产（Wang等人，2022年）。古代木结构的一个典型特征是使用榫卯连接来连接木框架中的梁和柱。榫卯连接还充当了木结构系统中能量 dissipate 的关键机制。然而，由于环境和材料的影响，榫卯连接经常发生拔出损伤，这对结构安全构成威胁，因此需要及时和准确的检测。
在传统的检测方法中，人工视觉检查和尺子测量使用的仪器种类较少，经济成本较低，但存在较强的主观性、较高的漏检和误检率以及效率低下等问题（Liu等人，2019年）。实施基于传感器的系统（Yang等人，2022年），如位移传感器，可以持续监测古代木结构的健康状况，并对结构异常进行实时预警。然而，建立和维护监测系统成本较高，需要专业工程师。因此，研究新的榫卯拔出损伤检测方法非常重要。
此外，目前用于结构健康监测系统的传感器和设备主要是接触式的，需要安装在古代结构的表面。这不仅可能对结构造成物理损坏，还可能影响其美观。因此，迫切需要开发非接触式、方便、快速且经济高效的检测方法，以满足大规模、常规检测榫卯连接的需求，同时满足历史结构保护所需的非破坏性要求。计算机视觉技术非常适合具有文化遗产保护要求的古代结构，因为它具有客观性强、自动化程度高、非接触式、成本低等优点（Tang等人，2024年）。最近，深度学习成为计算机视觉领域的一个新的研究热点，这项技术在土木工程结构的损伤检测领域受到了广泛关注（Wang等人，2025年；Cha等人，2024年）。数据集和算法是深度学习中的两个关键因素。作为深度学习的输入，数据携带了训练深度学习算法所需的信息和知识。许多学者已经为土木工程结构建立了多个开源数据集。例如，RDD2022（Arya等人，2022年）和DA-RDD（Lin等人，2023年）用于自动道路损伤检测。其他数据集用于建筑损伤检测，如xFBD（Melamed等人，2023年）、QuickQuakeBuildings（Sun等人，2024年）、CUBIT-Det（Zhao等人，2024年）或其他现代结构。然而，目前公开可用的古代木结构损伤检测数据集很少。
在计算机视觉的深度学习算法中，对象检测算法为每个对象分配一个包含类别和位置信息的边界框，同时具有计算成本低和推理速度快的优点（Deng等人，2022年）。深度学习技术的引入使传统的计算机视觉算法能够适应更复杂的环境条件，实现实时检测，并提高准确性和可靠性（Zhang等人，2022年；Zhang等人，2026年）。作为一类对象检测算法的代表，YOLO（You Only Look Once）（Redmon等人，2016年）使用单个卷积网络同时预测对象的类别和位置，而两阶段算法则包括单独的区域提议和对象分类阶段。这使得YOLO系列成为一种快速、稳健且广泛采用的实时对象检测算法（Yang等人，2024年）。许多学者使用并改进了YOLO来检测各种损伤。例如，Guo等人（2022年）改进了YOLOv5s模型以检测各种道路表面疾病。Cui等人（2022年）提出了适用于混凝土风蚀损伤的MHSA-YOLOv4。Mishra等人（2024年）提出了一种基于YOLOv5的结构缺陷检测方法，用于检测四种缺陷：变色、裸露的砖块、裂缝和剥落。Wu等人（2022年）和Liu等人（2022年）研究了轻量级的YOLOv5网络，专门用于检测洞穴壁画损伤和地面建筑损伤。使用YOLO进行榫卯拔出损伤检测可以实现榫卯连接的定位和初步评估。然而，古代木结构中复杂的背景和壁画的特点增加了检测过程的难度，导致结果不够准确。
为了全面评估榫卯拔出损伤的程度，需要进一步精确量化榫卯拔出的量。由于裂缝和松动螺栓的量化通常是通过数字图像处理（DIP）技术来确定的，学者们通常依赖这些技术来量化结构位移、裂缝和螺栓松动等损伤的程度。对于结构位移测量，学者们使用基于模板匹配算法的方法（Ye等人，2015年）、特征点跟踪技术（Khuc和Catbas，2018年）等方法，通过监测特征点的坐标变化来评估结构变形。例如，Yu等人（2007年）使用Sobel和Laplacian算子进行图像处理来检测裂缝。Yang等人（2025年）在混凝土裂缝检测中使用了Sobel技术，以最小化图像边界，从而在保留关键图像信息的同时减少数据量。Zhu等人（2011年）使用基于渗透的方法来计算裂缝属性。Cha等人（2016年）使用Hough变换和其他图像处理技术来计算螺栓头的水平和垂直长度。Park等人（2015年）提出了一种基于边缘检测和Hough变换的技术来测量车辙的旋转角度。然而，这些方法不适用于量化榫卯拔出的量。
针对上述在古代木结构中检测榫卯拔出损伤的挑战，本文的核心研究目标是利用计算机视觉技术进行有效检测。为了实现这一目标，第一步是使用深度学习算法精确定位榫卯连接并对其进行初步评估。整个研究的关键前提和基础是构建一个全面的数据集。该数据集应包括古代木结构中榫卯连接的图像，能够充分满足深度学习算法的多样化需求。为此，从多个渠道获取图像以确保覆盖广泛的损伤场景。通过使用半自动图像标注方法，提高了标注效率，同时保持了准确性。此外，通过结合离线和在线数据增强技术，数据集得到了丰富，使其具有出色的泛化能力。这样，就建立了一个适合深度学习应用的榫卯连接损伤数据集。
本文的结构如下。第2节详细介绍了专注于古代木结构中榫卯拔出损伤的专用数据集的构建过程。第3节介绍了针对这种损伤类型的独特特点对YOLOv7的改进，以及新的损伤量化方法。第4节概述了一系列精心设计的验证实验，全面评估了算法在不同场景下的有效性、准确性和鲁棒性。最后，第5节总结了主要发现，强调了该研究对历史木结构保护的贡献，并讨论了将所提出的方法扩展到其他结构损伤类型的潜力以及未来改进的方向。
数据集构建
为了实现古代木结构中榫卯连接拔出损伤的自动识别和量化，构建高质量图像数据集是整个研究的前提和基础。本章主要从三个方面介绍了构建训练数据的过程：多源图像采集方法、半自动
榫卯连接拔出检测方法
检测古代木结构中榫卯连接的拔出损伤包括两个关键步骤：改进YOLOv7算法以准确定位榫卯连接并初步确定其状态，本节为YOLOv7设计了两种改进策略。这些策略旨在实现最佳的榫卯拔出定位性能，也可以应用于其他需要YOLOv7改进的场景。
榫卯连接拔出检测方法验证实验
榫卯连接拔出检测实验包括两部分：拔出定位方法实验和榫卯拔出量化方法实验。本章介绍了这两个实验的设计和结果分析。
结论
为了满足对古代木结构进行常规检测的高频率需求，并符合文化遗产保护中的非破坏性测试严格标准，本文提出了一种基于计算机视觉技术的检测方法。该方法旨在识别榫卯拔出并量化其程度，结合深度学习算法和数字图像处理技术，实现拔出连接的快速准确定位和拔出程度的量化。
CRediT作者贡献声明
Juan Wang：写作 – 审稿与编辑、撰写原始草稿、可视化、验证、方法论、资金获取、形式分析、概念化。Yuan Yao：撰写原始草稿、软件、方法论、形式分析。Yujing Yuan：写作 – 审稿与编辑。Lei Tan：方法论、概念化。Xiaohui Yang：方法论。Na Yang：监督、资金获取。
利益冲突声明
作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。
致谢
本工作得到了中央高校基本研究经费（2023JBZY028）和学科创新海外专家引进项目（B13002）的支持。
