基于微调Stable Diffusion模型的数据增强方法用于石窟寺顶板裂隙识别的案例研究

《Underground Space》：A case study on fracture identification of grotto temple roof with data augmentation method based on fine-tuning stable diffusion model

　　

石窟寺顶板层状岩体内部发育的裂隙相互交错，直接削弱了结构的整体稳定性。准确高效地识别顶板裂隙对于指导保护工作至关重要。然而，训练数据多样性的不足往往限制了裂隙识别模型的性能。为解决这一问题，研究人员采用一种简化的受ControlNet启发的微调扩散框架进行数据增强，旨在提高裂隙识别的准确性和鲁棒性。该方法利用了石窟寺顶板岩体表面的可见光与红外融合图像数据集。研究人员训练了一个微调神经网络，引导稳定扩散（Stable Diffusion）模型生成多样化的合成裂隙图像，并构建了不同真实/生成图像比例的复合数据集用于训练。通过多种模型的对比实验，评估了在复合数据集上的识别性能。结果表明，红外-可见光融合通过整合互补模态信息显著增强了裂隙检测能力。在微调过程中，真实图像与生成图像之间的最大均值差异先减小后波动，特征空间对齐度提高了48.4%。与传统的几何增强方法相比，所提方法取得了更高的精度。在真实与生成图像比例为4:1时达到最佳性能，此时模型的F₁分数达到74.41%，体现了数据集多样性与保真度之间的平衡。更高比例的合成数据会降低性能。在评估的架构中，U-Net最能保留裂隙边界和结构细节。通过将红外-可见光融合与基于扩散的数据增强相结合，该研究为石窟寺顶板破坏的精准防治提供了技术上可行的框架。

石窟寺是重要的文化遗产载体，其顶板岩体在长期自然和人为因素作用下发育多尺度裂隙，裂隙网络直接控制岩体力学行为与结构稳定性，尤其顶板是最易失稳部位，准确识别裂隙对安全评估与保护决策至关重要。然而，顶板裂隙类型多样、尺度不一、分布不规则，且常被烟熏结壳、表面粉化或剥落覆盖，导致高精度识别困难。可见光成像分辨率高但易受遮盖和光照影响，红外热成像可探测覆盖性裂隙但对比度与边缘模糊，将两者融合具有互补优势。此外，深度学习模型性能依赖训练数据质量，而石窟保护遵循最小干预原则，样本获取受限，训练数据多样性不足严重制约模型性能。为此，需要发展小样本条件下提高裂隙识别精度的方法。

研究人员以四川安岳圆觉洞（Anyue Yuanjue Cave）石窟寺顶板为研究对象，