基于扩散的域锚定细化技术用于提升车辆凹痕检测效果

《Engineering Applications of Artificial Intelligence》：Diffusion-based domain-anchored refinement for vehicle dent detection enhancement

　　

金敏植|Joung Junegak

韩国汉阳大学工业数据工程系，首尔04763

摘要

车辆凹痕检测在基于人工智能的车辆检查中非常重要，应用于保险理赔评估、租车和汽车共享车辆归还检查以及二手车状况报告。然而，无缺陷的车辆图像相对容易收集，而带有凹痕的图像则较为稀少且标注成本较高。与划痕或污染不同，凹痕是由撞击引起的几何变形，其外观主要受光照和观察角度的影响，而非稳定的局部纹理。这些特性使得可靠的凹痕检测变得困难，因为训练数据通常有限且不平衡，同时凹痕的外观会随着光照和观察角度的变化而显著变化。此外，根据凹痕的位置，它们还可能表明存在功能或装配相关的问题，包括面板错位或模块位移。为了解决这些问题，本研究提出了一种基于扩散的领域锚定细化（Diffusion-Based Domain-Anchored Refinement）方法，用于训练车辆凹痕检测器。该方法使用基于盒子的补丁生成凹痕图案，通过领域锚定的图像条件反向扩散进行细化，并将细化后的补丁叠加到干净的车辆表面上，并自动添加边界框标签。在客户构建的数据集和汽车损坏数据集上的实验表明，与现有的表面缺陷生成方法相比，该方法平均将Fréchet Inception Distance降低了22%，Kernel Inception Distance降低了38%。对于下游的凹痕检测，生成的数据在交并比阈值为0.50时平均精度提高了2.47%，在0.50到0.95的阈值范围内平均精度提高了3.12%。这些结果支持通过实用的训练时间增强来实现可扩展且成本效益高的车辆凹痕检测。

引言

车辆损坏通常由交通事故和道路事故引起。特别是车身面板上的凹痕型损坏，即使是在相对较小的撞击下也可能发生，这种损坏直接影响到残值评估、保险赔偿和客户满意度。因此，准确及时地评估此类损坏是保险公司、应急响应机构以及租车和汽车共享运营商的核心任务（Patil等人，2017年；Weber等人，2020年；Weber等人，2022年）。然而，与简单的划痕和污渍等缺陷不同，凹痕型损坏往往难以通过视觉察觉，因为其可见性强烈依赖于观察者的光泽、反射和观察角度。此外，修复凹痕需要昂贵的车身修理费用，这带来了巨大的经济负担。除了外观上的退化外，凹痕型损坏还可能表明车身存在几何变形。特别是位于功能区或装配敏感区域（如车门、面板接缝、保险杠、前灯周围或传感器附近的外部面板）的凹痕，可能暗示面板错位、开启和关闭困难、密封性能下降、照明模块位移或外部表面下的隐藏损坏等潜在风险（Expósito等人，2023年；He和Chang，2014年；Minnetti等人，2020年）。因此，准确的凹痕定位对于视觉损伤评估至关重要，可以支持后续的手动检查和维修优先级决策。传统上，熟练的检查员会进行现场检查，他们通过视觉检查车辆并记录损坏的位置和严重程度；然而，这些程序非常耗时且成本高昂。

因此，最近的研究越来越多地探索基于计算机视觉的方法来自动评估车辆外部损坏和缺陷（Patil等人，2017年；Zhai等人，2024年；Wang等人，2023年；Zhang等人，2020年）。特别是基于深度学习的对象检测方法已被用于在实际操作环境中准确检测车辆外部损坏（Dwivedi等人，2019年；Patel等人，2020年；Li等人，2018年）。然而，训练此类模型的一个主要障碍是数据不平衡。在现实世界的工业环境中，阳性（即有缺陷）样本的数量远少于阴性（即无缺陷）样本。这种不平衡会破坏模型训练的稳定性，并导致模型过度拟合，偏向于特定的缺陷模式。因此，为了确保可靠的缺陷识别性能，多样化数据分布是必要的，以缓解数据不平衡问题。

图像生成模型可以通过使用真实的合成样本来扩展训练数据集来缓解数据不平衡（Zhao等人，2025年）。早期的表面缺陷生成方法主要采用基于GAN的方法（Goodfellow等人，2020年）来合成缺陷图像，从而缓解数据稀缺问题。随后，引入了基于扩散的生成方法，如DDPM（Ho等人，2020年）。特别是潜在扩散模型（LDMs）（Rombach等人，2022年）仅使用少量阳性样本就能生成高质量图像，利用大规模预训练获得的丰富表示。

然而，现有的生成方法在再现表面的三维几何变形方面存在几个限制，尤其是在车辆凹痕方面。首先，大多数现有方法关注的是由外观和颜色变化引起的浅层纹理缺陷（Zhang等人，2022年；Kim和Lee，2024年；H. Li等人，2025年）。因此，它们无法充分捕捉凹痕的特征，而这些特征主要是通过与周围未损坏区域的对比来感知的。其次，凹痕对梯度变化和相对于邻近区域的曲率变化非常敏感。因此，凹痕的视觉外观会因成像流程、光照条件和损坏程度等因素而在不同领域之间存在显著差异（Arnal等人，2017年；Potasz等人，2024年）。第三，使用直接生成方案（Ruiz等人，2023年）精确编码几何约束以确保缺陷位于车辆表面（例如面板区域）是困难的。因此，它们在控制这些缺陷的大小和位置方面存在固有的局限性。

因此，本研究探讨了一种专门针对凹痕的生成细化方法是否能够产生真实且对检测器有用的训练样本。这种关注反映了实际的车辆检查场景，其中带有凹痕的图像较为稀少，而无缺陷的车辆表面图像则容易获得。

为了克服这些限制并进一步推进自动车辆损坏评估，本研究提出了一种专门针对凹痕型缺陷的生成方法，称为基于扩散的领域锚定细化（Domain-anchored refinement，简称DAR-Diffusion）。该方法包括以下三个阶段：首先，仅使用少量示例通过预训练的LDM（Rombach等人，2022年）生成多样化的凹痕表示。在此阶段，使用边界框对齐的补丁而不是像素级掩码来保持凹痕边界附近的照度和几何连续性。接下来，通过提出的领域锚定细化方法同时去除噪声并进行领域对齐，从而获得高质量的细化缺陷补丁。最后，将细化后的缺陷补丁叠加到干净的车辆表面上，并从叠加坐标自动派生训练标签。

即使在缺陷样本有限的情况下，所提出的方法也显著增加了凹痕样本的多样性和规模，从而显著提高了下游的损坏评估性能。在客户构建的数据集和公共基准数据集上进行了广泛的实验（Wang等人，2023年）。结果表明，DAR-Diffusion方法在图像质量方面始终优于最先进的表面缺陷生成方法，并在Fréchet Inception Distance（FID）上平均降低了22%，在Kernel Inception Distance（KID）上平均降低了38%。对于下游检测，它在交并比阈值为0.50时的平均精度（mAP@[0.50]）提高了2.47%，在0.50到0.95的阈值范围内的平均精度提高了3.12%。

总之，本文做出了两项贡献。首先，它提出了一种针对以几何特征为主的凹痕缺陷的生成增强方法，这些缺陷目前尚未得到现有以纹理为导向的方法的有效支持。其次，它提出了一种集成设计，结合了基于盒子的上下文补丁生成、领域锚定细化和受控叠加，以生成特定于凹痕的合成训练数据。

本文的其余部分组织如下：第2节回顾了关于车辆损坏检测和表面缺陷生成以缓解数据不平衡的先前工作。第3节详细介绍了所提出方法的各个阶段：缺陷补丁生成、细化和将细化后的缺陷补丁集成到干净的车辆表面上。第4节报告了与最近替代方法和基线的定量比较以及消融研究。第5节讨论了设计原理和实际应用性，第6节总结了贡献和未来研究的方向。

章节片段

文献综述

本节回顾了沿着两个主要方向进行的相关研究。首先，调查了关于车辆损坏检测的先前研究，并总结了自动检测的主要方法。其次，研究了合成真实缺陷图像的生成数据增强方法，特别强调了包括凹痕类型案例在内的缺陷检测。基于这两个研究方向，探讨了领域锚定细化方法的必要性

方法

本研究介绍了DAR-Diffusion，该方法利用领域锚定细化来缓解车辆凹痕检测中的数据不平衡问题。所提出的方法被设计为一个训练数据构建框架。其输入是一小部分带有边界框注释的真实凹痕图像和一大组无缺陷的车辆表面图像。其输出是合成的带有凹痕的车辆图像及其对应的边界框标签，可以直接用于训练对象检测器。

实验

为了证明所提出方法的有效性，在客户构建的数据集和公共基准数据集上进行了全面评估。实验包括与先前研究中使用的生成模型的比较，以及评估所提出方法的逐步贡献和用于缺陷生成的训练集比例的影响的消融研究。这些评估表明，所提出的方法不仅生成了真实且多样的缺陷

讨论

本节讨论了所提出方法的设计有效性和实际应用性。比较了在不同提示和先验条件设置下的细化设计，并评估了不同合成数据增强比例下的检测性能。

结论

本研究提出了一种称为DAR-Diffusion的方法，用于解决基于领域锚定细化的车辆表面凹痕类型缺陷检测中的类别不平衡问题。本研究的主要贡献总结如下：首先，引入了基于DreamBooth引导的图像条件反向扩散的领域锚定细化，以提高生成凹痕补丁的视觉真实性和领域一致性，超越了单一扩散模型所能达到的水平。其次，

CRediT作者贡献声明

金敏植：撰写——原始草稿、可视化、验证、方法论、数据整理、概念化。Joung Junegak：撰写——审稿与编辑、监督、资源管理、项目协调、资金获取、概念化。

利益冲突声明

作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。