《Image and Vision Computing》：Few-shot road surface defect detection using enhanced multi-level multi-scale graph neural network
编辑推荐：
在复杂环境下进行路面缺陷检测由于数据稀缺及细节感知不足而仍具挑战性。研究人员提出一种稳定扩散与分形纹理混合数据增强算法（DFH?Enhancement，stable diffusion and fractal texture hybrid data augme
在复杂环境下进行路面缺陷检测由于数据稀缺及细节感知不足而仍具挑战性。研究人员提出一种稳定扩散与分形纹理混合数据增强算法（DFH?Enhancement，stable diffusion and fractal texture hybrid data augmentation algorithm）以生成保留关键语义信息的恶劣环境图像用于模型训练。研究人员同时提出一种面向少样本场景的增强多尺度图神经网络（MSKA?GNN，enhanced multi?scale graph neural network），该模型通过图神经网络（CNN）与超像素区域聚合将图像转换为含多尺度信息的图数据，采用 Kolmogorov–Arnold 网络（KAN，Kolmogorov–Arnold Network）替代多层感知机（MLP，Multi?Layer Perceptron）以增强图卷积的非线性拟合能力，并结合多尺度特征融合（MSFF，Multi?Scale Feature Fusion）与双注意力机制（DAM，Dual Attention Mechanism）优化特征提取。研究人员在两个公开数据集上的实验表明，MSKA?GNN 优于七种现有先进模型，准确率达到 81.1%。
研究背景方面，自动驾驶技术正推动车辆悬架系统由被动响应转向全主动控制，需依据路面检测结果实时调节阻尼以提升乘坐舒适性与稳定性，而全主动悬架系统的有效性高度依赖于对路面缺陷（如裂缝、坑洞）的准确检测，因此路面缺陷检测方法研究对车辆悬架系统具有重要价值。早期缺陷检测主要依赖激光雷达等物理传感器构建路面三维点云模型，虽能有效捕捉几何变化，但难以检测细微纹理缺陷，且雨雪雾等恶劣天气会因激光散射导致点云显著退化，难以满足全主动悬架系统全天候高精度要求。近年来基于视觉的深度学习成为缺陷检测主流方案，相关模型主要分为卷积神经网络（CNN，Convolutional Neural Network）、图神经网络（GNN，Graph Neural Network）与视觉Transformer（ViT，Vision Transformer）。CNN 通过卷积与池化提取特征不可避免造成空间细节丢失，对细裂缝等细微缺陷识别能力不足；GNN 将图像转为节点与边构成的图数据，更契合裂缝等缺陷形态，但无法充分表征复杂环境中尺度差异极大的特征；ViT 利用自注意力建模全局长程依赖，擅长捕获全局上下文信息，但会丢失局部信息，对微小裂缝或小坑洞检测困难，且计算成本极高。除上述架构局限，理想条件下训练的模型在恶劣环境部署时性能会下降，现有视觉预处理方法多聚焦图像对齐与增强，未解决恶劣天气训练数据稀缺问题。实际路面缺陷检测需解决两个挑战：在细粒度细节感知与全局拓扑理解间实现结构平衡，以及在不过度依赖海量标注数据集前提下在复杂环境中保持鲁棒泛化能力。为此研究人员开展本研究，提出 DFH?Enhancement 与 MSKA?GNN，以解决数据稀缺与特征提取受限问题，最终在两项公开数据集上测试 MSKA?GNN 与七种其他先进模型，广泛验证模型性能，MSKA?GNN 在 RDD.v2i 与 RDD2022 数据集上准确率分别达 81.1% 与 78.8%，优于主流模型，具有重要意义，该论文发表于《Image and Vision Computing》。
研究人员采用的关键技术方法包括：提出 DFH?Enhancement，含多模态引导稳定扩散模型图像环境变换、频域分形纹理融合模拟极端视觉效果、自适应软掩码引导图像动态拼接三部分；构建融合 CNN 多层次特征与传统图像特征的多尺度图结构，通过 ResNet50 提取多尺度特征、SLIC 超像素区域聚合、空间邻接与传统及语义特征相似性的多关系图构建；设计 MSKA?GNN，以 KAN 增强图卷积层（KANGINEConv）替代固定激活函数提升非线性关系建模，构建注意力加权多尺度特征融合机制与节点级和尺度级双注意力模块；实验采用私有数据集 RDD.v2i（含坑洞、常规裂缝、网状裂缝三类缺陷，300 幅图像）与公开数据集 RDD2022（含横向裂缝、纵向裂缝、网状裂缝、坑洞四类缺陷，300 幅图像），统一为 640×640 像素并按 7:1.5:1.5 划分训练、验证与测试集，选取准确率、精确率、召回率、F1 值及 t?SNE 聚类指标评估。
研究结果部分保留原文小标题并说明研究与结论如下：
- 2.
Method，研究人员开发从数据到特征的端到端少样本缺陷识别框架，2.1 设计 DFH?Enhancement，通过环境变换、纹理融合与自适应掩码拼接扩展含雨等视觉特性的路面缺陷数据集并保留关键语义信息；2.2 设计多尺度图构建方法，整合 CNN 多层级特征与传统特征，将增强图像转为含空间、视觉与语义关系的多尺度图结构；2.3 构建 MSKA?GNN，通过 KAN 卷积层增强非线性建模能力，借助节点级与尺度级注意力机制动态整合局部与全局特征，实现复杂环境下各类路面缺陷准确识别分类。
- 3.
Experimental process and result analysis，4.1 Study for DFH?enhancement，4.1.1 Sensitivity analysis for DFH?enhancement，研究人员对扩散强度 σ、分形融合比 α 与 CLIP 相似度阈值 τ 进行敏感性分析，发现 σ 在 0.3–0.5、α 在 0.08–0.15、τ 为 0.75 时模型准确率最优，过高参数会破坏语义内容与降低精度。4.1.2 Ablation study for DFH?enhancement，研究人员设置无增强、仅扩散、扩散加分形融合、完整 DFH?Enhancement 四组模型，结果表明逐步加入模块后 SSIM 保持在 0.85 以上、LPIPS 低于 0.2，准确率显著提升，各模块均贡献于恶劣条件下缺陷识别能力增强。4.1.3 Data augmentation and splitting，研究人员在每个数据集内按 7:1.5:1.5 划分后独立进行随机翻转与亮度调整等增强，避免数据泄露，生成 420 训练、90 验证、90 测试图像。4.2 Ablation study for MSKA?GNN，4.2.1 Influence of convolutional layers on model performance，研究人员对比 2–5 层卷积，发现 4 层卷积在特征表示与冗余间取得最优平衡，准确率达最高。4.2.2 Ablation study for MSKA?GNN，研究人员以经典 GNN 为基线逐步加入多尺度图构建（MSGC）、多尺度特征融合（MSFF）、双注意力机制（DAM）与 KAN 模块，结果显示 MSKA?GNN 在所有指标上最优，各模块协同提升性能，MSGC 丰富特征但引入冗余，MSFF 可有效利用多尺度表示，DAM 与 KAN 持续提升三类缺陷识别率并稳定训练损失与精度。4.3 Comparative study for MSKA?GNN，研究人员与 GAL、GIN、GCN、Graph?Mamba、GGMNet、HG?DCN 等先进 GNN 对比，保持数据与超参数一致，MSKA?GNN 在 RDD.v2i 上准确率达 81.1%，在 RDD2022 上达 78.8%，多数指标优于对比模型，t?SNE 聚类显示其类别分离更精确，5 折交叉验证标准差约 0.011–0.013，证明结果稳健可靠。
讨论部分总结：研究人员指出主流 GNN 因局部依赖建模难以捕获缺陷全局空间关联，且缺乏细粒度特征提取与针对性选择机制易受背景干扰；MSKA?GNN 通过多尺度模块整合局部与全局特征、双注意力抑制噪声并放大关键特征实现性能突破，在少样本复杂数据集上仍可高精度识别，实验证明该方法可行且具有明显优势。
研究结论部分原文翻译为：本文提出一种端到端缺陷检测框架（MSKA?GNN），旨在解决复杂道路环境中数据稀缺与检测性能差的问题。通过开发 DFH 增强策略，研究人员证明在雨等恶劣条件下合成语义一致的缺陷样本可有效提升模型鲁棒性。此外，实验表明多层次图构建与多尺度特征提取的协同组合能有效增强 GNN 对不同尺度缺陷的识别能力。通过在图卷积过程中引入 KAN 与双注意力机制，有效弥合了浅层局部纹理与深层全局语义之间的差距，从而增强了模型的非线性拟合能力。最终，MSKA?GNN 在仅含 600 幅图像且具复杂极端背景的 RDD.v2i 与 RDD2022 数据集上分别达到 81.1% 与 78.8% 的准确率，优于主流模型（GNN、GAL、GIN、GCN、Graph?Mamba 与 GGMNet），展现出强鲁棒感知能力。未来研究中，研究人员将聚焦注意力引导对抗训练策略以改进高度稀疏缺陷检测，并通过知识蒸馏探索轻量化网络架构以降低计算开销，实现智能车辆底盘系统实时边缘部署。
