DBRM-Net：一种用于绝缘子异常智能视觉检测的双分支残差多模态框架

《JOURNAL OF INTELLIGENT MANUFACTURING》：Dbrm-net: a dual-branch residual multimodal framework for intelligent visual inspection of insulator anomalies

　　

摘要

细粒度绝缘子异常检测仍然具有挑战性，因为异常区域通常很小、对比度弱、形态多样，且嵌入在重复结构或杂乱的户外背景中。传统的基于 RGB 的检测器可能无法保留细微的结构不连续性，而直接特征融合可能会引入冗余或冲突的信息。为解决这些问题，本研究提出了 DBRM-Net，这是一个双分支残差框架，联合处理 RGB 图像和由 RGB 衍生的表面结构模态 (SSM)。而非引入新的传感模态或新的低级算子，SSM 将互补的亮度、梯度、方向、拉普拉斯、粗糙度和局部残差描述符组织成严格对齐的六通道结构表示。这种任务驱动的表示为弱边界、局部粗糙度变化和细微表面干扰提供了补充证据，无需额外的传感硬件或跨传感器配准。先验感知混合融合 (PAMF) 模块对跨分支一致性、差异和残差先验进行建模以改进前向特征集成，而自适应上下文拓扑注入融合 (ACTIF) 模块在保持 RGB 语义连续性的同时，选择性地重用与异常相关的结构证据。在两个绝缘子异常数据集上的实验表明，DBRM-Net 在主要的 IFD 数据集上分别实现了 \(AP_{50}\) 和 \(AP_{50:95}\) 值为 88.7 和 65.4。与最强的基于 SSM 的基线相比，改进幅度虽小但保持一致，同时 DBRM-Net 使用更少的参数、更低的计算成本和更高的检测端推理速度。重复运行、消融、鲁棒性和可视化分析进一步证明了稳定的优化以及结构表示和分阶段交互模块的互补贡献。总体而言，DBRM-Net 为复杂成像条件下的细粒度绝缘子异常检测提供了良好的精度 - 效率权衡。