编辑推荐:
织物缺陷检测在纺织制造行业的质量控制中发挥着至关重要的作用。然而,由于缺陷的多样性、复杂性以及环境因素的影响,该任务仍面临挑战。基于深度学习的方法能够高效地提取视觉特征,从而提升检测精度和推理速度。然而,由于织物纹理背景多样且缺陷特征复杂,大多数深度学习方法
织物缺陷检测在纺织制造行业的质量控制中发挥着至关重要的作用。然而,由于缺陷的多样性、复杂性以及环境因素的影响,该任务仍面临挑战。基于深度学习的方法能够高效地提取视觉特征,从而提升检测精度和推理速度。然而,由于织物纹理背景多样且缺陷特征复杂,大多数深度学习方法无法充分捕捉微小、不规则及边缘模糊的缺陷特征。为解决这些问题,研究人员提出了CMNet,一种具有双分支异构特征提取架构的新型混合CNN–Mamba检测网络。首先,研究人员提出自适应加权邻近上下文协调模块(Adaptive Weighted Adjacent Context Coordination Module, AWA-CCM),用于增强微小织物缺陷和边缘纹理的特征,同时有效抑制复杂背景的干扰。其次,研究人员提出多尺度大核注意力Mamba(Multi-Scale Large-Kernel Attention Mamba, MLAMamba)模块,以提升网络对尺度多变和形状不规则缺陷的全局表征能力。最后,研究人员构建了双向融合模块(Bidirectional Fusion Module, BFM),动态平衡局部细节信息与全局结构信息,实现高效互补的特征融合。在研究人员自建的织物数据集上,使用六种广泛采用的指标进行实验,结果表明CMNet显著优于现有最先进的方法。
**论文解读文章**
**研究背景与问题**
在纺织织造过程中,由于原料状态、设备工况和人工操作等因素,织物缺陷难以避免。因此,织物缺陷检测是纺织工业质量检验中一项极具挑战性的任务。目前,大多数纺织企业仍依赖人工目视检测,但人工检测受主观判断影响大、效率低、易因疲劳造成漏检,且无法实现在线监控与实时质量反馈;研究表明,人工缺陷检测的准确率仅为60%–75%。相比之下,基于机器视觉的自动织物缺陷检测具有更高的客观性和效率,能够实现在线监控与实时反馈,已成为传统人工检测的理想替代方案。
传统的自动检测方法主要依赖统计法、结构法、频谱法和基于模型的方法,这些方法依靠手工设计特征来区分缺陷区域与正常区域,但判别能力有限,难以准确识别各类织物缺陷,且适应性和泛化能力较差。深度学习凭借强大的特征表示能力和跨场景适应性,为目标检测带来了革命性突破,也为织物缺陷检测提供了全新的解决方案。其中,卷积神经网络(Convolutional Neural Networks, CNN)虽能高效提取局部特征,但受限于局部感受野,难以有效建模长距离依赖关系,对多尺度、形状极端的缺陷表征能力不足。Vision Transformer虽能通过自注意力机制建模全局特征关联,但其粗粒度的块划分导致对微小缺陷和细微边缘的感知不足,且自注意力机制的二次计算复杂度带来较大的模型参数量和推理延迟。Mamba模型通过结构化状态空间模型(Structured State Space Model, SSM)以线性复杂度实现长序列建模,但其序列遍历式的建模方式对织物细微纹理和缺陷边缘等细粒度信息的感知较弱,容易弱化微小缺陷特征并使缺陷边界模糊。现有的大多数CNN–Mamba混合架构多采用简单的串行或并行模块堆叠策略,缺乏针对织物缺陷特性的任务特异性特征增强和自适应校准机制,难以有效处理模糊和微小缺陷模式。
**研究内容与意义**
为应对上述挑战,研究人员提出了CMNet,一种基于CNN–Mamba混合双分支异构特征融合架构的织物缺陷检测网络。该网络充分利用CNN在局部纹理细节提取和Vision Mamba在全局长距离依赖建模方面的双重优势,通过自适应双向融合机制实现多维特征的高效互补与自适应权重分配,有效解决了复杂纹理背景干扰、微小缺陷漏检和不规则缺陷误检等问题,显著提升了模型对多尺度、多形态织物缺陷的表征能力和鲁棒检测性能。
**关键技术方法**
CMNet整体采用双编码器主干网络,主要由三个核心模块构成。初始预测网络采用VGG16作为特征提取骨干,移除最后三个全连接层和最后一个池化层,保留前13个卷积层,划分为五个顺序块(Block1至Block5),提取多阶段特征图进行后续计算,网络输入分辨率设定为320×320。自建数据集包括平纹织物数据集(训练集2200张、测试集500张)和花纹织物数据集(训练集5948张、测试集500张),所有图像由专业工业面阵相机在标准均匀漫射光照条件下采集,像素级手工标注涵盖污渍、破洞、划痕、结头、细条和不规则断纹等常见工业织物缺陷。实验基于PyTorch 2.1.1实现,在NVIDIA A6000 GPU上训练49个轮次,批量大小为6,采用Adam优化器,初始学习率设为1×10
-4,每20个轮次乘以0.1。数据增强包括水平/垂直翻转、三轴旋转、亮度-对比度抖动、高斯噪声注入、高斯模糊和多尺度随机缩放。评估指标包括精确率–召回率(Precision–Recall, PR)曲线、F-measure曲线、最大F-measure(F
β)、平均绝对误差(Mean Absolute Error, MAE)、S-measure(S
m)和E-measure(E
m),共六种。
**研究结果**
**初始预测网络**:研究人员对比了ResNet50与VGG16两种骨干网络,结果表明VGG16在平纹和花纹织物数据集上均表现更优,其简洁的架构和良好的泛化性能有利于训练与实际部署。在VGG16基础上,CMNet通过AWA-CCM、MLAMamba分支和BFM的逐步组合实现了一致且稳定的性能提升,完整模型在所有评估指标上取得了最优综合性能。
**自适应加权邻近上下文协调模块(AWA-CCM)**:AWA-CCM通过三路并行分支(局部分支、前向邻近分支和后向邻近分支)自适应聚合多尺度局部纹理特征。消融实验表明,同时融合局部特征与邻近特征可获得最佳性能(F
β为0.8279,S
m为0.6878,E
m为0.6636,MAE为0.0037),验证了跨层上下文信息对增强微小缺陷特征的必要性。在局部多尺度空洞卷积分支的配置研究中,分支数K=2、膨胀率θ=(1,2)的轻量化设计在精度与实时性之间实现了最优权衡。
**多尺度大核注意力Mamba(MLAMamba)模块**:MLAMamba采用双分支混合架构,上分支依次堆叠大非对称核注意力(LAKA)、大核注意力(LKA)和通道注意力(CA)以增强局部缺陷特征并抑制背景干扰,下分支基于SS2D实现长距离上下文建模。消融实验证明,完整的MLAMamba模块集成了多尺度空间注意力、通道注意力及特征融合结构后,在所有指标上均显著优于原始Mamba及各单分支变体,验证了所提改进策略的合理性和有效性。
**双向融合模块(BFM)**:BFM依次执行AWA-CCM分支特征增强、MLAMamba分支特征增强和跨分支自适应注意力融合三个处理阶段。AWA-CCM分支利用scSE注意力和深度可分离卷积增强微小缺陷和模糊边缘的表征;MLAMamba分支通过通道注意力和空间注意力捕捉织物纹理突变和缺陷边缘细节。消融实验显示,单独使用MLAMamba全局分支或AWA-CCM细节分支均存在明显缺陷;固定权重融合方案(w/C)仅带来有限提升;完整BFM实现了最优性能(MAE降至0.0037,F
β、S
m和E
m均有显著提升),表明自适应加权融合策略能有效解决异构特征冲突,实现全局结构信息与局部细节特征的高效互补。
**与最先进方法的比较**:在自建数据集上,将CMNet与DSS、NLDF、R3Net、PoolNet、BASNet、GateNet、RAS、F3Net、PFNet、ICON、TCGNet、MEANet、MAIRN、ACCTNet、HKAN和MSC-DeepLabV3+等16种现有方法进行了严格对比。定量结果表明,CMNet在两个数据集上的PR曲线均更靠近右上角,F-measure曲线下面积更大。定性可视化显示,CMNet在微小缺陷、细长缺陷、大面积缺陷、多缺陷及低对比度缺陷等各类复杂场景下均能清晰突显缺陷区域。模型性能方面,CMNet处理320×320图像约需0.0192秒,虽然参数量和推理速度不及RAS等轻量化竞争者,但在微小和低对比度织物缺陷的检测精度上具有显著优势,该权衡是可接受的。
**总结与结论**
本文提出了一个端到端的织物缺陷检测网络CMNet,其核心组成包括AWA-CCM模块、MLAMamba模块和BFM。AWA-CCM通过自适应加权邻近上下文关联机制聚合多尺度局部纹理特征,增强了微小缺陷和边缘特征并抑制了复杂纹理背景干扰。MLAMamba将Mamba的长距离建模优势与多尺度大核空间注意力及通道协同增强策略相结合,有效捕捉全局纹理依赖关系,提升了对尺度多变和不规则缺陷的语义表征能力。BFM采用可学习的自适应加权融合策略,动态平衡全局结构信息与局部细节特征,实现了异构双分支特征的高效互补融合。实验结果验证了CMNet解决了传统织物检测网络在细节丢失、全局建模不足和特征融合低效等方面的共性缺陷。
尽管CMNet在工业场景下对各类织物缺陷取得了有竞争力的检测性能,仍存在轻微局限性和应用边界:模型对严重重叠缺陷和超高密度提花纹理等极端复杂情况鲁棒性有限;混合双分支结构带来一定的计算开销,制约了在超高速流水线检测中的应用;对多样化纺织类型的泛化能力有待进一步优化。未来工作将围绕上述不足展开,包括优化网络结构以实现轻量化部署并降低推理延迟以适应高速工业生产线,扩展数据集以覆盖更多纺织类型和复杂重叠缺陷,并在公开织物缺陷基准上进行充分验证实验,以进一步增强模型的泛化能力和鲁棒性。本研究有望为高精度工业织物缺陷检测及相关视觉检测任务提供有效的解决方案和有价值的研究参考。