基于RT-DETR的KFW-DETR织物缺陷检测模型:BKAGN、FDPN与Wise-GIoU协同增强

《Electronics》:KFW-DETR: Research on a Fabric Defect Detection Model Based on RT-DETR

【字体: 大 中 小 】 时间:2026年10月30日 来源:Electronics 2.9

编辑推荐:

  在纺织品缺陷检测中检测微小缺陷或尺寸变化显著的缺陷样本时,检测模型的定位精度仍是制约纺织生产线自动化升级的关键瓶颈。本文提出一种基于RT-DETR的改进织物缺陷检测模型,称为KFW-DETR。该模型首先提出BKAGN模块,通过将传统残差网络中使用的3 × 3卷

  
在纺织品缺陷检测中检测微小缺陷或尺寸变化显著的缺陷样本时,检测模型的定位精度仍是制约纺织生产线自动化升级的关键瓶颈。本文提出一种基于RT-DETR的改进织物缺陷检测模型,称为KFW-DETR。该模型首先提出BKAGN模块,通过将传统残差网络中使用的3 × 3卷积替换为基于Gram多项式的KAN卷积,引入Kolmogorov–Arnold Networks(KANs)的卷积操作,从而增强卷积核的特征提取能力。其次,研究人员采用聚焦扩散金字塔网络(FDPN)优化RT-DETR的颈部架构。FDPN接受三种不同尺度的输入,采用一组并行深度卷积层捕获丰富的多尺度信息,并使具有完整上下文信息的特征在所有检测尺度上扩散。最后,通过将Wise-IoUv3损失函数的非单调聚焦机制引入GIoU损失,研究人员获得Wise-GIoU损失函数,该函数对包含大离群值的预测框分配较小的梯度增益,从而减轻低质量锚框对模型训练的负面影响。消融实验表明,与基线RT-DETR相比,所提出的KFW-DETR在TILDA数据集上mAP50提高4.7个百分点(pp),mAP50-95提高4.5 pp;在与TILDA缺陷类别不同的独立BHDB数据集上,在相同协议下重新训练后,KFW-DETR仍使mAP50提高1.6 pp,mAP50-95提高1.7 pp。结果验证了所提出模型用于织物缺陷检测的有效性,尤其在检测微小缺陷和执行多尺度目标定位方面表现出显著优势。
研究背景与问题:织物制品覆盖服装、家纺和工业材料等领域,但生产过程中易产生断纱、异物、孔洞和表面污渍等缺陷,直接影响良率和产品可靠性。及时识别缺陷有助于提升产品质量、生产效率和降低制造成本。现有手工特征方法依赖专家调参且在复杂背景下退化,深度学习方法虽可端到端学习表征,但织物缺陷尺度差异极大、低对比度弱线索明显、周期性编织纹理会诱发类缺陷响应,同时在线检测要求毫秒级延迟,因而需要兼顾精度与效率的检测模型。RT-DETR通过尺度内注意力和跨尺度融合降低计算成本并满足实时性,但其在织物缺陷检测中的精度仍不理想。为此,研究人员提出KFW-DETR,以BKAGN增强骨干特征提取,以FDPN优化颈部多尺度融合,并以Wise-GIoU抑制低质量锚框的有害梯度。

关键技术方法概述:研究采用RT-DETR为基线,构建BKAGN模块,将ResNet18 BasicBlock中的3 × 3卷积替换为基于Gram多项式的KAGN卷积,并仅用于S4和S5层;采用已发表的FDPN替换CCFM融合路径,输入通道对齐S3—S5;将Wise-IoUv3动态非单调聚焦机制引入GIoU,形成Wise-GIoU。样本来源包括TILDA(纺织品纹理数据库)过滤后的893幅图像,覆盖孔洞、油污、纱线缺陷和异物四类,按7:1:2划分;独立BHDB(BKDN-HUYLV-DATN-BOX)包含2405幅图像,覆盖孔洞、结、线和污渍四类,按7:1:2划分。实验在PyTorch 2.2.2、CUDA 11.7、Python 3.10.14和RTX 3090上进行,采用AdamW、基础学习率0.0001、权重衰减0.0001、批大小8、300轮、耐心50轮早停,输入640 × 640。

研究结果:
3.1 数据集与实验设置:研究使用TILDA和BHDB两个数据集,TILDA经去除人工增强和错误标注并平衡四类后保留893幅图像,BHDB包含2405幅图像;两者均按7:1:2划分,TILDA分辨率为416 × 416,BHDB为640 × 640。TILDA无像素—毫米标定,尺寸分析以像素和图像面积比例报告。训练仅对训练集进行在线增强,验证集用于选择mAP50-95最佳检查点并控制早停,测试集仅用于最终报告。
3.2 评价指标:研究采用FPS、Recall、Precision、F1-Score、mAP50、mAP75和mAP50-95评价模型,其中mAP50采用IoU阈值0.50,mAP75采用0.75,mAP50-95在0.50—0.95以0.05步长平均,用于综合衡量检测与定位性能。
3.3 改进算法消融实验:以RT-DETR-r18为基线,研究对BKAGN、FDPN和Wise-GIoU进行单独与组合消融。基线mAP50为88.2%、mAP50-95为55.9%、Precision为87.2%、Recall为82.7%、吞吐量为100.0 FPS;加入BKAGN后mAP50升至91.0%、mAP50-95升至56.9%、Precision和Recall分别升至90.9%和88.3%;在BKAGN基础上加入FDPN后mAP50为92.2%、mAP50-95为58.5%、Precision和Recall为92.5%和90.0%,吞吐量降至83.3 FPS;再引入Wise-GIoU后mAP50-95升至60.4%。单独加入FDPN或Wise-GIoU时mAP50分别约为87.8%和87.1%,提升有限;三模块组合的Model G达到92.9% mAP50和60.4% mAP50-95,表明三者互补。可视化结果显示KFW-DETR误检和漏检更少,预测框与真实标注对齐更好。
3.4 损失函数比较:基于集成BKAGN和FDPN的Model E比较GIoU、DIoU、CIoU、EIoU、PIoU、Wise-IoUv3和Wise-GIoU。Wise-GIoU的Precision、mAP50、mAP75和mAP50-95分别达到93.0%、92.9%、68.1%和60.4%,Recall为88.7%、F1-Score为90.8%;其mAP50-95较EIoU的59.2%和GIoU的58.5%分别提高1.2 pp和1.9 pp。GIoU虽F1-Score最高为91.2%,但mAP75和mAP50-95较低;原始Wise-IoUv3整体最弱,表明仅用非单调聚焦机制不足,Wise-GIoU中保留的GIoU几何惩罚是必要的。结论是Wise-GIoU在高IoU阈值下定位优势明显,可动态抑制低质量锚框有害梯度。
3.5 基于TILDA数据集的对比实验:研究在TILDA上比较Faster R-CNN、SSD、YOLOv5-M/L、YOLOv8-M/L、YOLOv11-M/L、RT-DETR-r18和RT-DETR-r50等11个模型。相较RT-DETR-r18基线,KFW-DETR的Precision提高5.8 pp至93.0%,Recall提高6.0 pp至88.7%,F1-Score提高6.0 pp至90.8%,mAP50提高4.7 pp至92.9%;参数为45.8 M、GFLOPs为66.1、推理时间为12.0 ms,而基线为10.0 ms,体现以吞吐换精度的取舍。相较YOLOv5-L,mAP50由91.4%提高到92.9%;相较RT-DETR-r50,mAP50高3.6 pp、F1-Score高1.1 pp;相较SSD,Recall提高31.6 pp;相较YOLOv11-M,mAP50提高13.3 pp、F1-Score提高14.5 pp。归一化混淆矩阵显示Model A至Model G的Recall由82.7%升至88.7%,假阳性由62降至29,异物假阳性由22降至7,孔洞假阳性由7降至1,纱线缺陷F1由80.0%升至84.2%,说明所提模块主要抑制无缺陷纹理上的虚假响应。
3.6 独立数据集(BHDB)验证:为检验标签空间改变后增益是否保留,研究在BHDB上重新训练KFW-DETR及7个代表性检测器,不使用TILDA训练权重初始化。两数据集仅共享孔洞类别,因此该实验不是零样本或跨域迁移测试。KFW-DETR在45.8 M参数和12.0 ms推理时间下mAP50达86.7%,较YOLOv5-L高6.6 pp、较RT-DETR-r50高1.2 pp;Precision和Recall为88.4%和83.6%,较YOLOv11-L分别高11.6 pp和10.8 pp;F1-Score为85.9%,较YOLOv8-L高2.7 pp。混淆矩阵显示KFW-DETR总体Recall为87.7%,高于RT-DETR-r50的86.1%和RT-DETR-r18的85.6%,漏检数为78,低于86和89;假阳性为209,RT-DETR-r50为178、RT-DETR-r18为293;KFW-DETR在Hole和Knot的类精度较高,但在Stain和微平均精度上低于RT-DETR-r50,残差主要来自Stain的96个假阳性。结论是BKAGN、FDPN和Wise-GIoU的收益不局限于单一基准,但不构成未经重新训练即可迁移到未见织物的证据。
3.7 小缺陷尺寸分层评价:研究在BHDB测试集481幅图像、710个实例上进行尺寸分层,采用COCO阈值(面积小于1024平方像素,得到161、203和346个实例)和真实框面积三分位(边界为2295和19,200平方像素,约47.9和138.6像素边长,得到236、237和237个实例),并以三分位分层为主。三分位小目标组中KFW-DETR的AP50和AP75最高,分别为78.2%和60.1%,RT-DETR-r50为73.3%和54.7%,RT-DETR-r18为71.9%和55.4%;COCO小目标子集上AP75为41.9%,高于33.3%和33.0%。TILDA实际图像为416 × 416,COCO小目标仅29/222即13.1%且全为孔洞,故以每组74个实例的三分位分层为主,KFW-DETR在小目标组达到87.4%和52.7%,均为最高。由于小框满足高IoU更严格,AP75领先说明所提模块同时改善小缺陷检测与定位,而非仅移动工作点。

讨论与结论:讨论认为KFW-DETR在TILDA上mAP50和mAP50-95分别提高4.7 pp和4.5 pp,在BHDB上分别提高1.6 pp和1.7 pp,且各模型均在目标数据集重新训练,说明增益并非特定于单一基准或缺陷分类体系,但不能证明未经重新训练即可泛化到未见织物。消融实验确认BKAGN通过KAGN卷积重建S4和S5阶段BasicBlock,以可学习非线性核建模细纹理响应;FDPN通过FFM和跨尺度扩散保留更丰富上下文;Wise-GIoU通过动态抑制有害梯度降低低质量锚框影响。与现有织物缺陷检测方法相比,KFW-DETR在精度与计算效率之间取得更好平衡。局限性包括:跨数据集证据仅限两个基准,TILDA和BHDB仅共享孔洞类别,BHDB实验需重新训练,不能建立零样本迁移;未验证未见织物、其他相机分辨率或非受控光照;效率数据在桌面RTX 3090、640 × 640输入下测得,模型需45.8 M参数和66.1 GFLOPs,未评估Jetson等嵌入式平台延迟及完整采集预处理流程成本,12.0 ms表征检测器而非检测系统,不能视为部署保证;所有精度指标基于单一7:1:2划分和固定工作点,未做交叉验证或系统阈值扫描,1.6—4.7 pp增益的运行间方差未量化;模型仅以检测精度和效率评估,未进行归因或显著性分析,决策是否由缺陷本身驱动仍未被验证,Grad-CAM和SHAP等可解释技术留待未来工作。

研究结论(译):为解决织物缺陷类型复杂、缺陷尺寸变化、检测模型计算成本高以及精度不足等挑战,本文提出一种新的缺陷检测模型KFW-DETR。该模型的贡献包括用于改进特征表示的原始BKAGN增强骨干,并实例化Wise-GIoU损失,其中将Wise-IoUv3的动态非单调聚焦机制应用于GIoU惩罚,以实现更稳健的锚框回归。FDPN按已发表方式用于多尺度特征融合。在TILDA数据集和独立BHDB数据集上的实验结果表明,KFW-DETR相对RT-DETR取得一致提升,表明这些增益并非特定于单一基准。这些发现表明,KFW-DETR为工业织物质量检测提供了有效解决方案。未来工作将探索模型轻量化、对未见织物和成像条件的域适应、实时检测场景部署,以及利用Grad-CAM和SHAP进行可解释性分析,以确认支持每次检测的证据对应真实缺陷区域而非背景纹理。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号