《Journal of Composites Science》：Gradient-Enhanced Deformation-Aware Defect Detection for Automated Fiber Placement with Synthetic Sample Expansion
编辑推荐：
现有基于学习的自动铺丝（Automated Fiber Placement, AFP）检测方法主要依赖灰度/类深度表示或直接学习的外观特征，而激光轮廓高度变化与缺陷边界之间的方向关系仍未得到充分利用。该局限对低对比度和细长AFP缺陷尤为相关，此类缺陷中周期性丝
现有基于学习的自动铺丝（Automated Fiber Placement, AFP）检测方法主要依赖灰度/类深度表示或直接学习的外观特征，而激光轮廓高度变化与缺陷边界之间的方向关系仍未得到充分利用。该局限对低对比度和细长AFP缺陷尤为相关，此类缺陷中周期性丝束纹理可能干扰边界定位，且通常仅有有限真实缺陷样本可用。为解决这些问题，本研究开发了一种AFP专用实例分割（instance segmentation）框架，协同几何先验输入表示、形变感知特征处理与训练分布扩展。经过异常值校正、RANSAC（Random Sample Consensus，随机抽样一致）参考面拟合和残差增强后，残差高度场及其带符号水平与垂直梯度被用作三通道输入，以显式表示局部表面幅值和方向性边界变化。将C2f_DCNv2和CBAM（Convolutional Block Attention Module，卷积块注意力模块）融入YOLOv8n-Seg，分别用于沿细长或不规则缺陷几何的自适应采样和抑制较不相关的丝束纹理响应。ConSinGAN生成的样本经筛选、人工标注，仅用于训练以扩展所表示的缺陷形态。三种子实验表明，与深度增强输入相比，梯度增强表示使mask P、mask R、mask mAP@50和mask mAP@50:95分别提高2.56、1.67、2.85和1.22个百分点。架构修改在mAP@50和mAP@50:95上分别额外提高1.32和1.52个百分点，ConSinGAN增强分别增加1.19和1.51个百分点。完整方法达到94.36% mask P、91.93% mask R、94.71% mask mAP@50和60.17% mask mAP@50:95。完整的采集后双窗口处理流程每对同步窗口需要26.8 ± 0.9 ms，而30 m/min下的采集间隔为409.6 ms。这些结果表明，在所评估条件下，协调AFP专用几何表示、形态自适应特征处理和受控训练集扩展对于在线缺陷分割是有效的。
一、研究背景与问题
自动铺丝（Automated Fiber Placement, AFP）具有成形质量稳定、生产效率高等优势，是先进复合材料构件的重要制造方法。制造过程中仍可能出现间隙（Gap）、重叠（Overlap）、抬起丝束或局部褶皱（Raised）以及异物（Foreign）等缺陷。机器视觉、红外热像、激光轮廓扫描和深度学习已广泛用于制造质量检测，激光与结构光轮廓扫描可获取高分辨率三维表面数据，但密集点云方法受标注工作量、处理时间和计算成本限制，难以直接用于在线检测。
为降低点云处理复杂度，已有研究将铺层表面映射为2.5D图像进行缺陷检测。Zambal et al.、Sacco、Godbold et al.、Meister et al.等分别采用深度图、全卷积检测、CNN和R-CNN等路线。然而，基于激光轮廓的在线AFP缺陷分割仍存在三类限制：第一，现有2.5D方法主要使用灰度或类深度表示，依赖网络隐式学习缺陷边界，对低对比度和细长间隙或重叠缺陷而言，缺陷信息不仅与绝对表面位移有关，还与局部高度变化的幅值和方向有关；第二，显式增强这些变化会同时强化周期性丝束边缘和局部测量噪声，需要能适应不规则缺陷几何并抑制无关纹理响应的特征提取；第三，真实AFP缺陷数据跨足够形态采集困难且成本高，合成样本必须在不污染验证或测试评估的前提下引入。现有AFP检测流程未联合解决表示、特征建模和数据覆盖问题。现有模型还面临真实样本有限、缺陷对比度弱和分割边界不稳定等挑战。生成对抗网络（Generative Adversarial Networks, GAN）可用于有限样本扩充；Shaham et al.提出SinGAN，从单幅图像学习多尺度内部统计；Hinz et al.提出ConSinGAN，通过并发多尺度训练提升生成质量、多样性和效率，但生成样本用于分割时须与验证集和测试集隔离，并应保持类别可分性和边界完整性。
为此，研究人员不将梯度算子、可变形卷积、注意力机制或单图像生成模型分别视为新技术，而是强调其按激光轮廓检测的几何与传感特性进行AFP专用协调。研究贡献包括：构建由残差表面高度和带符号方向梯度组成的AFP导向几何先验表示；构建与表示匹配的实例分割架构，其中DCNv2和CBAM分别处理互补的几何和纹理响应特征；建立仅用于训练的合成扩展协议，使用经筛选和人工标注的ConSinGAN样本，并通过受控比较与常规增强和SinGAN区分其贡献。完整框架采用分组数据划分、三个独立种子、类别高IoU定位分析和同步双窗口在线处理基准进行评价。
二、关键技术方法概括
实验数据来自16丝束AFP系统，采用1/2 in（12.7 mm）预浸丝束，包含M21C与AC531/CCF800H两种预浸料，铺层角度为0°、+45°、?45°和90°，覆盖平板、小曲率和大曲率三种工件几何；每个工具沉积并扫描20层，按沉积层、铺放运行、扫描序列和铺放路径分组划分为训练2635、验证476、测试407个真实窗口，另有850个ConSinGAN生成窗口仅加入训练。方法包括异常值校正、RANSAC三阶多项式参考面拟合、残差增强、带符号水平与垂直梯度构建三通道[Z,G
x,G
y]；YOLOv8n-Seg的P4 backbone与P3/P4 neck融合阶段采用C2f_DCNv2，SPPF后加入CBAM，构成YOLOv8n-ADDSeg；ConSinGAN样本经筛选和人工多边形标注，仅用于训练，并使用三seed评估。
三、研究结果
3.1 输入表示影响：在YOLOv8n-Seg、真实训练样本条件下，仅将深度增强输入替换为由高度残差、水平梯度和垂直梯度组成的三通道表示。结果是，与深度增强输入相比，梯度增强三通道表示使Precision、Recall、mAP@50和mAP@50:95分别提高2.56、1.67、2.85和1.22个百分点；间隙、重叠、抬起丝束和异物的AP@50分别提高4.14、3.93、0.48和2.87个百分点，并增强低对比度边界和细长缺陷的连续响应。
3.2 网络组件消融：在梯度增强三通道输入和真实训练样本下，对CBAM和DCNv2进行基线、单独模块和组合模块比较。单独加入CBAM使Recall、mAP@50和mAP@50:95分别提高0.89、0.58和0.48个百分点，Precision降低0.32个百分点；单独加入DCNv2使四项指标分别提高0.46、0.70、0.85和0.97个百分点；二者组合使mAP@50和mAP@50:95分别提高1.32和1.52个百分点。三种子标准差在各配置下为0.18至0.44个百分点，组合配置为0.18至0.35个百分点。
3.3 表示与架构的联合评估：在仅真实训练样本下，比较YOLOv8n-Seg与YOLOv8n-ADDSeg、深度增强与梯度增强四种匹配配置。深度增强输入下，ADDSeg较YOLOv8n-Seg使mAP@50和mAP@50:95分别提高1.20和1.21个百分点；梯度增强输入下，对应提高1.32和1.52个百分点。将深度增强替换为梯度增强后，对YOLOv8n-Seg提高2.85和1.22个百分点，对ADDSeg提高2.97和1.53个百分点。梯度增强输入与ADDSeg组合在四种匹配配置中最高，达到93.52% mAP@50和58.66% mAP@50:95。
3.4 合成样本评估与训练集扩展：ConSinGAN平均SSIM为80.83%，较SinGAN高6.88个百分点，结构一致性更好；平均PSNR为24.75 dB，较SinGAN低0.78 dB。筛选后合成样本的多样性评估显示，ConSinGAN使成对LPIPS提高0.096、最近种子LPIPS提高0.058、最近邻余弦相似度降低0.033、真实支撑形态覆盖提高19个百分点；FID为30.7，略低于SinGAN的31.8，仅4.6%生成掩膜落在稳健真实形态包络之外。下游分割中，固定YOLOv8n-ADDSeg与梯度增强三通道表示，比较仅真实样本、常规增强、SinGAN增强和ConSinGAN增强。常规增强使mAP@50和mAP@50:95分别提高0.39和0.42个百分点；SinGAN增强提高0.66和0.76个百分点；ConSinGAN增强提高1.19和1.51个百分点，并较SinGAN组进一步提高0.53和0.75个百分点。Precision和Recall差异分别为0.28和0.72个百分点，Precision差异接近SinGAN和ConSinGAN的标准差0.29和0.26个百分点。
3.5 渐进集成与跨模型比较：在前期训练和验证实验基础上，研究人员冻结梯度增强表示、ADDSeg和ConSinGAN增强，形成完整方法，并在分组测试集上一次性锁定评估。与初始基线相比，完整方法使Precision、Recall、mAP@50和mAP@50:95分别提高3.74、4.18、5.36和4.25个百分点；梯度增强表示、ADDSeg和ConSinGAN对mAP@50与mAP@50:95的阶段增益分别为2.85/1.22、1.32/1.52和1.19/1.51个百分点。跨模型比较中，YOLOv8n-ADDSeg的mAP@50和mAP@50:95为94.71%和60.17%，较YOLOv8n-Seg高0.82和1.45个百分点，较YOLO11n-Seg高1.09和1.53个百分点；YOLO11n-Seg的Recall高0.13个百分点，但所提模型Precision和mAP更高，表明掩膜定位精度更好且假阳性控制更佳。YOLOv5n-Seg在同训练协议下Precision和mAP@50明显较低，其差距原因未通过实验隔离。
3.6 高IoU定位分析：完整方法的类别掩膜AP显示，mAP从IoU 0.50时的94.71%降至IoU 0.75时的70.50%，mAP@50:95为60.17%，说明严格重叠标准下分割性能下降。Gap和Overlap从AP@50到AP@75分别降低27.30和30.16个百分点，Raised和Foreign分别降低21.08和18.30个百分点；Gap和Overlap的AP@50:95最低，分别为52.40%和46.80%，Raised和Foreign为69.30%和72.18%。总体差异反映四类均有下降，但间隙和重叠损失更大。
3.7 在线检测计算吞吐：在RTX 3090、FP32、640×640输入、batch size为1条件下，YOLOv8n-ADDSeg的输入格式化与传输、网络推理、掩膜后处理分别需要2.1 ± 0.2、7.9 ± 0.3和1.8 ± 0.2 ms，单窗口处理时间为11.8 ± 0.4 ms。在线基准将每对同步传感器窗口视为一个采集单元，非重叠步长为2048个空间配准轮廓；在30 m/min和5000 profiles/s下，204.8 mm窗口需要409.6 ms采集。采集后CUDA并行预处理包括速度配准、高度矩阵组装、异常值校正、RANSAC参考面拟合、残差提取与增强、尺寸调整、梯度计算和三通道归一化；两个640×640输入作为一批处理，随后进行NMS、掩膜重建、坐标映射、结果合并和输出。采集后总处理时间为26.8 ± 0.9 ms/对，标称计算能力为37.3对/s，而采集率为2.44对/s，具有15.3倍吞吐裕量。标称稳态下从窗口首轮廓到结果输出的时间约为409.6 + 26.8 = 436.4 ms，这是算术估计而非直接测量响应时间。跨连续采集窗口缺陷按机器坐标中的类别一致性和空间连续性关联为单一缺陷实例。
3.8 泛化与工程适用性：实验数据覆盖两种预浸料系统、多个纤维方向和不同工具曲率，均在单台龙门式AFP平台采集。后续工程应用将方法扩展到机器人AFP系统与八条1/4-in（6.35 mm）宽丝束，并额外检查VKU-25预浸料和TRE239预浸料，材料范围超出M21C和AC531/CCF800H。额外检查使用含已知缺陷的标准试样；当丝束宽度或铺放头配置变化时，增减激光轮廓传感器数量并调整安装高度，以保持与原始数据相同的校准横向物理宽度/图像像素。标准试样检查直接使用现有模型权重，未额外训练或微调，所有已知缺陷均被检测到，包括1 mm宽度阈值下的间隙和重叠，以及3 mm × 3 mm足迹阈值下的抬起丝束或局部褶皱和异物。实际应用测试也满足30 m/min铺放速度下的实时检测要求。
四、讨论部分总结
4.1 几何先验表示效果：输入比较表明，所提表示的主要收益来自显式提供局部几何过渡，而非仅让网络从残差强度推断。残差加梯度表示相较深度增强输入使mask mAP@50提高2.85个百分点、mAP@50:95提高1.22个百分点，对Gap和Overlap的AP@50提升分别为4.14和3.93个百分点，符合其细长狭窄、边界连续性和方向性依赖强的形态特征。该表示也有权衡：空间微分增强缺陷边界，同时可能放大规则丝束边缘、测量噪声和其他高频结构，因此需要后续注意力重校准，并说明梯度表示与网络修改应协同设计。严格IoU结果进一步表明，边界可见性提高并未消除细长掩膜的定位困难；在640×640输入下，1 mm间隙或重叠仅约3至4像素宽，微小横向边界位移即可显著降低掩膜IoU。
4.2 形变感知建模与合成扩展：网络消融支持DCNv2和CBAM具有互补而非冗余作用。在梯度增强表示下，DCNv2单独对mAP@50:95提升更大，符合其使采样几何适应细长和不规则边界的目标；CBAM单独在两个mAP指标上提供较小但正向增益，表明高层特征重校准可抑制部分周期性丝束纹理背景响应；二者组合总体提升最大。匹配的表示—架构实验显示，ADDSeg增益在深度增强和梯度增强输入下均存在，因此架构收益不完全依赖梯度表示，但两类设计仍互补。合成扩展解决另一限制：ConSinGAN不改变传感表示或分割架构，而是拓宽训练中表示的形态；匹配增强实验固定额外样本数量和类别分配，使观察到的差异主要归因于添加样本来源和多样性，而非简单类别重平衡。但生成图像仍需专家筛选和人工多边形标注，因此应被解释为训练分布扩展，而非节省标注的方法。
4.3 与现有AFP专用方法比较：既往AFP检测研究涉及红外热像、激光或结构光三维检测、几何测量、点云分析、深度类表示以及CNN/R-CNN分类等，任务形式包括轮廓/图像分类、异常定位、边界框检测、逐点或图像分割和几何测量，其已发表精度、F1、box-mAP、IoU或几何误差值不能直接等同于本研究的类别特定mask AP指标。与深度和激光轮廓研究最接近的是Zambal et al.、Sacco、Godbold et al.、Meister et al.等工作，但本框架的方法区分在于：在实例分割前将配准激光轮廓表面显式分解为残差高度和两个带符号方向导数；随后DCNv2和CBAM用于处理由此产生的不规则几何边界和周期纹理响应，而非作为独立新颖算子提出。因此，本贡献应解释为AFP专用表示—模型—数据设计，而非发明梯度算子、DCNv2、CBAM或ConSinGAN本身。基线选择优先考虑轻量单阶段实例分割模型，以满足在线AFP低延迟和计算余量需求；Mask R-CNN未纳入，因为其候选生成和逐区域框与掩膜处理相对单阶段设计增加计算，但未在本数据和硬件上基准测试，不能据此认为其无法满足采集节拍。比较仅针对所测试轻量YOLO模型，并未建立对两阶段AFP检测方法的优越性。合成样本收益在不同架构间并非完全一致，对YOLOv8n-Seg基线略大于ADDSeg，反映数据增强与架构间存在轻微交互；完整2 × 2 × 2因子分解留待未来工作。
4.4 在线AFP检测与工程转移启示：计时结果区分计算吞吐与总检测响应时间。26.8 ± 0.9 ms表示同步窗口对的采集后处理，而完整2048轮廓窗口在标称条件下采集需409.6 ms，15.3倍吞吐裕量表明处理可跟上所测试采集节拍，但不应解释为26.8 ms物理感知到决策响应。推理使用原生PyTorch 1.13.1，未使用TensorRT或ONNX编译，所有计时在同一RTX 3090工作站测得；部署到工业嵌入式GPU并使用TensorRT和FP16量化有望进一步降低延迟，但该优化不在本研究范围内。使用未改变模型权重的标准试样检查提供初步证据：当传感覆盖调整并保持横向像素尺度时，检测流程可转移到机器人AFP系统和额外预浸料系统。可能原因包括参考面去除抑制宏观工具几何，而残差高度和方向梯度强调与缺陷相关的局部表面变化。所有已知试样缺陷均被检测到，但未建立试样和类别特定计数、假阳性性能及外部mask AP，因此这些观察支持所测试条件下的工程可行性，不代表跨平台、材料或任意传感器配置的量化泛化。
4.5 局限：全部受控训练、验证和分组测试数据均来自一台龙门式AFP系统和一种双激光传感配置。后续标准试样检查在机器人AFP系统和额外预浸料上使用未改变模型权重，并调整传感器覆盖、保持横向像素尺度，检测到所有已知缺陷，但未记录确切试样和类别特定缺陷计数，也没有独立标注的外部测试集或留一条件评估。因此，这些检查支持受控传感条件下的部署可行性，而非对跨平台、材料或传感器检测可靠性或泛化的量化估计。缺少配对置信区间也限制了受控实验中小差异的解释。模型仅覆盖Gap、Overlap、Raised和Foreign四类标注缺陷，其他类型未评估。ConSinGAN生成图像仍需专家筛选和人工多边形标注。严格IoU阈值下，掩膜定位仍较弱，尤其对细长间隙和重叠。需要受控外部验证、更广缺陷覆盖和边界细化。
五、研究结论翻译
本文开发了一种在线AFP缺陷检测方法，结合几何先验梯度表示、形变感知特征建模和训练分布扩展。梯度增强输入增强边界和方向响应，而YOLOv8n-ADDSeg改善对不规则缺陷几何的适应。联合配置实验表明，两种设计同时使用时其相关改进得以保留。LPIPS、最近邻和掩膜形态学结果表明，ConSinGAN扩展了超出其种子图像的缺陷形状多样性。完整方法分别达到94.36% Mask P、91.93% Mask R、94.71% Mask mAP@50和60.17% Mask mAP@50:95，比基线提高3.74–5.36个百分点。在30 m/min下，CUDA并行数据预处理及后续分割和输出在采集后每对窗口需要26.8 ms。实际应用测试在该速度下满足实时检测要求。在其他AFP设备和预浸料系统上的额外标准试样检查使用未改变模型权重，并在调整传感器覆盖和保持横向像素尺度后检测到所有已知试样缺陷。这些观察支持在所测试条件下的实际可行性。由于无法获得确切试样和类别特定计数以及外部掩膜指标，它们不能建立定量跨平台或跨材料泛化。类别评估表明掩膜定位仍是剩余限制，间隙和重叠在更严格IoU阈值下损失最大。进一步工作应优先改进这些窄缺陷的边界细化。
