《Sensors》：Vision-Based Instance Segmentation of Piezoelectric Crystal Defects Using a Hybrid Bidirectional CNN–Transformer Network
编辑推荐：
准确的缺陷实例分割对于压电晶体的自动化质量检测至关重要，其中划痕、污渍及其他表面缺陷通常表现出较大的尺度变化、不规则的形态以及相对于复杂背景的弱对比度。现有的基于CNN的分割模型能够有效捕捉局部纹理，但在全局上下文建模方面存在局限，而基于Transformer
准确的缺陷实例分割对于压电晶体的自动化质量检测至关重要，其中划痕、污渍及其他表面缺陷通常表现出较大的尺度变化、不规则的形态以及相对于复杂背景的弱对比度。现有的基于CNN的分割模型能够有效捕捉局部纹理，但在全局上下文建模方面存在局限，而基于Transformer的模型往往需要更强的局部细节保持能力以处理精细的工业缺陷。为解决上述局限性，本文提出一种名为HBCTNet的混合双向桥接CNN–Transformer网络，用于压电晶体缺陷实例分割。HBCTNet引入卷积-Transformer双向桥接块（CTB），实现卷积局部特征与Transformer全局表示之间的轻量级双向交互。设计了一种频率与空间卷积（FSC）模块，以在空间域和频率域中增强与缺陷相关的细节；同时构建了多尺度特征金字塔网络（MS-FPN）以融合跨尺度特征。在自建数据集所报告的图像划分上，HBCTNet-S取得了92.3%的框平均精度（box AP）和89.9%的掩码平均精度（mask AP），参数量为12.67 M，计算量为48.1 G FLOPs。在所报告的对比中，其掩码平均精度分别比YOLO11-SEG高出2.1个百分点、比YOLOv9-SEG高出2.4个百分点。上述结果支持了该架构在所评估数据集上的有效性；推理速度与跨域泛化能力仍有待评估。
论文解读：HBCTNet——面向压电晶体缺陷实例分割的混合双向CNN–Transformer网络
一、研究背景与问题
工业生产是现代制造业的关键基础，可靠的产品质量检测对于稳定的过程控制至关重要。压电/石英晶体被广泛应用于医疗设备、航空航天系统、汽车电子和电信等高性能领域。表面的划痕、污渍和局部结构损伤等缺陷可能降低产品的可靠性，因此必须对其进行准确、高效的检测。近年来，深度学习逐渐被引入工业缺陷检测领域并取得了较好的效果。然而，实际检测场景仍然具有挑战性，因为缺陷通常表现出不规则的形状、多样的类别、较弱的对比度和复杂的空间分布。
早期基于深度学习的检测方法主要依赖分类网络判断缺陷是否存在，如AlexNet以及后续的VGG、GoogLeNet、ResNet等。但由于工业缺陷往往空间形态复杂且不规则，实例分割比图像级分类更适合许多检测任务，能够提供每个缺陷的像素级定位。代表性的实例分割方法包括Mask R-CNN、YOLACT、YOLOv8、YOLOv9等。在Transformer架构兴起后，ViT、DETR、Swin Transformer等模型展现了自注意力机制在视觉任务中的潜力。CNNs在提取边缘、纹理等局部特征方面行之有效，而Transformer擅长建模长程依赖和全局上下文。随着视觉任务对局部细节和全局推理的需求不断增加，混合CNN–Transformer架构成为一种有前景的解决方案。然而，许多现有的CNN–Transformer组合采用简单的串联连接方式，可能不足以实现局部与全局特征之间的深度交互。部分并行设计或桥接机制虽有所探索，但仍缺乏面向特定任务、阶段自适应的轻量级双向交互方案。
二、研究目标与主要贡献
针对上述问题，本研究提出了一种名为HBCTNet的混合双向桥接CNN–Transformer网络，专门用于压电晶体缺陷实例分割。研究的主要贡献包括：提出阶段自适应的HBCTNet架构，其中前两个骨干阶段仅使用FSC模块，较深层阶段根据所选分支比例激活所提出的卷积-Transformer双向桥接块（CTB）；CTB通过两个互为反向的3×3通道投影将基于FSC的卷积分支和基于CGT的Transformer分支耦合，在拼接和1×1输出融合之前执行一次CNN到Transformer和一次Transformer到CNN的显式交换；构建了围绕任务特定MSF-AHDown通路的多尺度特征金字塔网络（MS-FPN）；在自建数据集所报告的图像划分上，HBCTNet-S达到92.3%的框平均精度（box AP）和89.9%的掩码平均精度（mask AP），参数量为12.67 M，计算量为48.1 G FLOPs。
三、主要关键技术方法
研究人员构建了一个自建的压电晶体缺陷数据集，包含3298张标注图像，按约80/10/10的图像级划分分为2638张训练图像、330张验证图像和330张测试图像，像素级实例掩码使用Labelme工具手工创建。研究工作中主要运用的技术方法包括以下几个方面。频率和空间卷积（FSC）模块包含空间域分支与频率域分支：空间域分支借鉴GhostNet和FasterNet的思想，采用逐步通道选择性卷积策略降低计算成本并提取多尺度空间信息；频率域分支利用二维快速傅里叶变换（FFT）将图像转换到频率域，分离实部和虚部后进行频率域卷积，再通过逆傅里叶变换返回空间域，从而增强全局纹理和周期性结构特征的建模能力。卷积门控线性单元视觉Transformer（CGT）模块采用卷积投影生成Q、K、V，在深层低分辨率特征图上计算多头自注意力，并引入门控线性单元思想构建前馈网络G-FFN，通过1×1卷积将特征分为两部分，一部分作为门控信号，另一部分经深度可分离卷积处理后逐元素相乘，实现选择性特征激活。卷积-Transformer双向桥接块（CTB）在输入特征按通道被分割成FSC和CGT两个分支后，通过两个方向相反的3×3投影完成一次局部特征到全局特征的信息传递和一次全局特征到局部特征的返回，再经过拼接和1×1卷积进行输出融合。多尺度特征金字塔网络（MS-FPN）由多尺度特征融合（MSF）模块和AvgPool Haar Down（AHDown）下采样模块构成，对主干网络产生的C3、C4、C5三层特征进行对齐和拼接，经MSF模块中四个并行深度卷积核（5×5、7×7、9×9、11×11）提取多尺度上下文并逐元素求和融合后，再经逐点卷积和残差连接输出。AHDown模块结合平均池化、Haar小波变换及最大池化与卷积两种通路，融合互补的下采样信息以减少分辨率降低时的特征损失。此外，在与基线模型对比时采用了相同的数据划分和硬件/软件平台，但各基线模型具体的优化器、损失函数和数据增强配置未在论文中完整记录。训练HBCTNet时使用带动量的随机梯度下降（SGD）优化器，动量设为0.937，权重衰减为0，采用三epoch线性预热、初始学习率0.01，并进行了裁剪、翻转、平移、饱和度调整和马赛克增强等训练时增强操作，共训练300个epoch且没有使用预训练权重。
四、研究结果
1. 消融实验
为验证各模块的有效性进行了一系列消融实验。在卷积块对比中，研究人员将HBCTNet中的FSC模块替换为GhostNet的Ghost模块和FasterNet的PConv模块，在其他条件不变的情况下，FSC取得了最高的掩码平均精度，表明空间-频率联合建模的有效性。在注意力头数量的实验中，由于深层阶段的活跃Transformer通道数可被8整除，研究人员比较了四种头数配置，8个头取得了最高的掩码平均精度。在桥接方式的对比中，研究人员比较了无跨分支交换的直接并行控制、引入交叉注意力融合的更强基线以及所提出的CTB，结果显示CTB在参数量和计算量相当的情况下取得了最高的掩码平均精度，支持了双向交互设计的有效性。在分支权重系数的实验中，从阶段1到4分别使用Transformer系数0、0、0.25、0.5时取得最高掩码平均精度，表明高分辨率浅层阶段保持纯局部处理、空间分辨率降低后再引入全局注意力是有利的。在MSF模块的卷积核数量和多尺度核设计实验中，四条并行路径和5×5、7×7、9×9、11×11的核组合取得最好效果。
2. 与现有模型的对比
在自建数据集的相同划分下，研究人员将HBCTNet与Mask R-CNN、YOLACT、YOLOv8-SEG、YOLO11-SEG、YOLOv9-SEG等代表性实例分割模型进行了对比。HBCTNet各变体在框平均精度和掩码平均精度上均超过所列基线。其中HBCTNet-S的掩码平均精度比YOLO11-SEG高2.1个百分点，比YOLOv9-SEG高2.4个百分点。
3. 定性可视化分析
研究人员展示了HBCTNet、YOLO11-SEG、YOLOv9-SEG和YOLACT的代表性预测结果。在所示示例中，基线输出对于一些大面积、低对比度或纹理精细的缺陷存在漏检或区域不完整的情况，而HBCTNet保留了更多的可见缺陷区域。该定性观察仅为辅助说明，不属于额外的逐图像量化评估。
五、讨论与结论
在讨论部分，研究人员指出压电晶体生产过程中可能产生尺寸、类型、分布和形态差异显著的缺陷，如划痕、油污和细小结构缺陷。部分缺陷的纹理与正常晶体表面相近，识别难度较大。HBCTNet在较深骨干阶段结合局部与全局特征建模，CTB执行FSC与CGT特征间的一次交换，FSC提取空间域和频率域响应，MS-FPN对齐并聚合最后三个特征尺度。但研究证据存在若干局限：评估仅限于单一生产线数据集和所报告的图像划分，缺少经核实的晶体、批次、光照和缺陷亚型分层信息；逐类分布、标注一致性、外部数据集表现、重复运行变异性、置信区间和显著性检验均未报告；消融实验未单独分离空间和频率分支、未比较所有经典FPN变体、未测试迭代融合，也未提供累积式组件添加分析和中间特征图。因此，所有结论仅限于所报告的特定数据集结果。潜在的失效模式包括极弱对比度缺陷、边界与印刷标记或正常表面纹理混淆以及超出训练分布的采集条件。部署可行性方面，HBCTNet-S需要48.1 G FLOPs，但FLOPs不能决定端到端延迟，且未报告FPS、推理时间、GPU内存、CPU吞吐量等指标。
研究结论部分指出，本研究提出了HBCTNet用于压电晶体缺陷实例分割。在所选配置中，仅使用FSC的浅层阶段保留局部细节，较深的CTB阶段交换FSC和CGT特征，MS-FPN通过MSF和AHDown聚合多尺度特征。在所报告的图像划分上，HBCTNet-S取得92.3%的框平均精度和89.9%的掩码平均精度，参数量为12.67 M，计算量为48.1 G FLOPs。这些结果支持了该架构在所评估数据集内的有效性，但不能构成物理缺陷计量、跨域验证、统计显著性或实时部署的证据。未来工作应建立独立于晶体和批次的划分、逐缺陷统计、独立的标注质量控制、重复随机种子的置信区间、公共数据集迁移、累积式组件消融和系统性的失败案例分析；部署研究在声称实时工业应用之前应报告端到端延迟、FPS、GPU内存、CPU吞吐量以及完整的预处理和后处理流程。
