《Optics & Laser Technology》：Machine learning-based detection technology for electron beam and laser processing
编辑推荐：
电子束和激光束加工图像存在边缘模糊、特征缺失问题，本文提出SE-DyMask模型，通过通道注意力机制和动态上采样技术优化特征融合，显著提升分割精度，在AP和AR指标上优于传统Mask R-CNN及U-Net等模型，对微纳制造工业检测有重要应用价值。
孟康|姚亮|赵宝熙|刘静|王希照|吴超|秦莉|张俊民|田伟
中南民族大学计算机科学学院，中国湖北武汉430070
摘要
电子束和激光束加工技术在工业应用中得到了越来越多的采用，尤其是在微制造领域。深入研究其加工机制、诊断方法和仿真对于技术的进一步发展至关重要。在电子束和激光束加工过程中，加工参数和材料属性等因素容易导致加工图像出现缺陷，包括边界模糊、边缘弱化和结构特征部分丢失。为了解决这个问题，本文提出了一种用于电子束和激光束加工的图像分割模型，称为Squeeze-and-Excitation Dynamic Upsampling Mask R-CNN（SE-DyMask）。该模型结合了通道注意力机制，采用了具有动态上采样的合成融合金字塔网络（S-FPN），并优化了特征融合，以专门提高边缘弱化和特征缺失区域的分割精度。实验结果表明，与原始模型Mask R-CNN相比，改进后的SE-DyMask算法在AP（平均精度）上提高了2.67%，在AR（准确率）上提高了1.06%。此外，在相同的实验条件下，与U-Net和SegFormer等现有架构相比，它在对比度低和结构碎片化的微制造图像上实现了1%到3%的更高IoU（交并比）。这项研究为电子束和激光束加工领域的学术研究和工业技术升级提供了有效支持。
引言
在微加工中，制造出的特征非常微小，无法直接用肉眼观察，必须通过显微镜放大进行检测[1]。传统的手动评估依赖于对放大图像的逐点扫描（每张图像至少需要2分钟）来确保测量精度。这个过程劳动强度大、耗时且容易受到主观误差的影响，难以满足工业检测的效率和精度要求。
目前，关于电子束和激光束加工结果的特征提取研究主要依赖于两种评估方法：手动评估和传统的图像分割算法。第一种方法是上述的手动评估方法。尽管这些方法可以通过专业技能处理简单场景，但它们存在效率低、主观性强和一致性差等固有缺点。另一种方法是传统的图像分割算法，这些算法通常作为图像处理的预处理步骤[2]，已成为特征提取的主流技术途径。常见的边缘检测差分算子包括：Roberts [3]、Sobel [4]、Prewitt [5]、LoG [6]、Canny [7]等。
在这些方法中，Canny边缘检测算子由于其出色的性能，被广泛用作评估边缘检测能力的基准[8]，并在多个领域得到了广泛应用。在交通领域，Li等人[9]通过霍夫变换改进了Canny算子，提高了车道线检测的准确性。在光学领域，Shi等人[10]引入了双阈值方法和梯度幅度算法，在太赫兹图像中获得了更清晰、更详细的边缘检测结果。在医学领域，Nikolic等人[11]用改进的中值滤波器替换了高斯滤波器，实现了内脏器官边缘的精确定位。在电子束加工领域，Wang等人[12]整合了帽状形态学操作，从电子束加工图像中提取轮廓。在激光加工领域，Liu等人[13]使用图像分割算法提取并分析了油菜籽油辅助的飞秒激光蚀刻石英玻璃微通道的轮廓和尺寸特征，从而为评估加工效果提供了数据支持。此外，Otsu的自适应阈值分割算法[14]与其他技术结合使用；例如，Setiawan等人[15]将其与Canny边缘检测器结合用于湖泊边缘检测。然而，这种组合的检测性能仍然容易受到高斯滤波器核大小变化的影响。与手动评估相比，传统分割算法在科学严谨性、效率和精度方面具有优势。尽管如此，它们仍然存在显著的限制：一方面，它们难以适应各种加工图像类别的不同特征提取需求；另一方面，电子束和激光束加工图像通常表现出边缘弱化和边界模糊，导致传统方法经常遗漏或错误识别特征信息。此外，从物理机制的角度来看，电子束和激光束加工的形态特征本质上是由束流与物质相互作用过程中的动态过程决定的。一方面，束流的产生和加速机制直接决定了能量密度分布。例如，在离子通道中通过紧密聚焦的脉冲、等离子体通道中的双脉冲交叉或磁镜中的低频混合波可以实现显著的电子加速效应[16]、[17]、[18]。此外，激光脉冲在密度波动等离子体中的非线性相互作用以及异常电子加热现象也受到环境调制的影响[19]。另一方面，束流轮廓对加工精度至关重要。不同模式的激光束（如Laguerre-Gaussian、Hermite cosh-Gaussian和倾斜的cosh-Gaussian束）在与碳纳米管或磁化纳米簇等离子体相互作用时，会引起不同的非线性吸收、表面等离子体波生成和双光子衰减[20]、[21]、[22]、[23]。这些复杂的物理相互作用过程共同塑造了加工区域的微观轮廓。然而，这些轮廓在光学成像中通常表现为边界模糊和边缘弱化。为了解决这些问题，本文提出了一种改进的图像分割模型Squeeze-and-Excitation Dynamic Upsampling Mask R-CNN（SE-DyMask），以满足微制造领域的图像分析需求。鉴于该领域缺乏公开可用的算法训练和验证数据集，本文提供的数据集填补了这一数据空白，对于电子束和激光束加工的检测具有重要意义。
在这项研究中，所提出的SE-DyMask模型通过优化特征融合策略和引入更适应性的特征层，有效增强了特征表示能力，从而显著提高了边缘弱化和局部特征不足场景下的分割性能。为了进一步提高特征提取效果，将通道注意力机制整合到了主干提取网络ResNet中。为了解决上采样过程中的信息模糊问题，采用了Dysample动态上采样技术以获得更精确的细粒度空间和边缘细节。广泛的实验结果表明，SE-DyMask在电子束和激光束加工图像的特征提取方面显著优于当前主流的高性能分割模型。
针对现有方法在微尺度束流加工检测方面的局限性，本文提出了SE-DyMask模型。其重要改进和根本创新总结如下：
1) 专为“弱边缘”特征设计的架构：与为自然场景设计的通用混合模型不同，SE-DyMask是专门为电子束和激光加工中发现的复杂、边缘模糊的特征设计的。通过结合动态上采样机制（DySample）和策略性特征融合，我们替换了传统模型中的静态插值，使网络能够适应性地恢复在自上而下特征传播过程中通常丢失的细粒度结构细节。
2) 创新的层内注意力重置：这项工作的关键创新在于SE-ResNet主干网络的重新配置。传统的混合设计通常将注意力模块放置在残差块的末端。相比之下，我们将注意力模块重新放置在每层的第一个卷积层之后。这种根本性的结构变化专门解决了由于微纹理图像特征的均匀性导致的权重稀释问题，显著增强了在标准架构中容易被抑制的弱边缘特征的激活。
3) 准确性和效率之间的平衡：比较评估表明，SE-DyMask在平衡分割精度和计算开销方面取得了突破性进展。它有效解决了现有混合模型中常见的关键信息瓶颈问题，为实时工业微特征检测提供了更健壮和专门的解决方案。
数据集和处理方法
为了支持电子束和激光束加工图像的特征提取、缺陷检测和分类任务，本研究构建了一个专门的数据集，并通过复合数据增强策略扩展了其规模和多样性。初始数据集包含1000个有效样本（包括500张电子束图像和500张激光束加工图像）。然后，通过随机翻转等几何变换将该数据集进一步扩展到4000张图像
改进模型
改进的模型架构如图2所示，主要改进集中在CNN和特征图组件上。本研究以Mask R-CNN作为基准。我们在每个ResNet层的第一个卷积之后嵌入了SE-Attention模块。用S-FPN替换了FPN以增强边界信息。用Dysample动态上采样替换了传统的插值方法。我们还优化了S-FPN特征输出的融合策略。
如图3所示，
设置
所有实验都在配备有Intel Core i5-13600KF CPU（基础频率5.10 GHz）、NVIDIA GeForce RTX 4070 Ti显卡（12 GB VRAM）和32.0 GB内存的硬件平台上进行。软件环境基于Windows 10操作系统，并行计算框架为CUDA 12.1。深度学习模型在PyTorch 2.1.1框架下开发和训练，编程语言为Python 3.10。
结论
本文提出了SE-DyMask，这是一种基于深度学习的特征提取算法，旨在解决电子束和激光束加工图像中边界模糊、边缘弱化和局部特征缺失的核心问题，从而实现精确的特征提取。实验结果表明，与原始模型相比，SE-DyMask在分割结果的AP上提高了2.67%，在AR上提高了1.06%。与常见的分割模型相比
CRediT作者贡献声明
孟康：撰写 – 原始草案，方法论。姚亮：方法论，数据整理。赵宝熙：概念化。刘静：撰写 – 审稿与编辑。王希照：概念化。吴超：监督。秦莉：数据整理。张俊民：监督。田伟：撰写 – 审稿与编辑，资金获取。
利益冲突声明
作者声明他们没有已知的可能会影响本文工作的竞争性财务利益或个人关系。
致谢
本研究得到了国家自然科学基金（项目编号：52377163）、中南民族大学基本研究基金（项目编号：CZD25002）和中南民族大学学术创新团队基金（项目编号：XTZ24002）的支持。
