有限标注条件下基于自适应多层特征融合与层级缺陷指示的 LPBF 缺陷监测

《Optics & Laser Technology》：LPBF defect monitoring under limited annotation via adaptive multilayer feature fusion and layer-level defect indication

　　

# 摘要

激光粉末床熔融（LPBF）要求可靠的逐层缺陷识别，但像素级标注成本高昂，且腔体图像常受噪声、模糊和光学干扰的退化影响。本研究提出了一种仅需30张像素标注训练图像和30张标注验证图像即可训练的缺陷监测方法。该方法将完全冻结的DINOv3-ViT主干网络与自适应多层特征融合、多尺度上下文增强和轻量级解码器相结合，从而无需对编码器进行完整微调即可利用可迁移的密集特征。分割输出被转换为层级缺陷指标和定性指示等级，用于层筛选。该方法在此设定下实现了77.96%的mIoU，优于卷积网络及Transformer相关基线。在强合成噪声和仅使用20%训练数据的情况下，平均mIoU仍保持在58.83%。在一个额外的设备-材料组合上，对15张标注图像进行的初步跨设备和跨材料测试中，无需重新训练即可达到72.43%的mIoU。训练耗时37分钟，平均GPU显存占用5.8 GB，每张图像推理时间为0.23秒。更广泛的工业适用性仍需在更大规模的多构建、多材料和多设备数据集上进行验证。

# 引言

金属增材制造（AM）已成为生产高价值部件的重要途径。在现有的AM工艺中，激光粉末床熔融（LPBF）因其高精度、高可达密度以及制造复杂几何形状的能力而在航空航天和高端制造领域得到广泛应用[1], [2], [3], [4]。由于LPBF逐层构建零件，某一层的缺陷可能影响后续熔化行为和最终力学性能[3], [5], [6]。最近关于先进激光制造的研究表明，界面控制以及热-流-凝固行为对缺陷形成和最终性能有强烈影响[7], [8], [9], [10], [11], [12]。这些发现凸显了对激光加工过程中可靠的在位缺陷监测的需求。因此，可靠的在位逐层监测对于缺陷识别、层筛选和后续工程评估至关重要[13], [14], [15]。

实际应用仍面临困难。LPBF系统高度集成且在严格的安全要求下运行，使得数据获取成本高昂且耗时。粉末床图像在不同设备、材料和工艺参数之间也存在差异，同时腔体成像受光学干扰、反射和噪声影响[16]。因此，鲁棒的视觉监测受到标注稀缺、图像质量不稳定以及在不断变化的生产条件下高效模型更新需求的制约[1], [17], [18], [19], [20]。

在LPBF系统中，光学摄像头通常用于记录粉末床图像。因此，基于机器视觉的深度学习（DL）为逐层质量监测提供了一种自然途径[15], [21], [22], [23], [24]。许多现有方法依赖卷积神经网络（CNN）[13], [25], [26]。例如，Zhang等人[27]开发了一种改进的U-Net用于像素级缺陷分割。Zhu等人[28]提出了一种改进的U-Net++模型，用于高精度检测铺粉缺陷，并将结果与力学性能变化相关联。Tan等人[29]引入了半监督教师-学生框架用于稀疏标注。Zhao等人[30]将数据增强和迁移学习与CNN结合，使用边界框定位缺陷。这些研究表明，基于CNN的方法可以准确且高效。然而，它们通常需要大量像素级标注数据集，构建成本高昂[26]。此外，它们在LPBF构建腔室中典型的光学干扰（如激光眩光、反射和传感器噪声）下的鲁棒性也未被系统地检验[31], [32], [33]。另外，大多数研究将视觉缺陷识别视为最终输出，而实际应用中的监测还需要将缺陷证据组织成可解释的层级信息。

与此同时，视觉Transformer（ViT）和大规模预训练模型已展现出强大的建模长距离依赖关系和复杂视觉模式的能力[34], [35], [36], [37], [38], [39]。自监督模型如DINO也展示了跨下游任务的强大迁移能力[40], [41], [42]。基于ViT的架构正在被探索用于AM质量评估[32], [41]，显示出在LPBF监测中的潜力。与CNN相比，ViT通过自注意力机制汇聚全局上下文[43]。这可能有助于在噪声和光学复杂的LPBF成像条件下实现更稳定的缺陷表征[44]。因此，当标注数据稀缺且需要快速模型更新时，预训练Transformer特征极具吸引力。

尽管取得了这些进展，LPBF视觉监测仍面临四个实际挑战：

（1）**对标注数据的依赖及有限的跨条件可用性。** 大多数方法需要大量像素级标注。为新材料、工艺参数或零件几何形状收集此类数据的成本高昂，且在一种条件下训练的模型在成像特征变化时可能不再有效[37]。

（2）**在复杂LPBF场景中分层视觉信息利用有限。** Transformer主干网络提供多层次表征，但现有LPBF监测方法通常依赖简单的融合或单层特征。这可能限制其在噪声条件下结合纹理、结构和语义上下文来检测不规则多尺度缺陷的能力。

（3）**缺乏超越像素级识别的结构化信息。** 对于LPBF监测，仅精确分割往往不够。视觉证据还需要被汇总为层级信息，以支持解释、异常指示和后续评估。

（4）**工业更新的计算成本高。** 为每个新任务微调大模型需要时间和资源，这与快速调试、经济的小批量生产和跨LPBF平台的低成本迭代相矛盾。

因此，需求范围比一个更准确的分割模型更广。一种有用的LPBF监测方法应该能够从有限标注中训练，在光学干扰下保持稳定，并将视觉缺陷证据转换为可解释且可用于后续评估的层级信息。

为解决这些挑战，本研究提出了一种在有限像素级标注条件下适用于LPBF逐层图像的快速可部署缺陷监测方法。该方法围绕两个相互关联的目标设计：从有限和受干扰的图像中鲁棒提取缺陷证据，以及将该证据转换为结构化的层级信息。主要贡献如下：

（1）**一种在有限标注下用于LPBF缺陷识别的数据高效视觉监测方法。** 通过使用完全冻结的DINOv3-ViT主干网络并仅训练轻量级下游模块，该方法减少了对大规模LPBF专用像素级数据集的依赖：仅使用30张像素标注训练图像。它在此设定下提高了分割性能，同时支持LPBF监测场景中的快速模型更新。

（2）**一种用于缺陷表征的分层特征融合策略。** 自适应多层特征融合模块（AFF）和多尺度上下文增强模块（MCE）结合浅层、中间层和深层Transformer特征。这保留了局部纹理、结构轮廓和全局上下文，使模型能够同时学习缺陷外观以及缺陷区域与其周围环境之间的空间关系。这在多尺度缺陷模式、光学干扰和初步跨域变化下提高了判别能力[45]。

（3）**一种用于缺陷指示的层级信息抽象方案。** 除像素级分割外，该方法将学习到的缺陷证据转换为可量化的层级指标和定性层级指示。结合极低标注设定下的结果、合成干扰测试和初步跨设备/跨材料验证，这为层筛选和解释提供了结构化基础，也为LPBF中的未来工程评估提供了起点。

表1对本方法与代表性LPBF视觉缺陷监测研究进行了简洁而非详尽的比较。比较侧重于部署相关需求，而不仅限于分割精度。

该方法的工程价值在于数据效率、鲁棒性和信息可用性的结合。在生产中，监测模型通常需要少量标注、有限计算和不完美图像下的更新。所提出的方法通过避免主干网络完整微调并将缺陷掩膜转换为比像素图更易于检查的层级指标来应对这些约束。这些指标应被解释为视觉异常的的结构化表征，而非经验证的过程质量模型。初步的跨设备和跨材料测试提供了当设备、合金、工艺参数和图像质量同时变化时稳定性的初步证据。框架概述见图1。

# 章节片段

## 方法

本节描述了基于自适应多层特征融合的适用于有限标注条件的LPBF缺陷监测框架。该框架旨在提供鲁棒的像素级缺陷识别以及数据受限条件下层级缺陷信息抽象的基础。它利用预训练DINOv3-ViT主干网络的分层表征，融合不同Transformer层的特征以保留局部纹理、结构轮廓和…

## 实验与讨论

本节评估了所提方法在实际LPBF监测约束下的性能。评估涵盖了有限标注下的可用性、计算效率、对光学干扰的鲁棒性、初步的跨设备和跨材料迁移，以及像素级缺陷证据向层级信息的转换。随后通过机制分析和消融研究来解释观察到的性能。

结果表明，所提方法保持了强大的性能…

## 结论

本研究提出了一种在有限标注（30张像素标注训练图像）条件下适用于LPBF逐层图像的快速可部署缺陷监测方法。该方法将完全冻结的DINOv3-ViT主干网络与自适应多层特征融合、多尺度上下文增强和轻量级解码器头相结合。此设计在缺陷识别精度和低成本训练之间取得了平衡。在此设定下，所提方法实现了77.96%的mIoU，优于所评估的卷积网络及…

## CRediT作者贡献声明

张少宇：撰写—初稿、调查研究、形式分析。韩全全：撰写—审阅与编辑、监督、方法论、资金获取。朱敏：调查研究、形式分析。张振华：方法论。吴德帆：验证、调查研究。赵鹏：验证、调查研究。姬泽：撰写—审阅与编辑、方法论。

## 利益冲突声明

作者声明他们没有已知的可能影响本文工作的竞争性经济利益或个人关系。

## 致谢

作者感谢山东省自然科学基金的资金支持（项目编号：ZR2025ZD38, ZR2025QC1113）。

张少宇 | 韩全全 | 朱敏 | 张振华 | 吴德帆 | 赵鹏 | 姬泽