通过数据增强和晶界检测实现自动化谷物分析

《Micron》：Automated grain analysis via data augmentation and grain boundary detection

金属学定量分析中，针对人工评估效率低且计算方法数据不足的问题，本研究提出融合扩散模型与对抗生成网络的级联数据合成管道，通过去噪扩散概率模型（DDPM）生成物理一致性显微图像，并利用条件对抗网络（cGAN）实现微观结构转换。基于此构建的拓扑感知U-Net检测网络，结合双晶粒合并策略，形成全自动化分析系统。实验表明该方法在40个样品中与人工评估高度一致，有效解决了异质显微结构中的边界检测难题，为材料性能预测提供了可靠数据基础。

　　本研究提出了一种基于人工智能的框架，旨在解决纯铁系统定量金相分析中的关键挑战。传统的手动晶粒尺寸表征方法存在效率低下和可重复性差的问题，而现有的计算方法则受限于数据量不足和晶界检测不完整。为了解决这些问题，我们提出了三项核心创新。首先，构建了一个三阶段的数据合成流程，结合了去噪扩散概率模型（DDPM）进行随机晶粒掩膜生成，以及条件对抗网络（cGAN）进行微观结构转换，从而生成物理上一致的金相图像。其次，基于U-Net架构的深度神经网络在配对和重建的数据集上进行训练，其拓扑感知能力来源于数据配对和重建的目标。第三，建立了一个完全自动化的晶粒分析系统，基于整个晶粒面积的量化和孪晶晶粒合并策略。所提出的方法有效解决了金相分析中长期存在的数据稀缺和手动评估主观性的问题。

材料的微观结构与其宏观性能之间存在基本的关联性，尤其是在纯铁系统中，晶粒尺寸在决定机械和功能性能方面起着至关重要的作用。晶粒尺寸通过Hall–Petch关系直接影响屈服强度和低温脆性抵抗能力，同时也影响腐蚀动力学和磁参数，如矫顽力和磁导率。因此，精确的晶粒尺寸量化对于预测材料建模至关重要。当前的晶粒尺寸表征方法大致可以分为三种范式：先进的仪器表征、传统的图像处理和基于深度学习的方法。先进的仪器表征方法，如电子背散射衍射（EBSD）、透射电子显微镜（TEM）和光学显微镜，提供了高分辨率的分析，但受限于有限的统计采样和主观解释导致的操作员不确定性。传统的图像处理方法，如基于自适应Otsu阈值、形态学重建和连通区域分析的处理方式，虽然在某些情况下表现良好，但对参数调整敏感，容易受到成像伪影的影响，并且在异质微观结构中的鲁棒性不足。基于深度学习的方法，如使用全连接边缘检测的卷积网络，能够匹配专家级性能，而基于曲率约束的卷积回归则实现了亚像素维度的预测。这些模型在不同尺度上提取分层特征，相较于传统方法具有更优越的泛化能力。

尽管这些方法展现出潜力，但基于深度学习的方案需要大量且多样化的微观结构数据。然而，生成此类数据需要在仪器设备和专家标注方面投入大量资源，这限制了数据的可用性和扩展性。为了应对这一问题，近期的研究探索了生成建模用于合成微观结构的创建。例如，AlloyGAN通过将相场凝固物理嵌入对抗训练，以捕捉成分敏感的特征；而Lee则对生成对抗网络（GAN）、变分自编码器（VAE）和扩散模型进行了基准测试，建立了定量保真度指标。类似地，其他研究利用合成双图像生成进一步减少微观图像分割任务中的标注工作量；例如，Volman Stern等人引入了一种双生成策略，联合合成微观结构和相应的掩膜，从而降低手动标注的需求。与这些努力相一致，我们提出的生成流程也利用合成数据来丰富训练多样性并提高边界检测性能。

自动化晶粒分析中的一个核心瓶颈在于连续的边界检测。Geng等人通过结合测地线活动轮廓与L1正则化的形态学算子，对断裂的晶界进行了重建。Na等人则在物理感知的CycleGAN中引入了应变能密度正则化，以实现缺陷鲁棒的重建。Huang等人进一步通过半监督注意力机制和自适应形态学正则化提高了边界保真度。然而，生成对抗网络常常面临模式崩溃的问题，而扩散模型虽然更加稳定，但受限于其对多晶结构的适应性。此外，现实世界中的边界检测面临三种关键失败模式：（1）各向异性蚀刻伪影导致虚假边界；（2）表面缺陷降低检测精度；（3）在异质区域之间缺乏对比度归一化。为了应对这些限制，我们提出了一种结合数据增强和增强边界检测的集成框架，用于纯铁晶粒分析。该贡献主要体现在三个方面：（1）一个级联生成流程，结合去噪扩散概率模型（DDPM）用于边界合成，以及条件对抗网络（cGAN）用于微观结构转换，生成了372张与实验形态一致的合成显微图像；（2）一个在配对和重建数据集上训练的检测网络，通过数据驱动的约束确保拓扑一致性；（3）一个完全自动化的量化系统，结合了孪晶晶粒合并协议。我们的方法在40个金相样本上得到了验证，实现了与手动评估高度一致的结果。

为了确保实验数据的准确性和适用性，实验数据集是在严格的冶金规程下通过一个三阶段流程开发的，包括样品制备、显微图像采集和标注，以及结构化数据预处理。这一工作流程确保了领域相关性，同时满足现代计算微观结构分析的需求。在样品制备过程中，遵循了符合ASTM标准的流程，使用碳化硅（SiC）磨料对高纯度铁样品进行了逐步打磨，以确保样品表面的平整和清晰度。显微图像的采集和标注则采用了先进的光学显微技术，确保图像质量的稳定性和标注的准确性。在结构化数据预处理阶段，对采集的图像进行了标准化处理，包括灰度调整、噪声去除和尺寸归一化，以提高后续分析的效率和可靠性。

在定量评估方面，我们使用Fréchet Inception Distance（FID）来评估所提出的级联生成流程，FID是一种广泛采用的感知相似性度量，其定义为：FID等于生成和真实微观结构的特征均值之间的欧氏距离，加上特征协方差矩阵之间的迹。具体而言，FID近似于两个特征分布之间的Wasserstein-2距离，反映了结构和纹理的真实性。通过计算FID，我们能够衡量生成图像与真实图像在视觉和统计上的相似程度，从而评估生成模型的有效性。在实验过程中，我们对生成的图像和真实图像进行了详细的对比分析，确保生成的图像不仅在外观上与真实图像相似，而且在微观结构特征上保持一致。

此外，为了验证所提出方法的性能，我们对40个金相样本进行了系统评估。这些样本涵盖了不同晶粒尺寸和微观结构特征的纯铁材料，以确保评估的全面性和代表性。在评估过程中，我们使用了多种指标，包括图像质量、晶粒尺寸分布的准确性以及边界检测的完整性。通过这些指标，我们能够全面衡量所提出方法在实际应用中的表现。结果表明，所提出的方法在图像质量、晶粒尺寸分布和边界检测方面均优于传统方法，能够有效减少手动评估的工作量，提高分析的效率和一致性。

为了进一步提高晶粒尺寸量化的准确性，我们引入了孪晶晶粒合并策略。这一策略通过识别相邻晶粒之间的边界，将形状相似、尺寸相近的晶粒合并为一个整体，从而减少误判和遗漏。在实施过程中，我们结合了形态学重建和连通区域分析，确保合并后的晶粒在拓扑结构上保持一致。此外，我们还对生成的图像进行了详细的检查，以确保其在微观结构特征上的准确性和一致性。通过这些方法，我们能够提高晶粒尺寸量化的精度，减少人为误差，提高自动化分析的可靠性。

为了确保所提出方法的泛化能力，我们对不同类型的纯铁材料进行了测试，包括不同热处理条件和加工工艺下的样品。这些样品在微观结构特征上存在显著差异，以验证所提出方法在处理异质材料时的表现。测试结果表明，所提出的方法能够有效适应不同类型的纯铁材料，提高晶粒尺寸量化的准确性和一致性。此外，我们还对生成的图像进行了定量分析，以评估其在不同尺度上的表现。通过这些测试，我们能够确保所提出方法在实际应用中的有效性，提高其在不同条件下的适用性。

为了进一步提高晶粒尺寸量化的准确性，我们对生成的图像进行了详细的分析和验证。在分析过程中，我们使用了多种图像处理技术，包括形态学重建、连通区域分析和边界检测算法，以确保生成的图像在微观结构特征上的准确性和一致性。此外，我们还对检测网络进行了优化，以提高其在不同尺度上的表现。通过这些优化，我们能够提高检测网络的泛化能力，使其能够适应不同类型的纯铁材料，提高晶粒尺寸量化的准确性和一致性。

在实际应用中，我们对所提出方法进行了广泛的测试，包括不同实验条件和样品制备方式下的测试。这些测试确保了所提出方法在不同环境下的适用性，提高了其在实际应用中的可靠性。此外，我们还对生成的图像进行了定量分析，以评估其在不同尺度上的表现。通过这些测试，我们能够确保所提出方法在不同条件下的适用性，提高其在实际应用中的有效性。最终，我们得出结论，所提出的方法能够有效解决纯铁系统金相分析中的关键挑战，提高晶粒尺寸量化的准确性和一致性，减少手动评估的工作量，提高自动化分析的效率和可靠性。