《ACTA MATERIALIA》：Mapping microstructure to mechanical property by disentangling strengthening mechanism with deep learning
编辑推荐：
超合金材料微结构表征中提出融合图像增强、自监督学习和回归的框架，通过25组实验数据验证其捕捉细晶强化机制的有效性，使屈服强度预测R2值从0.35提升至0.74。
廖伟杰|薛向毅|李金山|范江坤|宋凌云|尚学群|图拉布·洛克曼|袁瑞豪
西北工业大学凝固加工国家重点实验室，中国西安，710072
摘要
材料微观结构中编码的物理信息对于预测机械性能至关重要。然而，由于微观结构和替代模型的复杂性，使用深度学习来解析或表示这些信息仍然是一个长期存在的挑战。在这里，我们提出了一种方法，该方法结合了图像增强、自监督学习和回归，以实现可解释的表示和改进的预测模型。我们在一个包含多种测量微观结构和屈服强度的小数据集上展示了所提出的策略。学习到的表示（潜在变量）与屈服强度显示出类似Hall-Petch的关系，表明捕获了细晶强化机制。因此，当将该模型应用于测试数据时，目标属性的预测准确性翻了一番。我们的方法可以推广到其他场景，以识别在数据有限的情况下将微观结构与属性相关联的关键物理信息。
引言
具有优异机械性能的金属材料（如超合金）是现代工业中的关键组成部分[1]、[2]、[3]。微观结构由成分和加工过程决定，极大地影响了材料的性能[4]、[5]、[6]、[7]。因此，人们非常关注将微观结构与性能相关联，以帮助理解其背后的机制并设计新材料[8]、[9]、[10]。为了建立这种映射，关键在于定量表示微观结构[11]、[12]、[13]。然而，这通常很复杂，并且编码了多种物理现象，这些现象通过异质性和多尺度特征（如晶粒和沉淀物）表现出来[14]、[15]。因此，解析这种复杂性并提炼出物理本质对于建立稳健的性能预测模型至关重要，例如，基于理论的模型以微观结构特征作为输入[16]、[17]。
手动提取微观结构特征非常费力，且严重依赖于专业知识[18]、[19]、[20]、[21]。同样，点相关函数在处理具有多个相或晶粒的显微图像时往往不够有效[22]、[23]、[24]、[25]、[26]。在过去的十年中，深度学习算法因其卓越的图像表示能力而越来越被应用于材料科学[27]、[28]、[29]。典型的应用包括微观结构分类、相分割和性能预测[30]、[31]、[32]、[33]。替代模型通常利用多层网络来捕获图像中编码的潜在信息，以用于下游预测[34]、[35]。例如，使用卷积神经网络（CNN）预测复合材料的应变场，以及将变分自编码器（VAE）与回归网络联合训练，从模拟的微观结构中预测弹性性能[36]、[37]、[38]。当有足够的图像-性能数据时，这些研究取得了很多成功[39]、[40]、[41]。对于数据较少的情况，已经开发了各种预训练策略来缓解相关问题[42]、[43]、[44]。一种常见的做法是使用基于ImageNet的预训练模型（如CNN）来辅助目标任务，例如显微图像的聚类[32]、[45]。这些成就主要基于对不同像素的统计学习和分析，但得到的表示对于材料科学家来说难以理解。也就是说，定量表示其中的物理现象超出了大多数深度学习方法的能力范围。此外，当实验材料数据的规模有限，无法使用足够的数据来训练深度学习模型时，这个问题变得更加突出[16]、[46]。
在这里，我们提出了一个包括图像增强、自监督学习和回归的框架来克服上述障碍。我们在超合金上展示了所提出方法的有效性，超合金是一种在航空航天等各个领域广泛使用的材料[47]、[48]、[49]。从一个仅有25张测量显微图像和屈服强度的稀疏实验数据集开始，我们使用两种图像增强策略以及自监督学习策略来实现可解释的微观结构表示。学习到的表示（潜在变量）与屈服强度显示出类似Hall-Petch的关系，表明潜在的物理机制（细晶强化机制）被很好地捕获和表示出来了。相比之下，典型的CNN得到的表示主要是统计意义上的，对于材料科学界来说难以理解。因此，属性预测模型在独立测试数据上的决定系数（）从0.35（CNN）提高到了0.74（我们的方法）。
方法概述
方法
所提出的方法如图1所示。首先，我们展示了如何使用典型的CNN从微观结构预测性能（见图1(a)）。由于通常只能使用少量实验微观结构进行建模，因此通常会将大尺寸的原始图像裁剪成较小的图像，以确保CNN的训练[16]、[30]、[46]、[50]。这些较小的图像被标记为与原始大图像相同的标签，即相同的屈服强度。然后每个较小的图像...
自监督预训练的VAE模型
图4(a)显示了两个步骤中损失随训练周期的变化（见方法部分）。在第一步中，训练损失和测试损失都迅速下降并在大约20个周期后稳定下来。在第二步中，由于输入图像和训练方法的不同，两种损失都先增加，然后迅速下降。潜在变量的维度是一个影响模型复杂性和性能的关键参数。我们还研究了潜在变量维度对预训练模型的影响...
讨论与结论
总之，我们提出了一种基于自监督VAE的方法，从实验微观结构图像中学习有信息的表示。与使用大型源数据库（如ImageNet）不同，我们从一个包含25张具有不同微观结构和性能的超合金数据集开始。VAE模型是在使用各种图像增强方法（如旋转、侵蚀和膨胀）增强的图像上预训练的。然后应用预训练模型...
CRediT作者贡献声明
廖伟杰：撰写 – 审稿与编辑，撰写 – 原始草稿，可视化，验证，方法论，研究，数据整理。薛向毅：资金获取。李金山：资源获取，资金获取。范江坤：资金获取。宋凌云：撰写 – 审稿与编辑。尚学群：撰写 – 审稿与编辑。图拉布·洛克曼：撰写 – 审稿与编辑。袁瑞豪：撰写 – 审稿与编辑，监督，项目管理，方法论，资金获取，
利益冲突声明
作者声明他们没有已知的可能会影响本文报告工作的财务利益或个人关系。
致谢
本工作得到了中国国家重点研发计划（2021YFB3702604）、重庆市自然科学基金（cstc2021jcyj-msxmX0602）、国家自然科学基金（52002326）以及凝固加工国家重点实验室（NPU）研究基金（授权号：2023-TS-12）的财政支持。
