利用稳定扩散实现参数感知的高保真微观结构生成

《ADVANCED ENGINEERING INFORMATICS》：Parameter-aware high-fidelity microstructure generation using stable diffusion

本研究提出了一种基于Stable Diffusion 3.5-Large的参数感知微结构生成方法，通过DreamBooth和LoRA实现高效微调，结合语义分割模型验证生成微结构的物理特性和空间统计一致性。实验表明，该方法在UHCS和Aachen-Heerlen数据集上均表现出色，参数误差低于2.1%，空间统计函数误差低于0.6%，为材料设计提供了可靠的数据生成工具。

　　在材料科学领域，理解和控制材料加工参数与微观结构之间的关系是实现高效材料设计的关键挑战。传统的实验和模拟方法虽然能够提供有价值的信息，但它们往往耗时、数据有限且计算成本高昂。这使得在现代材料开发中，快速探索加工场景变得困难重重。因此，发展一种高效、可靠且高保真的微观结构生成与分析工具成为研究的重点。近年来，基于深度学习的生成模型，特别是扩散模型，因其在图像生成和图像合成方面的潜力而受到关注。然而，这些模型在材料科学应用中仍面临诸多挑战，包括数据稀缺性、计算资源限制以及对多维参数的处理能力不足。

本文提出了一种新的参数感知生成模型，该模型基于Stable Diffusion 3.5 Large（SD3.5-Large），这是一种先进的文本到图像扩散模型，经过专门的微调，用于微观结构的生成。该方法通过将连续变量和分类变量直接编码到模型的条件输入中，实现了对加工参数的精细控制。为了克服数据稀缺和计算资源不足的问题，我们采用了一种参数高效更新策略，结合了DreamBooth和LoRA技术，仅对模型的部分权重进行微调，从而在保持预训练模型强大先验知识的同时，减少计算成本并防止过拟合。这种参数感知的条件输入方法能够有效地将数值参数和类别变量融入模型的生成过程中，使得生成的微观结构图像能够更真实地反映实际的加工条件。

为了验证生成图像的微观结构真实性，我们开发了一种基于细粒度标注数据集的轻量级U-Net语义分割模型，该模型使用VGG-16作为编码器。该分割模型不仅能够准确地识别不同的微观结构组成，还能用于计算材料特异性描述符和空间统计量，从而为定量分析提供可靠的基础。通过对生成图像和真实图像进行对比，我们发现，该方法在图像质量、分割精度和空间统计量方面均表现出色，例如在两个点相关函数和线性路径函数的评估中，误差分别低于2.1%和0.6%。这些结果表明，我们的参数感知扩散模型在生成微观结构图像方面具有显著的优势，并且能够有效地进行定量分析。

此外，为了进一步验证模型的泛化能力，我们将其应用于Aachen-Heerlen数据集，该数据集的条件模式与UHCS数据集不同。在不改变模型架构的前提下，通过调整参数模式，我们的模型在Aachen-Heerlen数据集上也表现出良好的性能，其分割精度和图像质量均达到较高的水平。这些结果表明，我们的方法不仅适用于特定的材料系统，还具有跨数据集的通用性。

本文的主要贡献包括：首先，我们提出了一种混合条件输入方法，能够同时处理多个连续和分类变量，从而实现对加工参数的多维控制；其次，我们采用参数高效的微调策略，使得模型能够在有限的标注数据下快速适应材料领域；第三，我们开发了一种定量验证流程，通过结合物理描述符和空间统计量，确保生成的微观结构图像具有足够的保真度和可分析性；第四，我们进行了全面的比较研究，评估了不同生成模型在参数感知条件下的性能，展示了SD3.5-Large在生成质量、统计量和参数控制方面的优越性；最后，我们展示了模型在不同材料系统中的可移植性，为未来的研究提供了可扩展的解决方案。

在方法部分，我们提出了一个分阶段的框架，用于参数感知微观结构的生成和验证。第一阶段是对SD3.5-Large进行参数高效的微调，结合了DreamBooth和LoRA技术，使得模型能够在有限的数据下进行有效训练。第二阶段则利用一个基于VGG-16编码器的U-Net分割器，对真实和生成的微观结构图像进行语义分割，从而提取微观结构特征并进行定量分析。通过这种两阶段的方法，我们能够确保生成的微观结构图像既具有高保真度，又能够支持后续的统计分析。

在实验结果部分，我们评估了不同生成模型在参数感知条件下的性能。结果显示，SD3.5-Large在图像质量、分割精度和空间统计量方面均优于其他模型。此外，我们还展示了生成图像与真实图像在微观结构特征上的高度一致性，包括颗粒大小、形状、分布和相分数等。这表明，我们的方法不仅能够生成高保真的微观结构图像，还能准确地捕捉到材料加工参数对微观结构演变的影响。

最后，本文的结论指出，参数感知扩散模型为材料科学提供了一种可扩展、数据高效的解决方案，能够有效探索加工-结构关系，并为后续任务（如分类、检测和分割）生成合成的微观结构图像。尽管全文本提示能够提供最高的保真度，但仅参数提示也能够生成对设计探索有帮助的图像。随着更大、更平衡的数据集的出现以及参数编码技术的改进，我们预期这两种提示方式之间的保真度差距将逐渐缩小。此外，本文的方法虽然目前仅适用于两种钢材系统和二维微观结构图像，但未来的研究可以扩展到其他材料体系和成像模式，以进一步提升其适用性和效率。