基于MAE-CGAN的工艺-组织关系映射与金相显微组织SEM图像条件生成研究

《Scientific Reports》：Process effect prediction method based on visual generative models

　　

摘要

本研究旨在开发一种条件视觉生成模型，用于映射工艺-组织关系，并根据输入的工艺参数生成特定条件下金相显微组织的扫描电子显微镜（SEM）图像，为工艺改进提供参考。采用Omni-loss优化条件判别器/生成器。提出了一种MAE-CGAN模型，以展示生成显微组织的保真度及其与所施加处理方法之间的相关性。该模型集成了视觉Transformer和条件生成对抗网络（CGAN），具有以下优势：CGAN框架在理论上支持对任意材料系统进行建模；训练后的生成器可以在指定的工艺条件下产生特定的显微组织图像。此外，使用先前工作中提出的定量指标对预测数据集进行评估。结果表明，预训练的掩码自编码器（MAE）模型在相对较小的图像数据集上展现了强大的关键结构特征提取能力。对现有样本的定量分析结果与专家评估一致，生成的样本在指导未来实验设置方面具有巨大潜力。