《Materials Today Communications》：AlloyAlign: A generalizable self-supervised multimodal alignment framework for alloy tensile strength prediction
编辑推荐：
多模态学习结合人工智能通过整合互补数据增强了合金性能预测能力。然而，合金领域现有方法通常依赖简单的特征拼接，未能捕捉对精确表征至关重要的跨尺度关系。本研究提出AlloyAlign，一种可泛化的多模态框架，整合结构化热处理参数、非结构化扫描电子显微镜（SEM）图
多模态学习结合人工智能通过整合互补数据增强了合金性能预测能力。然而，合金领域现有方法通常依赖简单的特征拼接，未能捕捉对精确表征至关重要的跨尺度关系。本研究提出AlloyAlign，一种可泛化的多模态框架，整合结构化热处理参数、非结构化扫描电子显微镜（SEM）图像以及由图像生成的语义描述，以预测抗拉强度。关键在于，AlloyAlign采用自监督学习实现跨模态的精细对齐，将定性物理知识编码到统一表示空间中，以协调来自不同语义层面的表示。在Inconel 718上验证时，完整多模态设置对屈服强度（YS）和极限抗拉强度（UTS）分别实现了0.9313和0.8904的决定系数（R2）值。此外，研究还评估了所学编码器在强度目标之间以及从AZ80镁合金到Inconel 718的迁移能力。额外的实验和文献案例在偏移加工条件下提供了补充验证。该工作通过对齐多模态物理信息以解码结构与性能之间的关系，为合金性能预测提供了多模态表示框架。
一、研究背景与问题
合金性能的传统表征通常需要反复的实验制备与测试，耗时且成本高昂。人工智能方法通过从成分、工艺参数和微观组织特征中挖掘潜在模式来直接预测合金性能，已展现出显著潜力。然而，现有研究存在两方面局限：其一，依赖单一模态数据的研究不可避免地遗漏互补信息，难以捕捉连接加工工艺、微观组织演化与力学性能之间的跨尺度关系；其二，多模态研究虽已开始整合视觉特征与数值参数，但大量经验知识仍被困于非结构化定性文本中，且现有方法多采用简单特征拼接，缺乏弥合像素级视觉数据与高层物理描述符之间语义鸿沟的能力。
具体而言，合金性能受成分、加工与微观组织的耦合效应共同支配，不同加工路径下即使成分相近，合金性能也可能差异显著。微观组织图像编码了晶粒尺寸与形貌、析出相特征及孔隙率等关键但常被低估的机制证据，为结构-性能关联提供直接线索。与此同时，大量关于合金设计与实验过程的经验知识以非结构化文本形式存在，定性微观组织描述常以隐含方式报告，难以仅从结构化表格中恢复。因此，单模态合金数据提供了不完整且碎片化的合金系统视图，亟需整合加工描述符、微观组织图像与文本知识的多模态学习方法以提升性能预测能力。
幸运的是，大语言模型（LLM）与自监督学习的快速发展为应对上述挑战提供了新的技术路径。LLM具备自动描述微观组织图像、从非结构化文献中提取知识以及通过强大的语言理解、知识归纳与文本生成能力融入高层物理语义的可行手段。自监督学习则在表示学习阶段不依赖下游任务标签，为跨模态表示对齐和内在结构模式发现提供了有前景的方案。两者的整合为构建兼具多源信息整合能力与跨系统泛化能力的合金性能预测框架提供了关键支撑。
二、研究内容与意义
研究人员提出AlloyAlign，一种在Inconel 718（IN718）上验证的、学习合金强度预测可泛化特征的多模态框架。首先通过实验获得多种热处理工艺及对应的微观组织图像；随后采用先进的视觉大语言模型将原始图像转化为领域引导、提示约束的文本描述，降低数据获取难度同时以高层物理语义丰富特征空间；接着提出由三个自监督目标组成的三级损失函数，微调视觉与文本编码器并对齐多模态数据，从而获得更具泛化性的微观组织图像与文本特征；最终将图像与文本嵌入与热处理参数融合以预测合金抗拉强度。实验结果表明，不同层级的多模态数据从互补视角对性能预测做出贡献并降低预测误差，模态间的精细对齐支撑了所学多模态特征在所评估任务中的可迁移性。
三、关键技术方法
研究人员采用以下主要技术方法：其一，基于Qwen3-VL-Plus视觉大语言模型，结合专家经验设计提示策略，将SEM图像转化为受约束的定性微观组织描述；其二，采用双向编码器表示（BERT）作为文本编码器，通过掩码语言建模（MLM）任务部分微调以适应领域语料；其三，采用残差网络50层（ResNet50）作为图像编码器，通过对比学习任务微调以提取可迁移视觉特征；其四，借鉴对比语言-图像预训练（CLIP）范式设计图像-文本对比损失，三者联合构成三级损失函数实现跨模态对齐；其五，将对齐后的嵌入与热处理参数拼接后输入随机森林（RF）等回归模型进行强度预测。数据来源包括IN718合金35种热处理工艺条件下获取的817幅SEM图像及对应强度标签，以及AZ80镁合金1944幅微观组织图像用于跨材料迁移评估。
四、研究结果
AlloyAlign在抗拉强度预测任务上优于现有方法（RQ1）：通过与仅使用SEM图像的方法及图像-工艺参数组合方法对比，AlloyAlign在所有指标上表现更优，证明语义表示与多模态对齐提供了超越视觉与工艺输入的有用信息。对十种下游回归器的评估表明，基于树的集成模型表现最佳，其中直方图梯度提升回归（HGBR）在YS上取得最高R2（0.9431），梯度提升回归（GBR）在UTS上取得最高R2（0.9011），RF在两项任务上均保持稳定竞争力。
不同模态对合金性能预测提供不同贡献（RQ2）：t分布随机邻域嵌入（t-SNE）分析显示，图像编码器将原始图像映射到结构化潜在空间，相似热处理条件下的样本形成不同聚类，且潜在空间呈现强度梯度，与加工-微观组织-性能关系一致。对五种视觉语言模型的定量评估表明，Qwen3-VL-Plus在语义一致性与人工描述相似度之间取得最优平衡。模态消融实验显示，工艺模态提供最强的单一信号，图像与文本单独使用时效果较弱，但与工艺上下文结合时提供互补信息；完整对齐模型在所有指标上均取得最佳结果。三级损失消融实验证实，移除任何一项损失都会降低预测性能，三项自监督目标对最终表示提供互补贡献。
AlloyAlign支持跨材料与跨性能的表示迁移（RQ3）：在IN718内部YS与UTS之间的迁移任务中，自监督表示对YS迁移有提升，对UTS与监督表示相当。在AZ80到IN718的跨材料迁移中，自监督编码器在表示学习阶段不使用性能标签的情况下仍达到YS约0.9157、UTS约0.8759的R2值。在同时改变材料与目标性能的第三项任务中，自监督表示与监督表示差距最大仅为0.0144，支持编码器级可迁移性。
AlloyAlign在两个未见案例上表现良好（RQ4）：对主数据集之外的额外实验案例，YS与UTS相对误差分别为5.77%和4.44%；文献案例对应误差为4.66%和15.47%。相比之下，对比方法在文献案例中误差分别升至76.74%和69.95%，表明AlloyAlign对工艺域偏移具有更强的鲁棒性。梯度加权类激活映射（Grad-CAM）显示高响应区域与可见晶界、析出相富集区及局部缺陷重叠，与这些微观组织特征对IN718力学响应的已知相关性一致。
五、结论
本研究提出AlloyAlign，通过整合结构化热处理参数、SEM微观组织图像与提示约束的语义描述实现抗拉强度预测。关键发现可概括为：（1）工艺参数提供个体预测信号，图像与文本信息贡献对实际微观组织的互补描述，完整对齐模型在两项目标上均取得最佳性能，移除任何一项自监督损失均降低性能，证实其互补作用；（2）自监督表示支持IN718内部YS与UTS之间的迁移，并在AZ80到IN718任务中与监督编码器保持竞争力，表明所学形态表示可在所评估的性能预测任务与合金系统间复用；（3）提示约束的描述组织可观察的微观组织信息，与图像和工艺模态结合时提供改善预测的互补语义特征。研究同时指出局限性：框架依赖于SEM视野的质量与代表性及图像派生语义描述的可靠性，独立工艺组数量与材料系统范围仍有限，跨材料迁移证据仅限于AZ80到IN718场景。未来工作将扩展至更多合金系统、独立实验室数据集及更丰富的微观组织表征以进一步评估其鲁棒性与可迁移性。
