《JOURNAL OF MATERIALS PROCESSING TECHNOLOGY》：Heterogeneous deformation behavior and workability of Mg/Al bimetals during thermomechanical processing: a reinforcement learning-based process regulation method
编辑推荐：
•研究了Mg/Al双金属的异质变形行为及加工性能。•提出了针对TMP工艺参数的自适应决策框架。•建立了基于混合经验的样本高效训练世界模型。•找到了能够实现无缺陷界面的工艺参数轨迹。引言层状金属复合材料作为具有优异综合性能的复合材料代表，通过不同金属组分交替堆叠形成的多维空间结构，
- •
研究了Mg/Al双金属的异质变形行为及加工性能。
- •
提出了针对TMP工艺参数的自适应决策框架。
- •
建立了基于混合经验的样本高效训练世界模型。
- •
找到了能够实现无缺陷界面的工艺参数轨迹。
引言
层状金属复合材料作为具有优异综合性能的复合材料代表，通过不同金属组分交替堆叠形成的多维空间结构，能够在突破单一金属的性能极限方面展现出巨大潜力[1]。这类材料不仅继承了构成金属的固有特性，还能通过层间耦合效应实现强度与延性的协同提升以及各向异性调控，因此成为航空航天、汽车和电子行业轻量化设计的理想材料[2]。其中，Mg/Al双金属因其镁合金固有的轻质特性和良好的强重比，以及铝合金天然的防护膜和耐腐蚀性，具有广阔的工业应用前景[3]。
近年来，冷喷涂技术已成为制造Mg/Al双金属的一种极具潜力的固态增材制造方法[4]。与轧制结合工艺相比，冷喷涂可避免界面氧化和热应力问题，但涂层与基体之间的结合主要依靠机械互锁[5]。即便经过热处理，仍难以彻底消除涂层内部的孔隙和不良的界面结合，而且该工艺还可能引发晶粒粗化和孔隙聚并现象[6]。相比之下，TMP技术则提供了一种有效的后处理方法，通过升高温度和施加变形，能够协同促进微观结构的优化和性能的提升[7]。在此背景下，TMP被用作解决孔隙问题、优化微观结构以及加强界面结合的手段，从而提高冷喷涂Mg/Al双金属的涂层致密度和耐腐蚀性。然而，镁层和铝层在力学和物理性能上的差异会导致异质变形和加工性能下降，进而可能在TMP处理过程中出现变形不稳定甚至界面失效的情况。此外，它们的加工性能与结合质量密切相关，同时还会受到工艺参数（如温度、应变速率、应变程度和层厚比）的影响，而这些参数之间存在强烈的耦合效应且具有时变性[8]。这些复杂的相互作用给确定可靠的工艺窗口和实现稳定的变形条件带来了极大挑战。因此，实现对TMP过程中Mg/Al双金属的工艺调控具有重要的理论和实用价值。
为深入理解双金属在TMP过程中的响应机制，已有大量研究致力于阐明液固结合的Q235碳钢/304不锈钢双金属[9]、热轧2205不锈钢/AH36低碳钢双金属[10]、Ti/钢双金属[11]以及Ti/Ni双金属[12]在TMP过程中的层间应变分配、软化机制以及协同变形行为。同时，由于双金属的加工性能对确保TMP过程的稳定性及工艺规划至关重要，人们越来越多地利用工艺映射图来识别热轧1060Al/T2Cu双金属[13]和TA1/SUS430双金属[14]的不稳定区域及安全变形条件。不过，上述研究大多针对层厚比固定的特定层状金属复合材料体系展开，且主要研究温度、应变速率和应变等参数的独立影响。另有研究表明，类似热轧的TMP处理方式能够有效优化电弧增材制造得到的5356/7A48铝合金异质板材[15]以及18Ni300/316L异质结构钢的微观结构，提升其强度与延性的平衡性[16]。尽管这些研究取得了良好效果，但目前用于双金属TMP工艺调控的方法仍然依赖静态策略，这类策略无法充分考虑多个工艺参数之间的强耦合效应及其随时间的变化规律。
作为人工智能的重要分支，机器学习为工艺规划提供了强大的工具，它能够从制造数据中学习模式并发现改进机会[17]、[18]。近年来，包括进化型人工神经网络、基于变形历史的信息反馈循环神经网络等多种机器学习方法被用于构建工艺映射图，从而提高了对FGH4113A超合金[19]和2024铝合金[20]工艺窗口的预测精度。然而，大多数传统的机器学习方法，如监督学习和无监督学习，都是以离线且静态的方式运行的，它们依赖于预先收集的数据集和固定的目标函数，因而无法捕捉现实制造过程中固有的时间依赖性和动态反馈机制[21]。相比之下，深度强化学习则能够通过智能体与其学习环境之间的持续试错互动来实现在线策略优化，不断调整策略以最大化长期累积收益[22]。这种基于反馈的学习和序列决策能力使得深度强化学习特别适用于动态制造过程，在这类过程中，每个动作不仅会影响即时的结果，还会对未来的工艺状态产生影响[23]。因此，深度强化学习能够提供一个自我演进的框架，该框架可以自主探索复杂、非线性且具有时间依赖性的环境，从而找到全局最优且符合时间规律的控制策略，这些策略往往超越了人类直觉或传统静态模型的能力范围[24]。据此，TMP过程可以被自然地视为一个序列决策问题，通过不断调整工艺变量来获得理想的材料响应[25]。例如，Stendal等人[26]开发了用于TNM-B1工件热压缩的有限元仿真环境，并通过深度强化学习控制模具速度，实现了恒定应力状态。同样，Scheiderer等人[27]和Idzik等人[28]也将深度强化学习与分析模型相结合，用于钢材的热轧工艺，通过调整压下量和辊间休止时间来优化轧制工序安排。不过，目前所报道的基于深度强化学习的控制策略的训练环境大多建立在有限元或分析模型之上，这不利于满足复杂制造过程中高效建模和决策的需求。
总体而言，目前关于双金属TMP过程的研究还存在若干尚未解决的难题。首先，层厚比对双金属在TMP过程中的异质变形行为及加工性能的影响机制尚未完全明确。其次，诸如工艺映射图和试错实验之类的静态工艺调控策略，在动态变形条件下灵活性和适应性较差。第三，深度强化学习在TMP中的应用目前仅限于均匀的单金属体系，尚未拓展到异质双金属领域。双金属复杂的非线性且具有时间依赖性的变形行为，使得构建具有物理意义的决策空间和设计有效的奖励函数变得十分困难。此外，有限的实验数据以及双金属之间较强的界面耦合效应，也进一步阻碍了模型训练和精确的工艺建模[29]。
为克服这些难题，本研究系统地分析了Mg/Al双金属在TMP过程中的异质变形行为和加工性能，并提出了一种基于深度Dyna-Q强化学习的工艺调控方法。在有限的真实数据基础上，将该TMP过程建模为马尔可夫决策过程，通过构建状态-动作-奖励三元组来定义决策空间。同时，还建立了一个世界模型作为虚拟环境，该环境能够学习工艺参数与加工性能之间的复杂映射关系。这一模型有助于实现高效的模拟交互和低成本的体验生成，大大加快了策略学习的过程。该深度Dyna-Q强化学习智能体同时利用有限的真实体验和模型生成的模拟体验进行训练。这种混合学习方法不仅能够保证高样本效率、稳定的收敛性，还能确保状态和奖励定义的物理合理性。通过持续的在线策略优化，该深度Dyna-Q强化学习智能体能够自主探索变形空间，学习最优的参数轨迹，并不断优化工艺策略，从而实现自适应的工艺参数决策。实验验证表明，所提出的方法确实有效，能够显著减轻异质变形现象，提升界面的完整性。
章节要点
实验与方法
冷喷涂工艺的原料为气雾化处理的6061铝合金粉末（由中国BGRIMM先进材料科学技术有限公司提供），而基体则采用热轧而成的AZ31镁合金板。在开始冷喷涂之前，AZ31镁合金基体（尺寸为140×400×10毫米3）首先用碳化硅纸进行机械研磨，然后在乙醇中超声清洗，以去除表面的污染物。图1
中示意性地展示了Mg/Al双金属的冷喷涂过程。6061铝合金粉末结论
为解决冷喷涂Mg/Al双金属在TMP过程中出现的异质变形和加工性能下降问题，本研究提出并验证了一种自适应工艺调控方法。该方法将TMP过程建模为马尔可夫决策过程，同时构建了一个数据驱动的世界模型，以实现真实体验与模拟体验的混合训练。主要结论如下：
(1) Mg/Al双金属在TMP过程中的异质变形机制
CRediT作者贡献说明
Y.C. Lin：验证工作、软件开发。Daoguang He：实验研究、资金获取。Shiwei Xu：软件开发、数据整理。Myoung-Gyu Lee：论文撰写与修改、方法研究。Xinyun Wang：论文撰写与修改、研究指导、资源协调。Jinchuan Long：论文初稿撰写、项目管理、资金获取、概念构思。Jianyu Li：验证工作、数据整理。Hongning Wen：数据可视化、形式化分析。Yong Hou：论文撰写与修改、方法研究。Xuefeng Tang：
利益冲突声明
作者声明不存在任何可能影响本文研究结果的已知财务利益冲突或个人关系。
致谢
本项目得到了中国国家自然科学基金（项目编号为52305361、52475354）、湖南省自然科学基金（项目编号为2026JJ60436、2023JJ20065）以及华中科技大学材料加工与模具技术国家重点实验室的资助。
Jinchuan Long|Jianyu Li|Hongning Wen|Yong Hou|Xuefeng Tang|Y.C. Lin|Daoguang He|Shiwei Xu|Myoung-Gyu Lee|Xinyun Wang
