一种基于多模态融合增强的感知网络,用于激光定向能量沉积过程中的在线颗粒尺寸估计
《Engineering Applications of Artificial Intelligence》:A multimodal fusion-enhanced perception network for online grain size estimation in laser directed energy deposition
【字体:
大
中
小
】
时间:2026年05月15日
来源:Engineering Applications of Artificial Intelligence 8
编辑推荐:
王杰|张志芬|张帅|秦浩|秦瑞|黄静|文广瑞|陈学锋
西安交通大学机械工程学院,中国西安
**摘要**
激光定向能量沉积(LDED)被广泛认为是一种具有成本效益和高效率的金属增材制造技术。然而,LDED过程中的复杂热流行为显著影响微观结构演变,从而影响制造部件的机械
王杰|张志芬|张帅|秦浩|秦瑞|黄静|文广瑞|陈学锋
西安交通大学机械工程学院,中国西安
**摘要**
激光定向能量沉积(LDED)被广泛认为是一种具有成本效益和高效率的金属增材制造技术。然而,LDED过程中的复杂热流行为显著影响微观结构演变,从而影响制造部件的机械性能。在各种微观结构参数中,晶粒尺寸是决定材料性能的最关键因素之一。传统的金相表征方法可以提供高分辨率的微观结构信息,但依赖于离线采样和表面处理,因此不适合在增材制造过程中进行连续监测。为了解决这个问题,本研究提出了一种基于人工智能的多模融合增强感知网络,用于在线估计增材制造过程中的晶粒尺寸。首先,基于红外图像构建了一种具有噪声抑制和模态对齐的图像预处理方法,以实现光学-热模式的像素级对齐,以增强信息。然后,设计了一个双流卷积神经网络,以并行和协调的方式从两种模态中提取深度特征。为了进一步提高跨模态整合效果,引入了一个基于注意力的融合模块,用于多模态信息的深度融合。结合来自离线电子背散射衍射(EBSD)分析的晶粒尺寸标签,并应用多层感知器进行全局回归,该网络在传感器数据和平均晶粒尺寸之间建立了稳健的映射关系。实验结果表明,所提出的方法在在线晶粒尺寸预测方面的准确率达到98.60%。与传统单模方法相比,这种融合策略不仅增强了特征完整性和区分能力,而且在复杂条件、长期运行和资源受限的环境下显著提高了系统的稳健性和应用潜力。
**引言**
Stellite-6是一种先进的钴基合金,以其优异的表面硬度、耐磨性和耐腐蚀性而闻名(Bakhshayesh等人,2024年)。这些优异的性能使其在涡轮叶片制造等高价值行业中得到广泛应用。然而,传统的修复或更换损坏的高温合金部件的方法通常成本高昂且耗时较长。LDED技术的出现为部件修复和快速制造提供了一种成本效益高且高效的解决方案(Yang等人,2023年)。该技术通常使用连续波激光作为热源,熔化金属粉末,从而实现复杂零件的逐层沉积(Piscopo和Iuliano,2022年)。在LDED过程中,快速凝固动力学和复杂的热循环导致制造出的部件与常规制造技术生产的部件在微观结构上存在显著差异(Collins等人,2016年)。与锻造部件相比,LDED部件的疲劳性能通常较差,这限制了其在关键结构中的应用(Yue等人,2024年)。这种现象主要归因于熔池的快速冷却和沿构建轴的方向性热传递的共同作用,这些因素在部件内部产生了剧烈的温度梯度。这些梯度促进了外延晶体生长,形成了通常跨越多个沉积层的粗大柱状晶粒(Kok等人,2018年)。这种沿热流方向排列的柱状晶粒引入了材料各向异性,并降低了部件的机械均匀性(Yu等人,2024年)。同时,柱状晶粒的晶界充当应力集中器,显著增加了裂纹产生的风险。此外,柱状晶粒的生长常常伴随着溶质偏析,进一步恶化了材料的延展性和韧性(Di等人,2024年)。当前的研究探索了多种调控金属增材制造中晶粒生长行为和凝固微观结构的策略。有效的方法包括调节激光加工参数(Andreau等人,2019年)、优化扫描轨迹(Dinda等人,2012年;Xu等人,2021年),以及对熔池施加电磁/超声波搅拌(Wang等人,2023a)。在沉积过程中使用恒定工艺参数通常会导致熔池中G/R比较高,促进柱状晶粒的生长。相反,交替的工艺参数可以通过CET有效地中断连续的外延生长,诱导等轴晶粒的形成(Zhang等人,2022年;Wang等人,2018年)。此外,研究表明,在钛合金沉积过程中增加粉末进料速率有助于等轴晶粒的形成(Wang等人,2015年)。这种现象归因于部分熔化的粉末颗粒作为异质形核位点,降低了形核能量障碍,促进了非方向性的晶粒生长(Zhang等人,2016年)。此外,电磁和超声波搅拌已被实验验证为在动态凝固条件下诱导等轴微观结构的有效且可控的技术(Todaro等人,2020年)。碎裂理论认为,空化引起的泡泡崩塌会产生脉冲力,导致树枝晶臂断裂:这些力在树枝晶上产生交替的弯曲应力,从而导致疲劳驱动的碎裂。由此产生的碎片作为自由形核位点,实现多方向的同时晶粒形核和生长,从而形成各向同性的等轴微观结构(Wang等人,2019年)。尽管先前的研究在理解金属增材制造中的微观结构演变方面取得了很大进展,且先前的研究强调了多尺度测量和跨尺度信息整合可以更全面地阐明增材制造中的过程-结构-性能关系(Maruschak等人,2023年),但通过传统表征技术获取部件的详细内部微观结构信息仍然是一个重大挑战(Han等人,2020年)。这些方法主要依赖于XRD、SEM或EBSD等复杂的分析工具(Li等人,2020年)。其中,EBSD是材料科学中常用的方法,用于表征晶粒形态、晶粒尺寸和晶体取向分布。虽然能够提供高分辨率的成分分析、晶体取向和微观纹理信息,但它们的空间分辨率通常仅限于微米级别,无法扩展到更大的尺度(Hu等人,2024年)。此外,复杂的样品制备、漫长的表征周期和高运营成本限制了这些技术的广泛应用。因此,开发能够实时洞察制造过程中微观结构动态的先进原位监测技术已成为一个有前景的研究方向(Karathanasopoulos和Hadjidoukas,2024年)。在线过程监测被认为是提高增材制造性能的关键策略。研究人员采用了各种传感器技术来实时监测LDED过程中的熔化和凝固行为,以更好地阐明激光-材料相互作用的物理机制,并支持对微观结构演变的理论理解(Naiel等人,2020年)。光学传感器已被广泛用于原位捕获熔池的几何形状(Lei等人,2020年),确保宽度和高度的稳定性,以提高制造部件的几何精度(Gibson等人,2020年)。此外,热成像技术能够识别液相线和固相线的空间分布,有助于推导温度梯度和凝固速率等关键参数(Hagenlocher等人,2022年)。尽管基于单一传感器的监测方法在增材制造的质量感知方面取得了一定进展,但它们通常获取的信息有限,无法完全揭示熔池的动态演变。此外,大多数现有研究主要集中在宏观尺度上的熔池动力学。从信号的角度系统分析微观尺度上的晶粒生长行为的研究仍然相对有限,亟需进一步深入探索。为了建立更全面的增材制造过程感知框架,多传感器监测已成为该领域广泛认可的方法(Chen等人,2024年;Niu等人,2025年)。通过整合光学、热学和声学模态,多传感器技术可以从互补的物理角度分析熔池动态。例如,Chen等人(2023a)将同轴视觉、麦克风和热红外传感器集成到一个系统中,以实现LDED过程中的实时局部质量评估。Xu等人(2025)提出了一个结合声学发射和视觉传感器的多模态监测框架,以实现有效检测孔隙缺陷。然而,多模态数据不仅增加了信息的维度,还引入了不同模态之间的内在差异,为有效信息融合带来了新的挑战(McKinney等人,2025年)。现有研究通常依赖于简单的特征连接策略,这可能会忽略模态之间的深度物理相关性,甚至引入噪声或冗余信息,从而限制了多模态数据的潜在价值(Groβeheide等人,2025年)。因此,从大规模、高维的多模态数据集中提取关键特征并构建准确的映射关系是当前研究的核心挑战。因此,鉴于单一监测的当前局限——如准确性不足、宏观熔池信号与微观结构演变之间的相关性不明确,以及人们对工艺参数变化对晶粒生长影响的理解不完整——利用多模态感知信息的互补优势至关重要。结合变量参数实验、工艺参数之间的内在关系、多源数据和微观结构,可以系统地建立这些关系。为此,本研究提出了一种用于LDED过程实时晶粒尺寸估计的MFEP-Net。该方法使用光学和红外成像信号作为输入,并结合EBSD导出的晶粒尺寸标签进行监督,采用双流特征注意力融合网络深入探索多模态信号与晶粒演变之间的潜在映射关系。这项研究不仅推进了对过程参数调控下动态晶粒生长特征的理解,还提供了一种新的微观结构控制和性能优化方法。总之,本工作的主要贡献如下:
1. 提出了一种基于红外指导的噪声抑制和跨模态对齐策略,以解决光学和热熔池图像之间的严重背景干扰和空间不一致性问题。该方法实现了像素级对齐和熔池内液态和糊状区域的准确定位,从而提高了后续感知任务的特征准确性。
2. 开发了一种多模态融合感知模块。与传统的特征连接或静态加权策略相比,它采用内部注意力驱动的跨模态交互机制,自适应地识别和增强最具区分性的信息,从而显著提高了模型的识别性能。
3. 建立了一个深度相关性建模框架,明确地将原位多模态过程信号与微观结构晶粒尺寸联系起来。通过学习从过程尺度特征到晶粒尺寸特征的映射关系,该框架实现对增材制造中在线微观结构估计的微观结构感知范式。
**实验系统和材料**
为了支持本研究,开发了一个定制的三轴LDED系统,如图1所示。该系统主要包括一个三轴移动平台、一个光纤激光器、一个软件控制模块和辅助组件。三轴移动平台由步进电机精确驱动,以预定速度沿固定方向处理材料。该系统配备了一台最大输出功率为3 kW、中心波长为1080 nm的光纤激光器。
**框架概述**
本研究提出了一个多模态融合增强感知网络,用于在线估计LDED过程中不同工艺参数下的熔覆轨道平均晶粒尺寸。该方法有效结合了光学图像的视觉可解释性和红外图像的高信息密度,实现了互补的多模态感知。首先,开发了一种红外图像的预处理策略,结合了噪声抑制和模态配准,以增强图像质量。
**工艺参数对晶粒尺寸的影响机制**
大量证据表明,凝固参数,特别是G和R值,显著影响凝固过程中的微观结构演变(Prasad等人,2020年;Akram等人,2018年)。通常,冷却速率(G × R)控制晶粒尺寸,而形态因子(G/R)决定晶粒形态(Bermingham等人,2019年)。从宏观角度来看,所有样品都表现出明显的方向性柱状晶粒生长现象。这种现象可以通过热...
**结论和未来工作**
本研究关注LDED熔覆轨道在不同工艺参数下的晶粒形态。提出了一种多模态融合增强感知网络,可实现样品内平均晶粒尺寸的在线估计。首先,为了解决背景噪声干扰和多模态数据之间的空间不对齐问题,开发了一种由红外成像引导的噪声抑制和模态对齐方法,实现了有效的信息增强。
**作者贡献声明**
王杰:撰写——审稿与编辑、撰写——原始草案、方法论、数据管理。
张帅:验证、数据管理。
秦浩:验证、数据管理。
秦瑞:可视化、调查。
黄静:验证、方法论。
文广瑞:资金获取、概念构思。陈雪峰:项目管理和形式分析。
利益冲突声明
作者声明他们没有已知的、可能影响本文所述工作的财务利益冲突或个人关系。
致谢
作者感谢国家重点研发计划(项目编号:2024YFB3309602)以及研究团队成员所提供的指导与帮助。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号