基于可解释的卷积神经网络（CNN）的预测方法，利用多模态激光超声特征和工艺参数来预测材料的力学性能

《Optics & Laser Technology》：Interpretable CNN-based prediction of mechanical properties using multimodal laser ultrasonic features and process parameters

激光超声技术结合多模态学习框架用于金属材料宏观力学性能预测，提出融合时频图像与工艺参数的卷积神经网络模型，通过Grad-CAM可视化与统计贡献分析揭示关键特征，并比较完整波形与工业常用截断波形效果，发现完整波形能保留更多物理相关信息以提高预测精度和可解释性。

　　

Xing Mao | Xiaochen Wang | Quan Yang | Jingdong Li | Dong Xu

北京科技大学工程技术研究院，中国北京100083

摘要

准确评估机械性能对于先进制造和金属材料的质量控制至关重要。尽管激光超声技术提供了一种非接触式且无损的材料表征方法，但从复杂的超声信号中可靠地预测宏观机械性能并对其进行物理解释仍然具有挑战性。在这项研究中，提出了一种基于超声时频特性的多模态卷积神经网络（CNN）框架，通过联合利用激光超声的时频表征和工艺相关参数来预测机械性能。具体而言，激光超声信号被转换为基于连续小波变换的时频图像，并与宏观工艺参数融合，以预测屈服强度、抗拉强度和伸长率。为了明确模型的可解释性，采用了基于梯度加权类激活映射（Grad-CAM）的可视化和统计贡献分析来识别对准确预测最相关的时频特征。同时，通过比较全波输入和工业激光超声分析中常用的保守型峰值前半波截断方法，系统地研究了超声波形表示策略的影响。结果表明，所提出的多模态框架能够实现强度相关性能的可靠和稳定预测，而伸长率的预测能力则存在固有的局限性。重要的是，全波超声表示始终优于保守的波形截断方法，提供了更全面的信息，从而提高了预测准确性和特征归因的一致性。总体而言，本研究建立了一个实用且可解释的多模态学习框架，用于基于激光超声的机械性能评估，为工业激光超声应用提供了更高的可靠性和更深入的物理洞察。

引言

准确评估机械性能对于先进制造、结构完整性评估和金属材料的质量控制非常重要[1]、[2]。传统的机械测试方法通常是破坏性的、耗时的，且不适合原位或在线检测，这限制了它们在现代制造环境中的应用[3]。因此，能够提供快速可靠机械性能评估的非接触式和无损表征技术受到了越来越多的关注[4]。

激光超声技术在无损检测方面具有独特的优势，包括非接触式激发和检测、高空间分辨率，以及适用于高温、运动部件或粗糙表面等恶劣条件[5]、[6]。由于这些优势，激光超声已广泛应用于金属材料的弹性性能表征、缺陷检测和微观结构变化研究[7]。然而，将这些能力扩展到可靠地评估宏观机械性能仍然是一项挑战，特别是对于那些受复杂微观结构和变形机制强烈影响的性能[8]、[9]。这一困难主要源于从包含强散射、模式转换以及微观结构引起的散射和衰减效应的复杂激光超声信号中提取可靠且具有物理意义的特征的挑战[10]、[11]。最近的研究进一步强调了在复杂微观结构条件下将激光超声响应与宏观机械性能联系起来的难度[12]。

传统上，基于超声的材料表征方法依赖于从时域和频域表示中提取的信号处理和人工特征，如飞行时间和频谱参数[7]、[13]。然而，这些方法的有效性取决于专家知识和技术假设，而激光超声信号的复杂和高维特性限制了这些模型的预测能力[14]、[15]、[16]、[17]。在最近关于数据驱动的无损检测方法的综述中也报告了类似的人工特征局限性[18]。

一些研究尝试使用人工特征将超声测量结果与机械性能相关联。例如，由于超声波速度对晶格刚度和微观结构状态敏感，因此已被用于估计金属材料的弹性模量、屈服强度和硬度[19]、[20]。此外，受晶界散射和位错密度显著影响的超声衰减系数已被用于推断多晶金属的强度相关性能[21]、[22]。此外，频谱参数（如中心频率偏移和带宽变化）也被广泛用于利用超声测量结果来表征材料状态的变化[23]。尽管这些人工特征具有物理相关性，但它们在不同钢材等级和加工条件下的鲁棒性往往不足，且其在工业规模数据集上的适用性也有限。

随着深度学习的发展，数据驱动的模型越来越多地被用于超声信号和图像分析。全连接神经网络和卷积神经网络已被应用于使用超声信号进行缺陷分类[24]，以及基于超声测试数据的结构或孔隙率相关表征[25]。特别是，结合时频表示的卷积神经网络在提高非平稳超声波形的特征可分性方面表现出良好的性能[26]、[27]。更近期的研究进一步证明，深度学习显著改善了复杂工业材料和实际检测场景中的超声信号解释和缺陷表征[28]。尽管取得了这些进展，但大多数现有研究主要集中在提高预测准确性上，而学习特征的物理可解释性和信号预处理策略的影响很少被讨论。更重要的是，在机械性能预测的背景下，CNN学习到的超声特征的物理可解释性以及波形表示策略的作用仍然很大程度上未被探索。

然而，在基于激光超声的机械性能评估中，两个关键挑战尚未得到充分解决。首先，深度学习模型通常被视为黑箱，引发了人们对学习到的特征的物理可解释性及其与已知超声-材料相互作用一致性的担忧。其次，信号预处理策略（特别是波形分割）的影响尚未得到系统澄清。在激光超声分析中，为了抑制基线漂移并提高工业应用中的鲁棒性，通常采用保守的波形截断或窗口化策略[4]、[21]。然而，最近的研究表明，超声衰减、散射和波模式转换往往会在较长的时间窗口内发生变化，过于保守的分割可能会抑制与材料表征相关的信息[22]。这些挑战在激光超声测量中尤为明显，因为经常遇到强散射、模式转换和低信噪比的情况。更广泛地说，数据驱动的材料科学和主动学习范式正在加速将机器学习整合到材料表征和决策过程中[29]。

在这项研究中，提出了一种基于激光超声的机械性能预测的多模态学习框架。这项工作的主要贡献有三个方面。首先，通过联合利用激光超声的时频表征和工艺相关参数，开发了一种具有物理可解释性的多模态卷积神经网络，与单模态方法相比，能够实现强度相关性能的可靠和稳定预测。其次，通过比较全波输入和保守的峰值前半波截断方法，系统地研究了超声波形表示策略的影响，强调了波形完整性在保持强度预测所需物理意义信息方面的关键作用。第三，通过结合使用基于Grad-CAM的可视化和统计贡献分析，明确解决了模型的可解释性问题，建立了CNN学习到的时频特征与已知超声-材料相互作用之间的直接联系。所提出方法的整个工作流程在第2节中介绍。

本文的其余部分组织如下。第2节介绍了激光超声信号的采集和处理流程，包括信号预处理和CNN输入的构建。第3节描述了工艺相关参数的处理，包括数据集准备、数据清洗和特征分析。第4节介绍了用于机械性能预测的多模态CNN框架，以及训练、验证和性能评估结果。第5节重点讨论了模型解释和可视化，包括基于Grad-CAM的特征分析和波形分割策略的影响研究。最后，第6节总结了结论。

节选内容

激光超声信号处理

所提出研究的整体工作流程如图1所示。本节重点介绍激光超声信号的采集和处理，这是后续多模态学习的基础。

数据集和数据清洗

选择了最近生产周期中生产的DC系列钢卷作为研究数据集。如图5(a)所示，钢材等级的分布展示了产品组合的多样性，涵盖了DC01、DC03、DC04、DC05和DC06等几种主流等级。如图5(b)所示，屈服强度（YS）、抗拉强度（TS）和伸长率（EL）明显偏离正态分布。YS和TS都表现出明显的多模态趋势，反映了

网络架构和优化策略

所提出的双分支卷积神经网络（CNN）的总体架构如图7所示。该网络旨在通过联合利用超声时频表征和从工业生产数据中获得的工艺相关变量来预测机械性能。

采用双分支架构来适应两种数据模态的根本不同特性。超声时频图像是高维的且空间上

基于Grad-CAM的特征可视化

为了研究所提出的多模态CNN的物理可解释性，采用了梯度加权类激活映射（Grad-CAM）技术来可视化对模型预测贡献最大的超声时频区域。鉴于在强度相关性能上实现了相对较高的预测准确性，分析重点关注YS和TS。

选择了六个具有代表性的验证样本，并根据绝对值垂直排序

结论

本研究通过将激光超声的时频表征与工艺相关参数集成到多模态学习架构中，开发了一个可解释的基于CNN的机械性能预测框架。所提出的方法针对YS、TS和EL进行了系统评估。本研究的主要发现可以总结如下：

(1)

所提出的多模态框架能够实现强度相关性能（YS和TS）的可靠和稳定预测，而预测

CRediT作者贡献声明

Xing Mao：撰写——原始草稿。Xiaochen Wang：撰写——审阅与编辑，资金获取。Quan Yang：监督，概念化。Jingdong Li：软件，方法论。Dong Xu：撰写——审阅与编辑，验证，方法论。

利益冲突声明

作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。

致谢

本研究得到了国家自然科学基金（批准号：52575608）和国家重点研发计划（批准号：2023YFB3712400）的支持。