通过基于梯度的注意力增强时频表示：用于结构损伤检测的 GIFT 方法论

《Structures》：Enhancing time-frequency representations via gradient-based attention: The GIFT methodology for structural damage detection

　　

摘要
将振动信号转换为时频 (TF) 表示以进行基于深度学习 (DL) 的损伤检测，已成为结构健康监测 (SHM) 中的常用方法。然而，TF 图像通常包含大量的背景噪声，会掩盖损伤敏感特征。尽管可解释人工智能 (XAI) 技术广泛用于 SHM 中的事后解释，但将其作为主动预处理机制的应用代表了一个新兴的研究方向。基于新兴的解释引导学习 (EGL) 范式，本研究引入了梯度信息特征变换 (GIFT) 框架，该框架将基于输入梯度的显著图重新用作输入级特征变换机制，而不仅仅是用于事后解释。GIFT 利用引导网络，通过输入导数灵敏度分析从原始 TF 图像中提取空间注意力，在分类前抑制噪声同时增强与损伤相关的模式。该框架在两个基准数据集（IASC-ASCE 建筑和 Z24 桥梁）上进行了评估，使用了五种深度学习架构，并采用了连续小波变换 (CWT) 和短时傅里叶变换 (STFT) 表示。在 STFT 表示下，ASCE 上的平均准确率从 87.59% 提高到 98.33%，Z24 上从 76.03% 提高到 95.61%。在所有评估的实验场景中都确认了统计显著性 (p < 0.05)。总体结果表明，GIFT 显著提高了分类性能，为实际的 SHM 应用提供了有利的性能权衡。

引言
SHM 被定义为一个系统化的过程，旨在识别影响工程结构性能的材料属性、几何形状和连接特征的损伤诱发变化 [1], [2]。SHM 系统的主要目标是通过确定损伤的存在、位置和严重程度来确保结构安全，同时优化维护成本并减轻灾难性故障的风险 [3], [4], [5]。除了在地震或爆炸等突发事件后提供结构完整性的近实时信息外，SHM 系统还能实现包括腐蚀和疲劳在内的时变劣化机制的连续监测 [2], [6]。因此，SHM 促进了从传统基于时间的维护策略向由结构实际状态驱动的基于状态的维护方法的转变 [1], [2]。此外，将智能技术和物联网 (IoT) 应用集成到 SHM 框架中，减少了对人工检查的依赖，并实现了更高效和自主的监测过程 [7], [8]。

传统的损伤检测方法主要依赖视觉检查；然而，由于耗时、依赖主观判断以及在识别早期或内部发展且视觉上不可见的损伤方面能力有限，这些方法受到了广泛批评 [9], [10]。这些局限性促进了基于振动的损伤检测技术的发展，其前提假设是结构损伤会引起固有频率、阻尼比和模态形状等动态特性的可测量变化 [11], [12], [13]。然而，模态参数对环境和运行变量（包括温度变化、湿度和交通荷载）的强敏感性已被报道为限制此类方法可靠性的主要因素 [14], [15], [16], [17]。例如，在 Z24 桥梁上进行的一项长期监测研究表明，温度引起的变化对固有频率的影响可能比实际结构损伤更占主导地位 [14], [18]。

为了克服传统参数方法和手工特征提取技术的局限性，DL 算法凭借其直接从原始测量中学习层次化和判别性数据表示的能力，已成为 SHM 中一个强大的范式 [19], [20]。特别是，一维卷积神经网络通过直接处理原始加速度信号，在损伤检测和定位任务中展示了高准确性和计算效率 [5], [21], [22], [23]。此外，长短期记忆网络和门控循环单元等循环架构已被广泛采用，以捕捉结构响应时间序列中固有的长期时间依赖关系 [24], [25]。最近，基于注意力机制构建的 Transformer 模型在文献中日益突出。这些架构最初用于自然语言处理任务 [26]，随后在计算机视觉应用中取得了显著成功 [27]，由于其建模复杂数据模式和全局依赖关系的能力，已被有效地应用于结构损伤检测 [28], [29]。

DL 模型的性能很大程度上取决于输入表示，即原始结构响应如何呈现给网络 [30], [31]。为了捕捉非平稳振动信号中嵌入的复杂模式，将信号转换为 TF 图像并利用二维卷积神经网络的图像处理能力，已成为文献中一种有效的策略。在此背景下，STFT 和 CWT 是最广泛采用的技术之一 [32], [33], [34], [35], [36]。CWT 提供多分辨率分析，能够改进瞬态信号成分的表征 [37], [38]，而 STFT 通过固定窗口方案提供稳定的 TF 网格和计算高效的谱分析 [39], [40]。然而，从这两种变换获得的原始 TF 表示内在包含背景噪声和冗余谱成分，以及与损伤相关的模式。尽管提出了诸如同步挤压变换和变分模态分解等数学信号处理方法以增强 TF 域的能量集中度 [41], [42]，但能够强调内在损伤敏感特征的数据驱动增强策略仍然是充分利用深度神经网络学习能力的必要手段。与这种对数据驱动增强的追求相一致，直接将模型解释集成到训练循环中的范式引起了相当大的关注。相关文献中跨子学科的方法趋势、设计选择和应用在 1.1 节中详细说明。

为了减轻由深度学习 (DL) 模型固有的黑盒性质引起的信任和可解释性担忧，可解释人工智能 (XAI) 技术已被广泛采用，以可视化哪些输入特征或空间区域影响模型决策。该领域的突出方法包括 Grad-CAM [43]、显著性和相关性映射方法 [44], [45], [46]、注意力机制 [47] 和 LIME [48]。尽管早期的 XAI 研究主要侧重于对训练好的模型进行回顾性（事后）解释，但最近的研究已转向将解释输出直接集成到训练过程中，从而产生了一个称为解释引导学习 (EGL) 的范式 [49]。最初的 EGL 框架严重依赖利用由人类专家定义的解释标签的监督策略 [50], [51]。然而，最近的研究开始探索自引导学习方法，其中模型生成的解释被迭代地纳入训练循环本身。

EGL 范式提供的自引导和解释监督机制已在计算机视觉、医学和医学信号处理文献中得到研究，以防止虚假相关、抑制噪声并提供数据增强。在通用计算机视觉领域，解释图已被用于将模型决策引向对象几何形状或从输入图像中移除无关区域 [52], [53]，同时还开发了策略来惩罚显著图超出对象边界的溢出 [54]，或通过投影初始阶段 XAI 输出到输入空间来建立两阶段学习管道 [55]。这些方法也为提高少样本场景下的泛化成功率 [56] 和在持续学习中选择关键特征块 [57] 提供了强大的工具。在需要高可靠性的医学图像分析工作流程中，基于梯度的分割掩码和显著性分析已被定位为主动预处理和变换工具，以直接引导模型决策到病变或脑肿瘤区域 [58], [59], [60]。同样，通过利用 XAI 图裁剪和清除临床无关的背景组织，或作为训练期间的正则化信号以防止模型关注虚假特征，分类稳定性得到了增强 [61], [62], [63]。除了这些基于图像的方法外，EGL 原则已扩展到多维信号领域。虽然 Grad-CAM 图已被利用来引导生物医学信号处理中时频矩阵的动态加权融合 [64]，但基于注意力的机制在声学数据分析中选择最具判别力的谱特征方面发挥了积极作用 [65]。最后，根据模型敏感度进行词级修改来实现的解释引导数据增强策略已在自然语言处理文献中找到了一席之地 [66]。

这些解释引导的方法论也已在土木和基础设施工程中基于计算机视觉的视觉损伤检测任务中得到研究，例如裂缝分割和腐蚀分级。该子领域中 EGL 的应用主要集中在利用图像级标签生成高质量的伪标签或掩码，以减轻像素级人工标注成本。例如，在弱监督裂缝检测工作流程中，从预训练分类网络获得的 CAM 或 Grad-CAM 图已被广泛用于通过各种策略指导分割模型，例如生成用于直接网络训练和数据增强的伪掩码，或将激活特征直接并入网络架构 [67], [68], [69]。然而，为了克服传统 XAI 图产生的噪声边界，文献中也研究了伪标签细化校正机制 [70]、基于 XGradCAM 的增强 [71] 或校正全梯度 (FGR-Grad) 方法 [72]。在更具体的工程结构中，这些方法已被改编为两阶段训练机制，以区分钢桥中的疲劳裂纹与背景瑕疵或焊痕 [73]，或利用高置信度种子区域隔离图像中的腐蚀区域 [74]。此外，还开发了人工检查员注视引导的解释监督方法 [75]，将眼动数据集成到多任务学习中，使模型能够生成类人注意力图，并在损伤分类中主动增强可解释性。

除了视觉和像素级应用外，EGL 范式已成功扩展到基于振动的设备健康管理以及旋转设备故障诊断过程。该领域的研究利用梯度灵敏度作为主动优化、滤波和反馈工具，以细化嵌入在时频矩阵或频谱中的复杂信息。因此，已开发了通过裁剪 STFT 频谱图中最关键频率区域来抑制信号噪声 [76]、将梯度输出作为损失函数中的物理正则化项 [77]，或通过应用专用滤波器到模型集中的频率带来增强泛化性能 [78] 的策略。此外，通过构建结合数据和特征级 XAI 图与动态可信度指标的物理约束框架 [79] 以及基于梯度的自校正特征学习循环 [80]，诊断操作的稳定性得到了增强。

在基于振动的结构健康监测 (SHM) 文献中，可解释人工智能 (XAI) 技术通常被用于评估模型的谱或空间关注区域，或确认损伤特征与物理组件的一致性 [81], [82]。将基于梯度的激活机制作为结构化算子集成到训练和数据流水线中，代表了一个新兴的研究领域。在此范围内，Dadoulis 和 Manolis [83] 分析了跨时频谱的动态固有频率偏移。在他们的研究中，利用 Grad-CAM++ 显著图来衡量每个传感器对模型决策的相对贡献，并通过开发传感器贡献指数 (SCI) 来消除冗余通道。这种方法提供了利用梯度信息进行传感器配置分析的实例，旨在优化硬件和计算成本。

因此，调查文献中的一般应用与提出的 GIFT 框架之间存在某些跨学科的方法论分歧。在计算机视觉和医学成像研究中，梯度信息主要用于二值掩码或几何裁剪，以隔离感兴趣区域或消除背景纹理。在基于摄像头的视觉结构损伤检测应用中，这些机制主要专注于从图像级决策生成伪掩码并对其进行细化，以减轻像素级标注成本。同样，在旋转设备基于振动的故障诊断文献中，梯度灵敏度反映了滤波窄带频率区域或将物理约束作为损失函数内的离散正则化项的策略，这与信号的本质相一致。在民用基础设施系统中基于振动的应用背景下，现有配置主要倾向于侧重于传感器配置和通道贡献的分析与优化，而不是将梯度图构建为变换输入空间的动态算子。

为了对这一方法论轨迹做出贡献并解决指定的研究领域，本研究提出的 GIFT 框架将梯度图本身作为连续的、像素级的变换算子直接作用于时频表示，而不是将 XAI 输出作为被动的可解释性辅助，无需几何裁剪、二值掩码、阈值化或损失项优化。与现有方法不同，GIFT 将通过引导网络从原始时频表示获得的梯度灵敏度图配置为直接的数据变换工具，以在模型训练前调制背景噪声成分并调整与损伤相关的谱模式。

此外，为了在民用基础设施监测中常见的高环境噪声条件下提高基于梯度的注意力提取的稳定性，该框架融入了一种包含 P99 剪裁和对数缩放的结构化预处理管道。P99 剪裁操作限制了可能扭曲梯度分布的极端强度值的影响，而对数缩放则用于重新分配时频（TF）表示的强度范围，并增加低幅值成分的相对可见性。在这方面，提出的框架引入了一种结构化特征增强策略，在最终分类阶段之前将特定于任务的空间敏感性信息纳入输入表示本身。提出的方法在 IASC-ASCE 建筑和 Z24 桥梁基准数据集上进行了评估，评估涵盖了五种不同的深度学习架构（ResNet-18, EfficientNet-B0, ReXNet-100, EfficientViT-M0 和 EfficientFormer-L1），并采用了两种不同的时频变换方案。该验证得到了消融研究、统计显著性分析、计算成本评估和逐类性能评估的支持。实验结果表明，当使用基于短时傅里叶变换（STFT）的表示时，GIFT 框架在 ASCE 数据集上将平均分类准确率提高了 10.74%，在 Z24 数据集上提高了 19.59%。值得注意的是，该框架显著增强了计算高效但对噪声敏感的 STFT 表示的性能，使其准确率超过了计算密集型的基于小波变换（CWT）的模型。此外，提出的框架减少了模型间的性能变异性，这一效果在 STFT 表示下尤为明显。这些发现表明，源自可解释性的信息不仅可以作为事后可解释性工具，还可以作为主动的输入级组件，增强民用结构健康监测任务中的决策流程和噪声鲁棒性。本文其余部分组织如下。第 2 节介绍所使用的数据集，第 3 节描述提出的 GIFT 框架和方法，第 4 节展示实验结果和讨论，第 5 节总结本研究。章节片段 数据集 为了评估提出方法的鲁棒性和泛化能力，采用了两个具有不同结构特征的国际公认基准数据集。利用这些基准数据集的振动响应系统地评估了框架的性能。提出方法：GIFT 框架 在本研究中，提出了梯度信息特征变换（GIFT）框架，以最大化结构损伤检测的性能和稳定性。GIFT 框架应用多阶段变换过程来抑制原始 TF 图像中嵌入的噪声，并增强损伤敏感模式。该方法由四个主要阶段组成：信号变换、像素级预处理、注意力提取和输入增强。所提出框架的整体工作流程是基线方法与提出方法的性能 为了评估提出的 GIFT 框架对分类准确性和稳定性的贡献，使用五种深度学习架构进行了比较分析：EfficientFormer-L1、EfficientNet-B0、EfficientViT-M0、ResNet-18 和 ReXNet-100。模型性能在两种条件下进行比较：未经任何预处理的原始 TF 图像（基线-实验 1）和通过消融分析确定的最佳性能配置（提出方法：ASCE 为实验 4，Z24 为实验 6）。获得的结论 在本研究中，开发了 GIFT 方法用于结构健康监测（SHM）系统的损伤检测，并在两个国际基准数据集上进行了验证：IASC-ASCE 建筑和 Z24 桥梁。提出的框架使用基于梯度的注意力机制从原始 TF 表示中提取损伤敏感特征，显著提高了分类准确性和稳定性。跨五种深度学习架构的广泛评估表明，提出的 GIFT 框架持续提高了 CRediT 作者贡献声明 Hakan ?ZBA?ARAN：写作 – 回顾与编辑，监督。Murat H??YILMAZ：写作 – 回顾与编辑，验证，监督，数据整理。Soner SEZER：写作 – 原稿，可视化，软件，方法论，调查，形式分析，数据整理，概念化。利益冲突声明 作者声明他们没有任何已知的竞争性财务利益或个人关系，这些利益或关系可能被认为影响了本文中报告的工作。致谢 第一作者感谢土耳其高等教育委员会（Y?K）通过 100/2000 博士奖学金项目提供的财政支持，以及感谢土耳其科学技术研究委员会（TüB?TAK）通过科学技术优先领域 2211-C 国家博士奖学金项目提供的财政支持。此外，作者们想向 IASC-ASCE 结构健康监测工作组、洛斯阿拉莫斯国家表达诚挚的谢意 Soner Sezer|Murat Hi?y?lmaz|Hakan ?zba?aran 埃斯基谢希尔奥斯曼加齐大学自然与应用科学研究生院，土耳其埃斯基谢希尔