《Data-Centric Engineering》：A GAN-based framework for generating STFT spectrograms of rare acoustic events in structural health monitoring
编辑推荐：
结构健康监测（structural health monitoring, SHM）通过早期损伤检测，在确保桥梁基础设施的安全性、可靠性与耐久性方面发挥着至关重要的作用。尽管近期基于深度学习（deep learning, DL）模型的进展已实现自动化事件检测，但
结构健康监测（structural health monitoring, SHM）通过早期损伤检测，在确保桥梁基础设施的安全性、可靠性与耐久性方面发挥着至关重要的作用。尽管近期基于深度学习（deep learning, DL）模型的进展已实现自动化事件检测，但其性能常受数据稀缺、环境噪声和类别不平衡（class imbalance）的限制。为应对这些挑战，本研究提出一种定制化的生成对抗网络（generative adversarial network, GAN）模型STFTSynth，专门用于生成源自声学事件信号的短时傅里叶变换（short-time Fourier transform, STFT）语谱图。与MixUp等增强技术不同，GAN能够合成在视觉和统计上均接近真实事件表征的语谱图，从而为表征层面的数据集富集提供基础。所提模型集成密集残差块（dense residual block, DRB）以保持空间一致性，并采用双向门控循环单元（bidirectional gated recurrent unit, BiGRU）进行时间依赖建模。研究人员使用定性检查以及结构相似性指数（structural similarity index measure, SSIM）、峰值信噪比（peak signal-to-noise ratio, PSNR）和Fréchet inception距离（FID）等定量指标，将模型性能与三种基线生成模型进行比较。结果表明，STFTSynth优于基线模型，能够生成与真实数据高度吻合的高分辨率、时间一致的语谱图。这些发现凸显了基于GAN的语谱图合成在桥梁监测中罕见声学事件数据集表征层面富集方面的潜力，尤其是在预应力钢丝断裂等真实样本有限的情况下。
桥梁是重要的基础设施系统，而诸如预应力钢丝断裂等与损伤相关的罕见声学事件，在真实监测条件下难以采集到足够数量。这种稀缺性限制了用于开发和评估数据驱动的结构健康监测（SHM）方法的代表性数据。本研究探索基于生成对抗网络（GAN）的短时傅里叶变换（STFT）语谱图合成，作为丰富有限声学事件数据集的表征层面策略。通过生成在视觉和统计上均接近真实事件表征的合成语谱图，所提框架为研究桥梁监测场景中的罕见事件数据生成提供了基础。结果表明，与所选GAN基线相比，语谱图保真度和分布相似性均有所提高。然而，生成样本仅在表征层面进行了评估，其对下游SHM任务（如事件分类、损伤检测或异常检测）的影响需在未来工作中进一步验证。
结构健康监测（SHM）对桥梁基础设施的安全评估至关重要。预应力钢丝断裂是后张预应力混凝土桥梁中一种关键且罕见的损伤事件，在真实监测条件下难以获得足量样本，导致数据稀缺与类别不平衡，制约了深度学习模型的泛化和鲁棒性。传统增强方法如MixUp通过线性插值生成样本，容易产生不真实或模糊的信号，难以应对短时瞬态异常。为此，研究人员提出了一种基于GAN的表征层面合成框架STFTSynth，专门用于生成罕见声学事件的单通道STFT语谱图。
为开展研究，研究人员在意大利A24高速公路上待拆除的Cerqueta后张预应力混凝土桥上进行了受控预应力钢丝断裂试验，并与Politecnico di Torino和Strada dei Parchi S.p.A.合作完成数据采集。数据集共包含四类声学事件：钢丝断裂（202个）、锤击（264个）、电动修剪机（459个）和交通噪声（415个），信号采样率为96 kHz，事件时长为0.0104 s（1000个样本），存在明显类别不平衡。STFT采用Hann窗和50%重叠，窗长选取128和256，输出为单通道语谱图。STFTSynth以WGAN-GP为框架，在生成器中集成密集残差块（DRB）和双向门控循环单元（BiGRU），并与DCGAN、WGAN-GP、LSGAN三种基线模型进行对比，采用SSIM、PSNR和FID进行评估。
5.1 定量结果
基于SSIM、PSNR和FID指标，研究人员对四类事件在两种STFT窗长下的生成效果进行了比较。结果显示，STFTSynth在SSIM和PSNR上总体最优，例如对钢丝断裂事件（窗长128）的SSIM为0.488，对电动修剪机事件（窗长256）的SSIM为0.532；PSNR最高分别达到14.302（电动修剪机，窗长256）和14.009（钢丝断裂，窗长256）。FID方面，STFTSynth在多数情况下最低，如钢丝断裂（窗长128）为0.210、锤击事件为0.102（窗长128）和0.117（窗长256），表明其生成样本与真实数据分布最接近。部分基线在特定条件下也具竞争力：窗长256时DCGAN对钢丝断裂的FID为0.229，低于STFTSynth的0.249；LSGAN对电动修剪机（窗长256）的FID为0.190；WGAN-GP对电动修剪机和交通噪声（窗长128）的FID分别为0.173和0.179。总体而言，WGAN-GP表现不稳定，DCGAN通常FID较高。
5.2 定性分析
研究人员将生成语谱图与真实语谱图进行目视比较。STFTSynth生成的语谱图最清晰、结构细节最丰富，与真实模式高度一致；LSGAN在基线中最接近STFTSynth；DCGAN和WGAN-GP在静默或低结构区域出现明显失真或频谱细节丢失。
5.3 消融研究
为验证DRB和BiGRU的贡献，研究人员分别移除这些组件生成变体。完整STFTSynth在钢丝断裂（窗长128）上取得最优SSIM 0.488、PSNR 13.731、FID 0.210，每轮训练时间（TTE）为15.50 s。去除DRB后FID升至0.260，TTE几乎不变；去除BiGRU后性能显著下降（SSIM 0.346、PSNR 12.831、FID 0.330），TTE降至2.50 s；同时移除两者后FID为0.219、TTE为1.10 s，但SSIM和PSNR明显低于完整模型。这说明DRB有助于恢复频谱细节，BiGRU对建模时间依赖、保证语谱图时间一致性至关重要。
讨论部分指出，SSIM、PSNR和FID仅反映表征层面的相似性，不能直接说明合成样本对下游SHM任务如事件分类、损伤检测或异常检测的作用。合成数据对极端稀有的损伤事件可能更有价值，但若未引入额外变化，增强收益可能饱和。未来需要研究不同合成数据比例对分类器的影响，扩展不同结构和工况下的数据采集，并探索半监督、自监督方法以及小波标量图、扩散模型和源分离技术。
研究结论可译为：本研究提出了一种基于GAN的框架，用于SHM中罕见声学事件STFT语谱图的表征层面合成。研究引入定制模型STFTSynth，通过集成密集残差块与双向GRU层，增强生成数据的频谱与时间一致性。与DCGAN、WGAN-GP和LSGAN基线相比，STFTSynth在SSIM和PSNR上始终取得最高值，表明其能以最小失真生成高质量语谱图；FID结果进一步确认其在多数情况下生成最真实的样本，尽管LSGAN在特定类别上表现接近。WGAN-GP在保留细粒度结构与视觉
