一种利用Transformer条件WGAN-GP对LIBS进行判别性增强的分析方法

《Microchemical Journal》：An analytical approach for discriminative augmentation of LIBS using transformer conditional WGAN-GP

本研究提出基于Transformer的条件Wasserstein生成对抗网络（TCWGAN-GP）用于解决LIBS光谱分类中的类别不平衡问题，通过生成高质量合成光谱提升模型性能，实验表明该方法使平均测试准确率从95.71%提升至97.90%，尤其少数类别F1分数达1.0。

　　

Saifullah Jamali|洪波·傅|王华东|Nek Muhammad Shaikh|张梦阳|吴边|施飞凡|丁宗玲|Sanaullah Jamali|张志荣

中国科学研究院合肥物质科学研究院安徽光学精密机械研究所光子器件与材料重点实验室，合肥230031，中国

摘要

激光诱导击穿光谱（LIBS）是一种强大的分析技术，可用于快速材料分类和元素分析，因其具有最小的破坏性而备受推崇。它在地质学、冶金学、环境监测和工业过程控制等领域得到了广泛应用。在过去的五年中，人们探索了几种数据增强和生成方法来克服类别不平衡和样本数量有限等限制。然而，这些方法通常更注重整体分布的相似性，而不是生成具有区分性的、特定于类别的光谱特征，从而留下了一个关键问题未得到解决。在这项研究中，我们引入了一种基于Transformer条件Wasserstein生成对抗网络（TCWGAN-GP）的新数据增强框架，用于为训练集中代表性不足的类别选择性地生成合成LIBS光谱。这种方法解决了类别不平衡问题，增强了训练数据的多样性，并提高了整体分类性能，同时没有损害代表性较强类别的完整性。使用支持向量分类器（SVC）和混淆矩阵及指标（精确度、召回率、F1分数）进行评估的分类性能显示出显著提升：平均测试准确率从95.71%（增强前）提高到97.90%（增强后）。特别是代表性不足的类别（如C3、C4、C11、C12）取得了显著进步，F1分数从0.95上升到1.0，证实了该框架能够减轻不平衡并增强区分性特征学习。这项研究通过证明区分性光谱多样性而非单纯的分布相似性是有效数据增强的关键，为资源受限环境下的材料分类提供了一个可扩展且稳健的解决方案。

引言

LIBS已成为一种领先的快速、非破坏性的元素和材料分析方法。[1]、[2]、[3] 由于其样品制备简单[4]、[5]、实时处理能力[6]以及能够同时检测多种元素[7]、[8]，LIBS在地质学[9]、[10]、生物学[11]、[12]、环境监测[7]、[13]和农业[14]、[15]等领域得到了广泛应用。尽管有这些优势，基于LIBS的分类任务仍面临一些关键限制。例如，难以获得现代机器学习所需的大规模、平衡良好的数据集。这一限制主要源于几个实际问题：首先，通常需要大量的样品制备和实验设置；其次，建立统计上可靠的模型通常需要收集每个类别数百到数千个光谱，这既耗时又耗费资源；最后，许多LIBS应用涉及稀有、贵重或受限制的材料，如特定矿物相、历史文物或受控核材料，这些材料的大规模数据采集在实践中是不可行的。这常常导致数据集不平衡，其中常见类别被过度代表。这种不平衡可能会偏置学习过程，从而导致分类器不可靠且泛化能力差。为了缓解数据稀缺和不平衡问题，数据增强和生成方法在过去五年中成为LIBS分析中的活跃研究领域。传统的方法（如合成少数样本过采样技术SMOTE）和基于简单插值的方法在这方面存在局限性，它们往往无法捕捉LIBS数据中复杂的非线性光谱特征。近年来，生成模型，特别是生成对抗网络（GANs），已成为图像、音频和时间序列领域生成真实数据的强大工具。GAN是由Ian J. Goodfellow在2014年提出的生成模型，最初用于计算机科学领域生成合成图像[16]。该框架涉及两个核心组件的同时训练：生成模型（G）和判别模型（D）。生成器（G）生成人工数据，而判别器（D）通过将这些输出与真实数据区分并提供反馈来评估差异。通过这种对抗过程，生成器不断改进其输出，以生成与真实世界分布高度相似的合成数据。Peng等人[17]将Wasserstein GAN（WGAN）模型应用于LIBS，以提高Cu、K、Mg、Mn和Na的预测性能。Ren等人[18]利用GANN进行数据增强，结果显示该技术在深海多金属结核中Ni、Co和Li的定量分析中提高了机器学习模型的准确性。Luo等人[19]提出了C-GAN增强技术，提高了LIBS、FTIR和Raman数据集的分类准确性。Wang等人[20]使用半监督分类模型（SGAN）对煤样LIBS光谱数据进行了数据增强。Li等人[21]利用基于GAN的数据增强技术结合了LIBS和NIR-HIS。当前生成方法的主要局限性在于它们更注重实现整体分布的相似性，而不是生成具有区分性的、特定于类别的光谱特征。然而，传统的GAN及其早期变体难以捕捉LIBS数据集中的长距离依赖性和微妙的光谱变化，而这些对于准确分类至关重要。

最近，由于Transformer架构能够通过自注意力机制建模长距离依赖性，因此在科学数据分析中得到了越来越多的应用。与主要捕获局部模式的卷积神经网络或存在序列瓶颈和梯度消失问题的循环神经网络不同，Transformer能够以完全并行的方式对高维序列数据进行全局上下文建模[22]、[23]。这一特性特别适合LIBS光谱，因为在宽波长范围内，诊断重要的发射线可能分布稀疏且表现出复杂的带间相关性。基于Transformer的模型在光谱分析[24]、高光谱图像分类[25]、[26]以及其他光谱相关任务[27]、[28]、[29]、[30]、[31]、[32]中表现出强大的性能，凸显了它们在捕捉非局部光谱依赖性和微妙特征交互方面的有效性。这些理论优势促使将Transformer模块整合到生成框架中，以增强光谱表示学习和合成质量。

为了解决上述挑战，我们提出了一种基于TCWGAN-GP的新数据增强框架，以改善不平衡的LIBS光谱数据集并提高分类准确性。通过将Transformer架构集成到生成器中，该方法有效地模拟了LIBS光谱之间的长期依赖性和上下文关系，从而生成保持真实测量统计和物理特性的高保真合成光谱。条件机制使模型能够生成特定类别的光谱，而WGAN-GP框架确保了训练的稳定性和可靠性。此外，在数据增强前后使用混淆矩阵来评估分类性能。结果表明，所提出的方法显著提高了分类准确性，特别是对于代表性不足的类别，为实际应用中的LIBS数据分析提供了一个稳健且可扩展的解决方案。

实验设置

图1展示了实验设置，其中使用了纳秒Q开关Nd:YAG激光器（Dawa-100，Beamtech Optronics，中国），波长为1064 nm，重复率为1 Hz，能量输出为50 mJ，作为等离子体生成的激发源。激光束经过反射器重新定向后，通过一个焦距为200 mm的紫外熔融石英平面凸透镜聚焦到样品表面。如之前的工作[33]所述，

代表性不足类别的识别

对于训练集，为了处理训练数据集中的类别不平衡问题，首先计算了每个类别的样本数量。设训练数据集表示为：

$D_{\mathrm{train}}={\left(\left(x_i,y_i\right)\right)}_{i=1}^N$其中$x_i$表示第$i^{\mathrm{th}}$个样本的特征向量，$y_i$表示其对应的类别标签。

对于每个类别$n_j$，训练样本数量计算为$y_i?\left(C_1,C_2,\dots \dots .,C_3\right)$其中$I_{\left(\sum ,i=1,N,I\right)}$$n_j=\sum _{i=1}^{N}I\left(\right)$