基于WGAN-GP的频谱增强方法，利用可见-近红外光谱预测土壤水分与土壤温度

《Microchemical Journal》：WGAN-GP-based spectral augmentation for soil moisture and soil temperature prediction using vis-NIR spectroscopy

　　•提出了一种条件性WGAN-GP方法，用于优化土壤可见-近红外光谱。•合成光谱在光谱特征、统计特性和物理特性方面几乎保持不变。•将cWGAN-GP与噪声注入、混合、抖动和过采样方法进行了比较。•组合数据集的R2值：SM为0.973，ST为0.966。

引言
土壤是农业生产、环境保护和生态稳定性的重要自然资源[8]、[18]。土壤的物理和化学性质直接影响植物的生长、养分的有效性、持水能力、微生物群落以及作物产量[23]。在各种土壤因素中，SM和ST对维持土壤健康和农业生产力至关重要[6]。SM会影响种子的生长、养分的输送、根系的生长以及微生物的活动，而ST则影响生物功能、蒸发速率、养分平衡以及植物的代谢过程。因此，对土壤参数进行可靠的监测和预测对于精准农业和环保型土地管理而言极为重要。

传统的土壤分析主要依赖于物理和化学测量方法[8]、[18]。全球气候观测系统（GCOS，2016年）将SM和ST视为重要的气候变量，因为它们有助于理解生态行为、农业产出以及全球变暖的影响[12]、[13]。通常，这些特性是通过模拟陆面-大气过程的陆地表面模型以及气象/水文模型来估算的[1]、[10]、[21]。然而，这些方法计算成本高，参数设定存在不确定性，且难以准确模拟复杂的环境过程[12]、[19]。此外，这些方法往往耗时较长、操作复杂、成本高昂且具有风险性，还需要大量的样本准备和专业的操作人员，这限制了它们在大规模和实时土壤检测中的应用。近年来，光谱技术（如可见-近红外光谱、高光谱光谱等）作为一种快速、无创且成本低廉的土壤评估方法逐渐受到重视。近红外光谱能够收集土壤物理化学性质的光谱数据，从而在最小的样本准备工作下实现对土壤参数的高效分析[18]。

为了提高光谱质量并减少不必要的波动，人们广泛使用诸如萨维茨基-戈莱滤波、乘法散射校正以及标准正态变换等预处理技术[18]。在基于机器学习的土壤分析中，另一个突出问题在于高质量光谱数据集的稀缺、规模较小以及获取难度大。规模较小或数量有限的数据集容易导致过拟合，进而使得模型的泛化能力下降，性能不稳定。为此，人们采用了数据增强技术来生成人工数据以扩充数据集。然而，传统的数据增强方法可能无法有效保留光谱特征的复杂分布规律[16]。生成对抗网络（GANs），如cWGAN-GP，近年来在多个科学领域展现了生成真实数据的强大能力[14]、[25]。它可以根据特定的土壤参数生成合成光谱，从而得到既真实又具有统计可靠性的增强样本，这类样本能够在增加数据多样性的同时减少过拟合现象。尽管GANs被广泛用于数据增强，但传统的GANs往往存在训练不稳定且难以找到稳定解等问题。为了解决这些缺陷，Rana和Gatti[22]提出了一种改进型的WGAN-GP模型，该模型引入了卷积层和反卷积层，同时还加入了梯度惩罚机制，以此在保持RGB和红外域空间特征的同时生成高质量的农业图像。他们的研究表明，使用基于WGAN-GP的条件生成模型可以增加数据集的多样性，帮助模型在新的环境中表现更好，同时在数据量有限的情况下提升精准农业的准确性。此外，基于GAN的数据增强技术在土壤高光谱光谱分析中的应用仍相对较少，尤其是在多目标土壤变量预测和分类方面。除了数据增强之外，机器学习技术通过学习光谱模式，在预测土壤特性方面也取得了不错的成果。

Kone等人[11]提出了一种结合CNN和LSTM的网络结构，利用气候和土壤数据来预测土壤湿度，其均方根误差为0.497，R2值为0.971。Nguyen等人[17]则利用Sentinel-1 SAR卫星数据、Sentinel-2多光谱图像以及ALOS数字表面模型来预测SM，得到的R2值为0.891，均方根误差为0.875%。Hossain和Kabir[9]提出了一种基于智能手机图像和光线传感器的机器学习框架，用于预测SM，其R2值为0.950。Celik等人[5]则使用了LSTM和ANN算法，结合来自103个ISMN站点的全球范围数据，以及Sentinel-1 SAR卫星数据、Sentinel-2 NDVI影像、SMAP微波观测数据以及现场传感器数据，最终得到的R2值为0.87，均方根误差为0.046。Park等人（2023年）研究了在不同土壤深度（10厘米、20厘米和30厘米）下利用介电测量方法结合RNN和LSTM进行SM预测的情况。Acharya等人[2]则研究了利用包括降雨量、蒸散量以及各类土壤参数在内的气象传感器数据，通过CART、RFR、BRT和ANN模型进行SM预测，得到的R2值为0.720。Li等人[12]则成功利用FLUXNET2015数据集和基于LSTM的模型预测了一日内的土壤湿度，平均R2值为0.896。ElSaadani等人[7]则利用多雷达多传感器（MRMS）、HRRR以及国家水资源模型输出数据来估算空间上的土壤湿度，得到的空间相关性为0.9。Basir等人[3]分析了印第安纳州九年的天气数据（包括温度、湿度、太阳辐射以及体积含水量传感器数据），得到的R2值为0.998，均方根误差为0.004立方米每立方米。表1汇总了各项关于土壤参数预测的研究情况。

本研究结果表明，当将机器学习和深度学习技术与现代传感器技术相结合时，比如遥感技术、介电传感器、智能手机成像技术、气象监测站以及光谱技术等，能够显著提升土壤湿度的预测精度。深度学习算法在模拟非线性的时间和空间相互作用方面表现尤为出色，而随机森林和XGBoost这类集成学习方法则在对结构化的环境数据进行分析时具有很强的预测能力。不过，现有文献中的许多研究都存在一些局限性，比如数据集的多样性不足、对生态环境的敏感性较高、计算复杂度大、植被干扰问题以及泛化能力较差等。这些缺陷凸显出有必要开发更为先进的数据增强框架，以提高土壤性质预测的准确性。

那么，cWGAN-GP是否能够生成既保留了与SM和ST相关的统计特征和物理关联，又能为回归和分类模型提供有用数据增强的可见-近红外土壤光谱呢？有观点认为，cWGAN-GP能够生成在统计上真实且在物理上准确的人工可见-近红外光谱，这样一来既能增加数据集的多样性，又能保留有助于实现精确回归和分类所需的光谱特征。本研究的贡献如下：
•本研究提出了一种基于SM和ST的cWGAN-GP架构，用于对实际的土壤可见-近红外高光谱数据进行增强处理，同时结合萨维茨基-戈莱滤波、乘法散射校正以及标准正态变换等光谱预处理技术，以提高光谱质量并降低噪声水平。
•通过统计分析、光谱分析和物理特性分析等方法对生成的光谱进行了全面的质量验证，这些方法包括皮尔逊相关系数分析、柯尔莫哥洛夫-斯米尔诺夫检验、瓦瑟斯坦距离计算、t检验、方差分析、方差比分析、最大光谱偏差分析以及梯度匹配精度分析等。这些分析结果表明，生成的光谱保留了与条件变量相关的核心特征和物理联系。
•将所提出的cWGAN-GP方法与噪声注入、光谱抖动、混合以及过采样等传统数据增强方法进行了详细对比，从而全面评估了其在提升可见-近红外光谱数据质量方面的性能。
•分别使用随机森林、支持向量机以及K最近邻模型对回归和分类任务进行了评估，以此全面评价增强后的光谱在持续预测以及基于类别的分类任务中的表现。
•通过特征重要性分析，找出了光谱中与水分和温度变化相关的关键区域，这有助于明确哪些波长范围对于估算土壤湿度和表面温度最为有效。
•研究表明，cWGAN-GP主要通过生成在统计和物理上都较为准确的合成光谱来提升数据集的多样性以及模型的稳健性，而且当与其他可见-近红外土壤光谱数据增强方法结合使用时，其在预测性能上也表现出色。

部分内容节选
材料与方法
本研究采用了一套完整的流程，涵盖了统计验证、条件光谱增强、土壤光谱预处理以及基于机器学习的土壤湿度和土壤温度预测等内容。SM和ST被视为多目标输出，首先通过萨维茨基-戈莱滤波、乘法散射校正以及标准正态变换等进行预处理，之后再使用标准化工具对光谱数据进行标准化处理。接着使用cWGAN-GP算法对光谱数据进行增强，随后对生成的光谱进行统计分析。最后将原始光谱数据和经过cWGAN-GP处理后的光谱数据结合起来。

结果
本研究是在Google Colab PRO平台上进行的，该平台基于Python 3和Google Compute Engine的GPU技术，拥有25.45吉赫兹的RAM内存以及166.75GB的磁盘存储空间，为研究人员提供了构建和训练模型的可靠平台。数据集被分为训练集和验证集两部分，比例为80:20，同时还采用了5折交叉验证的方法。

讨论
由于土壤反射率会受到土壤含水量、温度、矿物组成、有机质含量、颗粒大小、表面纹理以及光照条件等多种因素的影响，因此从可见-近红外高光谱数据中准确计算土壤湿度和土壤温度仍然是一项具有挑战性的任务。这些因素会导致光谱响应呈现非线性特征，从而增加了构建通用预测模型的难度。此外，由于光谱数据采集工作繁琐，且需要大量的人力投入，因此高光谱数据集的规模往往较小。

结论
本研究提出了一种基于cWGAN-GP的框架，旨在通过数据增强技术来优化可见-近红外光谱数据，进而提升土壤湿度和土壤温度的预测精度。该框架经过了多种预处理方法的测试，同时也结合了常规的数据增强技术、回归和分类模型，以及全面的统计分析、光谱分析和物理特性分析方法。在各种预处理方法中，萨维茨基-戈莱滤波取得了最佳的基准测试结果。所提出的cWGAN-GP……

生成式人工智能使用声明
在撰写本研究的过程中，作者们使用了ChatGPT、Perplexity Deep Research、Grammarly、QuillBot/Paraphraser以及其他基于大型语言模型（LLM）的工具，来提升手稿的语言表达水平、可读性、语法规范性以及整体清晰度。这些基于LLM的工具也被用于辅助实验方案的制定。不过，没有任何大型语言模型被用于分析原始数据、解读实验结果或生成本研究中所汇报的科学发现。所有数据……

CRediT作者贡献说明
Madhusudan G. Lanjewar：论文撰写——审阅与编辑、论文撰写——初稿撰写、可视化处理、验证工作、软件应用、方法设计、研究实施、正式分析、概念构思。

参与同意书
由于本研究未涉及任何人类参与者，因此无需签署参与同意书。

发表同意书
由于本研究不包含任何形式的个人数据，因此无需签署发表同意书。

伦理审批说明
本研究未涉及人类参与者或动物实验，因此不需要进行伦理审批。

资金支持情况
本研究没有获得任何资金支持。

利益冲突声明
作者们声明自己不存在任何已知的、可能会影响本研究结果的财务利益关系或个人关系。Madhusudan G. Lanjewar