《South African Journal of Plant and Soil》：Combining algorithm and data-level approaches to handle highly imbalanced soil data
编辑推荐：
对详细土壤地图的需求随着时间推移而增加，因为它们被认为是可持续发展的关键要素。然而，不平衡的遗留土壤数据会对数字土壤制图（DSM）的准确率产生负面影响，导致重要少数类的丢失。本研究评估了使用现代机器学习（ML）算法和上采样技术处理数据的不同方法，在数据平衡前后
对详细土壤地图的需求随着时间推移而增加，因为它们被认为是可持续发展的关键要素。然而，不平衡的遗留土壤数据会对数字土壤制图（DSM）的准确率产生负面影响，导致重要少数类的丢失。本研究评估了使用现代机器学习（ML）算法和上采样技术处理数据的不同方法，在数据平衡前后，测试了四种ML算法预测两种不同土壤分类系统的能力，在模型训练期间使用了四种上采样方法（合成少数类过采样技术（SMOTE）、自适应合成采样方法、高斯噪声和随机过采样）。结果表明，单独使用算法方法不足以处理高度不平衡的土壤数据；然而，将平衡的土壤数据集与ML算法结合使用，使预测准确率相对增加了17%，两种土壤分类系统的kappa系数值均超过0.66。土壤分类系统固有的分类结构也影响了土壤类别的预测准确率。应注意考虑集水区尺度、数据分布以及空间真实性。研究得出结论，使用SMOTE和随机森林等鲁棒ML算法的联合DSM方法，能够处理使用不同土壤分类系统的高度不平衡土壤数据集。
研究背景与意义
随着精准农业、环境管理和气候变化预测对详细土壤地图需求的日益增加，数字土壤制图（DSM）成为了理解土壤时空变异的核心手段。然而，在南非等地区，DSM的发展面临着突出的挑战。由于采集新数据成本高昂，研究严重依赖历史遗留土壤数据。这些数据存在空间分布聚集、使用过时分类系统等问题，尤其是在特定地理区域的数据聚集导致了高度不平衡的数据集。这种不平衡性使得多数类土壤样本占据主导，而少数类样本严重不足，进而导致模型对少数类的预测能力缺失，并产生有偏差的制图准确率估计。此前的研究提出了解决不平衡数据的三种途径：数据级方法（通过欠采样或过采样平衡数据）、算法级方法（选择能处理不平衡数据的特定机器学习模型）以及两者的结合方法。然而，在南非复杂的土壤分类系统下，如何有效处理高度不平衡的局部遗留数据并保留多数类信息，仍存在显著的研究空白。因此，开展此项研究旨在评估算法级与数据级结合的方法在处理极度不平衡遗留土壤数据中的有效性，这对制作南非国家土壤图具有重要的理论与实践意义。该论文发表在《South African Journal of Plant and Soil》上。
关键技术方法
为开展此项研究，研究人员收集了位于南非姆普兰省的萨比上游流域的3145个遗留土壤观察样本，样本大多源自南非林业有限公司的商业林业调查。研究将土壤数据分别映射至世界土壤资源参考基准（WRB）和南非土壤分类系统两个分类框架中。在特征工程方面，基于scorpan模型构建了包括30米分辨率数字高程模型（DEM）衍生的多种地形指数以及Sentinel-2A卫星遥感光谱指数在内的环境协变量数据集。在模型构建上，数据按75%和25%的比例通过k-means聚类划分为训练集和验证集。研究采用四种机器学习（ML）算法构建预测模型，即C5.0决策树、随机森林（RF）、极端梯度提升和多项逻辑回归。在数据平衡阶段，研究人员在训练集上应用了合成少数类过采样技术（SMOTE）、自适应合成采样方法（ADASYN）、高斯噪声（GN）和随机过采样（ROS）四种上采样技术对少数类进行扩增。通过10折交叉验证进行超参数网格寻优，并使用总体准确率、召回率、精确率、F1分数和kappa系数对模型进行独立验证。
研究结果
未平衡数据集上的模型验证
通过在未平衡的原始数据集上训练并验证四种机器学习模型，研究发现所有模型的预测精度均受到数据高度不平衡的显著制约。其中，随机森林（RF）模型在两种土壤分类数据集中的表现优于其他模型，其kappa系数值分别为0.50和0.51，点准确率分别为0.73和0.81。C5.0、XGBoost和MNLR模型的总体准确率依次递减。这一阶段的研究表明，单纯依靠算法本身不足以克服高度不平衡遗留土壤数据带来的制图精度瓶颈。
平衡数据集上的模型验证
通过在应用四种上采样技术处理后的平衡数据集上重新训练模型，研究得出了显著的改进结论。使用SMOTE平衡数据并结合RF模型（RF-SMOTE）取得了最佳预测效果，在南非和WRB数据集中分别获得了0.78和0.84的点准确率，且kappa系数均达到了0.68。相较于未平衡数据，使用SMOTE平衡后的数据使RF、XGBoost和C5.0算法的kappa系数提升了0.16至0.22。结果表明，数据级平衡与鲁棒ML算法的结合能够大幅提升DSM的制图精度。
少数类的精确率、召回率与F1分数评估
通过对表现最佳的RF-SMOTE和RF-ADASYN组合进行细粒度的类别指标评估，研究发现土壤系统内在的分类结构深刻影响了少数类的预测准确率。在WRB数据集中，与研究区多数类Acrisols存在环境协变量重叠的Cambisols，其精确率、召回率和F1分数均为最低，表明少数类极易被误分类。而在南非分类系统中，Oakleaf土壤虽然精确率达到了100%，但其召回率最低，暗示模型对该类别的预测存在严重的漏判现象，主要归因于该类样本极度缺乏。
讨论与结论
在论文的讨论部分，研究人员指出，虽然结合SMOTE和RF的联合方法在流域尺度上有效提升了高度不平衡数据的制图精度，但该方法的局限性依然明显。由于SMOTE基于协变量空间中样本的线性插值生成新样本，当少数类和多数类在环境协变量上存在高度重叠时，或者样本中存在异常值时，合成样本会引入额外噪声，导致少数类被误分。同时，由于少数类在独立验证集中的样本量原本就极其稀少，任何一次误分类都会对整体的统计准确率产生不成比例的严重冲击。
此外，两种土壤分类系统的对比揭示了一个重要发现：南非土壤分类系统比WRB包含更详细的本地分类层级（例如基于赤铁矿和针铁矿颜色或有机碳含量进一步细分），这虽使得总体准确率从85%略降至78%，但kappa系数并未下降。这意味着在不降低模型一致性的前提下，采用南非分类系统能够为土壤水文过程和景观形态提供更丰富的信息，而无需依赖缺乏细节的土壤组合图。
综合研究结果，研究人员得出最终结论：使用SMOTE对少数类土壤观测值进行合成上采样，并配合RF等鲁棒机器学习算法的联合数字土壤制图方法，能够有效处理并改善基于不同土壤分类系统的高度不平衡遗留土壤数据集的预测性能。尽管与多数类重叠的少数类仍面临预测挑战，但本研究证明了该联合方法在详细土壤信息捕捉和制图精度之间取得了良好的平衡，为南非新国家土壤清单的制定提供了适宜的方法论。未来研究需在多区域及不同不平衡程度的流域中进一步验证该方法的普适性，并持续优化能适应南非独特土壤分类结构的DSM产品。
