基于漫反射光谱与机器学习算法及光谱预处理技术预测土壤重金属浓度的评估研究

《Soil Security》：Evaluating Machine Learning Algorithms and Data Pre-Processing Techniques for Predicting Soil Heavy Metal Concentrations Using Diffuse Reflectance Spectroscopy

　　

摘要专业翻译 利用漫反射光谱法（Diffuse Reflectance Spectroscopy, DRS）实现了土壤重金属浓度的快速估算。通过光谱预处理方法显著提升了预测精度。按预测精度排序，重金属元素依次为：铬（Cr）、钴（Co）＞铜（Cu）＞镍（Ni）＞锰（Mn）＞锌（Zn）＞铁（Fe）＞铅（Pb）。相较于支持向量机（Support Vector Machine, SVM）、偏最小二乘回归（Partial Least Square Regression, PLSR）和随机森林回归（Random Forest Regression, RFR），主成分回归（Principal Component Regression, PCR）模型展现出作为快速预测方法的潜力。铬（Cr）表现出最低的预测不确定性，而铁（Fe）、锰（Mn）和铜（Cu）则显示出相对较高的不确定性。

论文解读

一、研究背景与问题

随着全球工业化和城市化进程的快速推进，土壤重金属污染已成为备受关注的环境问题。重金属因其毒性、持久性和在生物体内的累积特性，被公认为高关注度环境污染物，可通过食物链在动植物和人体内富集，最终危害人类健康。因此，定期开展土壤评估对于环境监测至关重要。传统的重金属含量测定方法（如原子吸收光谱法AAS、电感耦合等离子体法ICP等）成本高昂且耗时费力。近年来，高光谱反射光谱法（Hyperspectral Reflectance Spectroscopy, HRS）与机器学习（Machine Learning, ML）算法的融合，为基于光谱数据快速、无损估算土壤重金属浓度提供了可能。然而，由于土壤性质复杂多变，重金属含量预测仍面临诸多挑战，如光谱噪声、峰重叠、共线性和弱信号等问题，使得从光谱中提取可靠信息较为困难。因此，如何选择合适的预处理技术、特征选择方法和机器学习算法，以确保预测结果的准确可靠，是当前研究的核心问题。

二、研究内容与意义

研究人员以印度南部特伦甘纳邦桑加雷迪县帕坦切鲁工业区（Patancheru, 17.5287°N, 78.2667°E）为研究区域，采集了25个点位、4个深度层次（0-15 cm、15-30 cm、30-50 cm、50-100 cm）共100份土壤样品，系统比较了多种光谱预处理技术与机器学习算法在预测土壤重金属（Pb、Cr、Co、Zn、Fe、Ni、Mn、Cu）含量方面的表现。该研究对于推动土壤重金属污染快速监测技术发展、降低监测成本、提高监测效率具有重要的科学意义和应用价值。

三、主要技术方法

研究人员采用了以下关键技术方法：一是光谱预处理技术，包括Savitzky-Golay（SG）平滑滤波、分数阶导数（Fractional Derivative, FD，阶数0.25和0.5）、一阶导数（First Order Derivative, FOD）、二阶导数（Second Order Derivative, SOD）、标准正态变量变换（Standard Normal Variate, SNV）、倒数对数变换log(1/R)以及连续统去除（Continuum Removal, CR）；二是机器学习算法，包括支持向量机（SVM，测试了线性、多项式和径向基函数RBF三种核函数）、随机森林回归（RFR，采用网格搜索进行超参数优化）、主成分回归（PCR，通过特征值确定最优主成分数）和偏最小二乘回归（PLSR，通过交叉验证确定最优潜变量数）；三是模型评估方法，采用5折交叉验证，以决定系数（R2）、均方根误差（RMSE）和归一化均方根误差（NRMSE）作为评价指标。所有预处理均在Python 3.6环境下使用NumPy、SciPy和sklearn库实现。

四、研究结果

重金属含量统计分析结果：不同深度层次土壤中8种重金属含量存在显著差异。铁（Fe）含量最高（2205.0-21272.0 mg kg?1），其次为锰（Mn）（7.40-487.9 mg kg?1），铬（Cr）含量范围为31.1-81.2 mg kg?1，镍（Ni）为0.87-57.6 mg kg?1，锌（Zn）为2.70-38.8 mg kg?1，铅（Pb）为4.87-31.7 mg kg?1，铜（Cu）为1.48-31.8 mg kg?1，钴（Co）为0.32-18.3 mg kg?1。各元素变异系数（CV）介于0.24-0.85之间，表明数据分布具有较好的建模基础。

光谱预处理效果比较结果：通过对比不同预处理技术（原始反射光谱RRS、SG平滑、FD 0.25和0.5阶、FOD、SOD、SNV、CR、log(1/R)）与各机器学习算法的组合效果，研究人员发现光谱预处理显著提升了预测精度，有效降低了基线漂移和噪声干扰，增强了光谱特征信息。

机器学习算法性能比较结果：在四种机器学习算法（PCR、SVM、PLSR、RFR）中，PCR模型表现出最优的整体预测性能，可作为快速预测土壤重金属含量的有效方法。各重金属元素的预测精度排序为：Cr、Co > Cu > Ni > Mn > Zn > Fe > Pb。

预测不确定性分析结果：铬（Cr）表现出最低的预测不确定性，表明其预测结果最为稳定可靠；而铁（Fe）、锰（Mn）和铜（Cu）则显示出相对较高的预测不确定性，这可能与这些元素在土壤中的赋存形态和光谱响应特征有关。

五、讨论与结论

研究表明，光谱预处理技术对于提升机器学习模型预测土壤重金属含量的精度具有关键作用。线性模型（如PCR和PLSR）能够有效处理光谱数据中的多重共线性问题，而非线性模型（如SVM和RFR）则在捕捉光谱与重金属浓度间的非线性关系方面具有优势。PCR模型的优异表现可能归因于其通过主成分分析有效降维并提取了光谱中的关键信息。不同重金属元素预测精度的差异，可能与各元素在土壤中的含量范围、光谱响应强度及与土壤其他组分的相互作用有关。该研究证实了高光谱反射光谱结合机器学习方法在土壤重金属快速监测中的巨大潜力，为工业区土壤污染评估提供了高效、经济的技术途径。研究结论指出，PCR模型结合适当的光谱预处理方法，可作为快速预测土壤重金属浓度的可靠工具，其中Cr的预测精度最高、不确定性最低，而Fe、Mn和Cu的预测仍存在较大改进空间，未来研究可进一步探索更优的特征选择方法和模型优化策略以提升预测性能。