《Soil Security》：Explainable machine learning for predicting POXC and organic carbon from mid-infrared spectra under varying soil scanning conditions
编辑推荐：
研究人员利用中红外（mid-infrared, MIR）光谱预测高锰酸钾氧化碳（permanganate oxidizable carbon, POXC）和有机碳（organic carbon, OC）。光谱预处理降低了噪声，改善了样本聚类效果并提升了模型预测
研究人员利用中红外（mid-infrared, MIR）光谱预测高锰酸钾氧化碳（permanganate oxidizable carbon, POXC）和有机碳（organic carbon, OC）。光谱预处理降低了噪声，改善了样本聚类效果并提升了模型预测精度。漫反射光谱仪（diffuse reflectance spectrometer）的性能优于衰减全反射光谱仪（attenuated total reflectance spectrometer）。基于处理过土壤样本构建的模型，其预测表现优于基于田间状态土壤扫描条件构建的模型。
土壤是支撑可持续农业、生态系统功能和气候调节的基础自然资源，因此其系统化调查与评估日益重要。在众多土壤质量指标中，土壤有机碳（organic carbon, OC）因调控养分循环、水分保持、土壤结构及生态系统生产力，并作为主要陆地碳汇而尤为关键。然而，总有机碳并非均质碳库，而是由不同周转速率和稳定性的异质性混合物组成。土壤有机碳组分通常分为稳定碳库和活性碳库，其中活性组分如高锰酸钾氧化碳（permanganate oxidizable carbon, POXC）代表生物活性部分，支持微生物活动和养分有效性，并能快速响应土地管理变化，是评估土壤健康和短期碳动态的重要指标。传统实验室方法虽然可靠，但劳动密集、耗时且具有破坏性，难以满足高通量分析或田间尺度应用的需求。
中红外（mid-infrared, MIR）光谱（2500-25000 nm或4000-400 cm?1）因捕获土壤矿物和有机质等组分的基本分子振动，产生强烈而独特的吸收特征，在预测土壤属性方面展现出高精度，因而受到广泛关注。然而，MIR光谱分析通常需要对土壤进行细磨（fine-ground, FG，粒径<180 μm）等大量样品前处理，这限制了实时田间应用的可能性。相比之下，近红外光谱可应用于新鲜（未处理、田间状态）和非细磨（non-fine-ground, NFG）样本。为建立稳健的土壤属性预测模型，光谱信息常与偏最小二乘回归（partial least-squares regression, PLSR）、随机森林及人工神经网络等机器学习方法结合。尽管如此，光谱仪类型、土壤扫描条件及光谱预处理策略等因素的差异可能影响模型性能。目前大多数研究仅评估了单一或少数因素对模型表现的影响，缺乏对光谱仪类型、土壤扫描条件和光谱预处理三者综合效应的系统性研究，且针对POXC等动态土壤健康指标的快速预测方法仍十分有限。
为此，研究人员开展本研究，旨在系统评估光谱仪类型、土壤扫描条件和光谱预处理对MIR光谱预测POXC和OC的影响。具体目标包括：（i）比较不同建模技术预测POXC和OC的性能；（ii）评估不同土壤扫描条件（FG、NFG和新鲜）下模型的预测能力；（iii）评价光谱预处理对模型性能的贡献。该研究首次综合评价了多种光谱仪、多种土壤扫描条件、光谱预处理策略及可解释机器学习方法对POXC等碳组分预测的联合影响，为便携式MIR光谱仪在田间实时监测土壤碳提供了理论依据和技术支撑，对土壤健康评估、精准农业和可持续土地管理具有重要意义。
研究方法方面，研究人员于2022年从美国密西西比州的基准土壤系列采集了180个土壤样本，样点选择得到美国农业部自然资源保护局（USDA-NRCS）支持。每个土壤系列设四个重复样点，按0-5 cm、5-10 cm、10-15 cm和15-30 cm四个深度间隔取样，并将5-10 cm与10-15 cm合并为5-15 cm层。实验室测定POXC采用Weil等（2003）描述的高锰酸钾氧化法；OC则通过商业实验室的烧失量法测定有机质，再乘以van Bemmelen转换系数（1.724的倒数）估算获得。光谱采集在密西西比州立大学高级植物与土壤传感实验室完成，使用三种光谱仪：ARCoptix FT-MIR ROCKET（AR，漫反射）、配备衰减全反射（attenuated total reflectance, ATR）模块的Bruker Alpha II（AT）以及配备漫反射（diffuse reflectance, DRIFT）模块的Bruker Alpha II（DR），分别在FG、NFG和新鲜三种土壤扫描条件下采集光谱，光谱分辨率均为4 cm?1。光谱预处理采用组合方案，包括小波去噪、一阶导数（Savitzky-Golay）和非对称最小二乘基线校正。模型构建方面，共评估了12种建模技术，最终选定岭回归（ridge regression, RR）、K近邻（k-nearest neighbors, KNN）、随机森林（random forest, RF）和类别提升（categorical boosting, CB）四种进行详细比较；以80/20比例随机划分训练集（n=144）和测试集（n=36），重复50次以评估模型稳定性，采用决定系数（R2）、均方根误差（RMSE）、偏差（bias）及性能偏差比（ratio of performance to deviation, RPD）评估模型性能，并运用Tukey诚实显著性差异（honestly significant difference, HSD）检验进行统计比较；采用主成分分析（principal component analysis, PCA）可视化光谱变异，并采用SHAP（SHapley Additive exPlanations）分析识别对模型预测贡献最大的波长区域。
研究结果部分如下：
**3.1 光谱仪类型和土壤扫描条件间的光谱变异**：PCA分析显示，前两个主成分解释了总光谱方差的比例为79.2%至98.6%。原始光谱在各类光谱仪和土壤扫描条件下均呈现较宽的分布和更大的95%置信椭圆，而预处理后的光谱表现出更紧密的聚类和更紧凑的分布。FG与NFG两种土壤扫描条件之间的簇分离在各光谱仪类型间保持一致，不受光谱预处理影响。新鲜土壤扫描条件在原始光谱和预处理光谱中均表现出最大的变异性，这一现象在AT光谱仪中尤为显著。
**3.2 模型预测性能比较**：在POXC预测方面，弹性网回归、决策树、PLSR、人工神经网络和支持向量回归的性能较低（平均R2<0.5），而梯度提升决策树、极限梯度提升和轻量梯度提升机展现出较好的潜力（平均R2>0.5）。最终保留RR、KNN、RF和CB四种模型进行深入比较。光谱预处理显著提升了FG和NFG条件下POXC和OC的预测精度（以R2衡量），但对新鲜土壤扫描条件无改善作用。在AR光谱仪配合FG条件下，CB模型对POXC取得最佳预测效果（平均R2=0.66，上须达0.80），RR对OC取得最高精度（平均R2=0.85，上须达0.96）。总体而言，FG组合（尤其是AR-FG和DR-FG）属于最高显著性组，新鲜组合（尤其是AR-fresh）多属于较低显著性组，NFG组合居中。AT光谱仪在不同土壤扫描条件下的预测性能差异最大，其新鲜土壤条件下原始光谱预测精度反而高于预处理光谱；DR光谱仪表现与AR相当甚至更优，尤其在OC预测方面。
**3.3 SHAP识别重要光谱区域**：基于CB模型对AR光谱仪数据开展SHAP分析。光谱预处理提高了SHAP重要性贡献的对比度，并产生了更平滑、更明确的平均光谱曲线。对于POXC预测，FG和NFG条件在原始光谱中的SHAP峰值位于1800-1700 cm?1区域，预处理后位于3000-2800 cm?1区域；新鲜条件下峰值出现在3800-3700 cm?1（原始光谱）以及3800-3700 cm?1和3000-2800 cm?1（预处理光谱）。对于OC预测，3200-2800 cm?1和1900-1700 cm?1区域始终出现局部峰值，不受光谱预处理影响；新鲜条件下优势区域为1900-1700 cm?1（原始）和3200-2800 cm?1（预处理）。POXC的关键光谱区域包括3800-3700 cm?1（与高岭石Si-OH伸缩及O-H伸缩振动相关）、3000-2800 cm?1（脂肪族甲基和亚甲基C-H振动）和1800-1700 cm?1（酰胺基、芳香C=C、O-H振动及碳酸盐）；OC的关键区域与POXC多有重叠，但其SHAP重要性更显著、更局部化、峰值更锐利。FG和NFG条件的SHAP重要性分布更为相似，而新鲜条件表现出明显偏离，表明田间状态光谱预测可靠性降低。
讨论部分指出，光谱预处理通过降低组内光谱变异和增强光谱模式一致性，显著提升了大多数光谱仪-土壤扫描条件组合的预测性能，这与先前研究结果一致。AR和DR光谱仪（均基于漫反射测量原理）在FG和NFG条件下表现出更稳定可靠的性能，而AT光谱仪对样本接触、表面特性和湿度更为敏感，导致预处理效果在不同扫描条件下表现不一致。新鲜土壤因含水量、粒径异质性和表面反射率变化等因素，产生更大的光谱变异，降低模型稳健性，凸显了田间光谱应用的挑战和校准传递技术（如外部参数正交化）的潜在需求。SHAP分析揭示POXC和OC预测共享多个MIR光谱区域，但OC的信号更强更明确，可能是因为POXC仅代表OC中的活性组分，浓度较低导致光谱信号较弱。此外，CB和RR模型的SHAP重要性模式存在差异，说明光谱重要性解释需结合具体模型机制来理解。
研究结论为：本研究验证了MIR光谱结合可解释机器学习预测密西西比土壤POXC和OC的潜力。光谱预处理在FG和NFG条件下能持续提升信号质量和模型性能，表现为更紧凑的PCA聚类、更低的光谱变异和更锐利的SHAP重要性峰值。AR和DR光谱仪较AT光谱仪产生更稳定可靠的预测。新鲜土壤扫描条件即使经过预处理仍表现出较高的光谱噪声和较低的模型精度，凸显了田间光谱应用面临的挑战。SHAP分析发现3800-3700 cm?1、3200-2800 cm?1和1900-1700 cm?1为POXC和OC预测共用的重要MIR光谱区域，其中OC的光谱信号强于POXC。本研究强调了在MIR光谱应用中，适当的样本制备、光谱预处理和仪器配置对实现准确预测的重要性。FG和NFG条件下的预处理光谱可作为传统碳分析快速且可行的替代方案，支持精准农业和大规模土壤健康监测的发展。研究的主要局限在于数据集的区域性，未来研究应探索校准传递策略、多区域大规模数据集和实时田间验证，以增强MIR光谱技术的稳健性和可扩展性。
