中红外光谱技术在土壤有机碳估算中的应用。第二部分：在全球和国家尺度上评估数据预处理方法

《Soil and Tillage Research》：Mid-infrared spectroscopy for soil organic carbon estimation. Part II: Evaluating preprocessing at global and national scales

　　通丽|迪克莎·贝尼瓦尔|拉姆·C·达拉尔|肖恩·曼宁|彭富|安全夏|金兰吴|青阳刘|维利姆·菲利波维奇|乔治奥斯·齐米尼斯|亚什·P·当格
昆士兰大学农业与食品可持续性学院，圣卢西亚，QLD 4072，澳大利亚

摘要
中红外（MIR）光谱技术越来越多地被用于估算土壤有机碳（SOC），但其预测性能在很大程度上取决于光谱预处理方法。然而，对于最佳实践尚未达成共识，尤其是对于需要在不同地区普遍适用的模型而言。我们在第一部分提出的元分析中确定了五种最常见的预处理技术——不进行任何预处理、标准正态变量（SNV）校正、乘法散布校正（MSC）、萨维茨基-戈莱（SG）平滑处理以及基于SG的二阶导数（SGD）——并使用ISRIC全球土壤红外数据库（共3997个样本）和三个最大的国家子集（中国262个样本；肯尼亚245个样本；印度尼西亚236个样本）进行了测试。所有参数保持不变，包括MIR光谱窗口（4000–600 cm?1）、化学计量模型和验证设计。我们创建了一个分层的80/20验证分割方法（根据SOC四分位数和土壤类型进行划分），并使用固定的随机种子来确保数据分布的均匀性。来自同一样本/地点的重复数据被保留在同一组中以避免信息泄露。我们对训练集和测试集应用相同的预处理方法。我们使用80%的数据进行模型训练（交叉验证），并利用剩余的20%数据在“实际条件下”测试模型的性能。通过重复10次10折交叉验证（5次重复）并采用一标准误差规则调整偏最小二乘回归（PLSR，均值中心化）模型，并在20%的验证数据上对其进行评估。我们报告了R2值、均方根误差（RMSE）、性能与四分位距比（RPIQ）和平均偏差（MBD）。结果表明，SGD在全球范围内的验证性能最佳（R2 ≈ 0.79；RMSE ≈ 1.56%）；而SNV在中国和肯尼亚的表现最佳，MSC在印度尼西亚表现最佳，这表明预处理方法需要根据数据集的特点进行优化。这些结果强调了无信息泄露的外部验证、多指标报告以及针对地区特点的预处理方法的重要性。

1. 引言
可靠地量化土壤有机碳（SOC）对于土壤健康评估（Li等人，2024年；Shang等人，2026年）、作物生产力（Li等人，2023年；He等人，2026年）以及气候变化缓解（Ceddia等人，2015年；Hu等人，2023年；Wu等人，2025年）至关重要。准确的SOC估计还有助于国家温室气体清单和测量、报告、验证（MRV）系统的建立，从而为农业和土地管理提供基于绩效的激励措施（Batjes等人，2024年；Shang等人，2026年）。中红外（MIR）漫反射实验室光谱技术作为一种实用且高通量的方法，已成为传统湿法或干法燃烧的替代方案，因为它能够探测有机和矿物官能团的基本振动带（Viscarra Rossel和Brus，2018年；Viscarra Rossel等人，2017年；Tian等人，2026年），当与化学计量模型结合使用时，可以实现快速、非破坏性的预测（Viscarra Rossel和Bouma，2016年；Sanderman等人，2020年）。尽管如此，基于MIR的SOC预测的准确性在不同研究和地区之间存在很大差异（Hernandez-Morcillo等人，2018年；Ribeiro等人，2023年；Ribeiro等人，2021年；Vohland等人，2022年）。造成这些差异的原因包括土壤类型和层次的差异（Breure等人，2022年）、碳酸盐含量和水分含量（Dangal等人，2019年）、仪器配置和光谱窗口（Dangal等人，2019年；Li等人，2024年）、建模选择（Knox等人，2015年），以及关键的光谱预处理方法（Hong等人，2022年）。预处理的目的是减少散布和基线效应、抑制噪声，并在建模前突出化学相关特征（Gozukara等人，2025年）。常见的预处理方法包括标准正态变量（SNV）校正、乘法散布校正（MSC）、萨维茨基-戈莱（SG）平滑处理以及基于SG的导数处理（SGD）（Gozukara等人，2025年；Li等人，2026年）。然而，直接比较这些方法的结果并不一致：某些方法虽然在校准时表现良好，但在样本外可能无法泛化；而简单的标准化方法有时在验证性能上更优（Hu和Viscarra Rossel，2025年；Jia和Koidis，2024年；Yan，2025年）。此外，由于不同研究之间的设计选择以及校准集和验证集之间的信息泄露，公平比较往往受到阻碍，这两者都可能夸大准确性并模糊实际指导意义。目前，研究界正转向使用大型MIR光谱数据库以减少国家采样和实验室成本（Breure等人，2022年）。虽然全球校准具有吸引力，但其适用于特定地区的能力通常受到领域差异的限制（Liu等人，2024年）。然而，预处理在领域转换（从全球到地区）中的作用尚未得到充分探索（Jia等人，2026年；Jia等人，2026年），尤其是在一个无信息泄露的工作流程中，并结合多指标报告来评估准确性、稳健性和偏差（Gamagedara等人，2024年；Leenen等人，2022年）。

目前仍缺乏在一个全球数据库和对比鲜明的国家背景下，同时保持光谱窗口（Viscarra Rossel和Lark，2009年）、化学计量算法（Viscarra Rossel等人，2016年）和外部验证设计不变的情况下，对常见预处理方法进行一致性的基准测试。因此，实践者缺乏基于证据的规则来指导何时应优先选择基于导数的转换方法而非简单标准化方法，以及如何根据地区土壤特点调整预处理方法。为此，我们提出了以下研究问题：（i）在其他条件相同的情况下，常见的预处理方法如何影响基于MIR的SOC模型的外部验证性能？（ii）在全球数据库和对比鲜明的国家子集中，“最佳”预处理方法是否因数据集而异？（iii）结论如何依赖于综合反映准确性、稳健性和偏差的指标，即决定系数（R2）、均方根误差（RMSE）、性能与四分位距比（RPIQ）和平均偏差（MBD）？（iv）将全球校准适应国家使用（例如通过添加人工干扰数据）的实际意义是什么？

在这项研究中，我们旨在建立一个透明、无信息泄露的MIR-SOC预处理基准测试协议；使用多指标报告量化预处理对外部验证性能的影响；测试最佳预处理方法是否依赖于具体情境；并概述将全球模型本地化的实用途径。我们假设：（a）基于导数的方法（例如SG二阶导数）通常能改善校准效果，但并不总能最大化外部验证性能；（b）简单的标准化方法（SNV/MSC）在某些地区数据集中可能具有更好的泛化性能；（c）最佳预处理方法取决于具体情境和土壤/领域覆盖范围。我们使用一个公开可用、经过精心整理的全球MIR数据库以及三个对比鲜明的国家背景（中国、肯尼亚、印度尼西亚），在保持光谱窗口、化学计量模型和验证设计不变的情况下，比较了五种常用的预处理方法。通过在一个统一的工作流程中分离预处理效果，我们提供了可靠的SOC预测的实用、针对地区特点的指导，并为公平的方法比较提供了模板，该模板可以扩展到其他数据集、算法和传感配置（Viscarra Rossel和Lark，2009年；Viscarra Rossel和McBratney，1998年）。本文是两部分系列文章的第二部分；第一部分提供了指导实验设计的PRISMA引导的元分析（Li等人，2026年），两部分现已共同发表在《土壤与耕作研究》期刊上。

2. 材料与方法
2.1. 数据来源与选择
我们使用了公开可用的国际土壤参考与信息中心（ISRIC 2009，https://www.isric.org/explore/library）的数据来评估光谱预处理对SOC建模的有效性。该数据库包含来自56个国家的754个土壤剖面的4438个样本，每个样本都包含MIR漫反射光谱和元数据（纬度/经度、国家、剖面顶部/底部深度），以及由认证实验室测量的参考属性（Terhoeven-Urselmans等人，2010年）。对于本研究，我们保留了具有实验室测得SOC值的样本，共计3997个样本。所有样本均经过风干、研磨并筛分至≤2毫米，SOC值采用Walkley-Black方法测定（Heanes，1984年）。MIR漫反射光谱是在Bruker Tensor-27 FT-IR光谱仪上获取的（Shepherd和Walsh，2002年）。为了最小化样本内的变异，每个样本被分成四个重复样本进行扫描，每次扫描32次；扫描结果取平均值以减少颗粒大小和堆积差异的影响。除非另有说明，分析使用的是4000–600 cm?1的光谱窗口，并将光谱与实验室测得的SOC值进行配对（ISRIC，2009年）。

对于描述性土壤信息，此处分析的ISRIC数据包含3997条记录，所有记录的有机碳（OC）值均不缺失。在全球数据集中，OC的中位数为0.49%（IQR 0.97），pH(H?O)的中位数为5.90（IQR 2.2），粘粒的中位数为30.0%（IQR 32.0）。国家层面的统计数据显示：中国——OC 0.41%（IQR 0.65），pH 5.40（IQR 3.5），粘粒36.7%（IQR 17.7），样本数量245个；肯尼亚——OC 0.78%（IQR 1.32），pH 5.95（IQR 1.3），粘粒38.3%（IQR 42.9），样本数量239个；印度尼西亚——OC 1.01%（IQR 2.33），pH 5.40（IQR 1.2），粘粒34.9%（IQR 49.2），样本数量226个。由于该数据集中没有土壤分类字段，我们保守地将潜在的泥炭/高有机质样本标记为OC ≥ 12%（Hartoyo等人，2024年）；详细统计信息见表S1。我们保留这些记录以保持数据库的组成，但（i）根据SOC四分位数进行分层分割，以避免在校准或验证集中过度集中；（ii）报告它们的频率，以便读者评估潜在影响。要确定土壤类型，需要分类元数据，但这些数据在本次分析中不可用（Shepherd和Walsh，2002年）。请注意，描述性统计反映了具有完整OC值的记录，而建模统计则考虑了额外的光谱完整性和质量控制（QC）过滤（表S1）。在3997条具有实验室OC值的记录中，大多数为矿物土壤，高有机质样本的比例非常低（全球0.62%；中国0%；肯尼亚0.87%；印度尼西亚0.86%）。鉴于这一比例较低，以及我们按SOC四分位数进行的分层80/20验证，潜在泥炭对整体性能指标的影响预计有限。因此，我们主要关注同一领域内的比较，并报告MBD和准确性指标，以评估高SOC值端的任何残余效应。

对于建模，我们分析了全球数据集（3997个样本）和三个最大的国家子集（中国262个样本；肯尼亚245个样本；印度尼西亚236个样本），同时限制了具有完整光谱和符合先前研究的质量控制标准的记录。在相同条件下（相同的光谱窗口、模型类别和验证设计），比较了五种常用的预处理方法：不进行任何预处理、SNV校正、MSC平滑处理和SGD。SG/SGD的超参数（窗口7–31个点；多项式阶数2–3）通过网格搜索确定；SGD使用二阶导数，并根据SG窗口进行可选的平滑处理。图1展示了这些处理方法对代表性MIR光谱的定性影响。

2.2. 建模
我们使用分组、分层的K折方案在相同领域内（全球到全球；国家到国家）评估模型，其中每个外部折叠保留了约20%的数据用于验证（即每个折叠约80%的训练数据/20%的验证数据）。分层依据SOC四分位数（以及可用的土壤类型），并且来自同一地点/深度的重复样本被保留在同一折叠中以防止信息泄露（Viscarra Rossel等人，2024年）。MIR光谱窗口固定为4000–600 cm?1（Li等人，2023年）。所有预处理方法都应用于校准和验证数据：在交叉验证过程中，每个折叠都会重新拟合模型，并将其应用于该折叠的评估部分；保留的验证集使用从完整校准数据中学习到的参数进行转换（Li等人，2023年）。模型采用均值中心化的偏最小二乘回归（PLSR）。潜在变量的数量通过重复10次10折交叉验证（5次重复）进行调整（Li等人，2023年），选择误差在最小RMSECV一个标准误差范围内的模型，然后在完整的80%校准数据上重新拟合，并在20%的外部验证数据上评估模型性能。使用配对的Wilcoxon符号秩检验（主要针对RMSE和RPIQ）在匹配的分割数据上比较预处理方法。性能评估基于四个指标：RMSE（数值越小越好）；R2（数值越高越好）；MBD（平均预测值与观测值之差）；以及性能与四分位距比（RPIQ，IQR/RMSE，数值越高表示相对于数据中心分布的误差越小）。

需要澄清的是，所有模型都是在同一领域内进行训练和评估的。本研究中的所有模型都是在相同领域内（全球到全球；国家到国家）进行训练和评估的，以隔离预处理的效果。有意不将单一的全球校准应用于国家子集（并通过添加人工干扰数据/迁移学习进行适应），因为迁移性能取决于其他设计选择——例如，人工干扰数据的选择策略、干扰数据的大小、增强方式与替换方式以及偏差校正——这些因素都可能显著影响结果。包括这些步骤将会混淆归因问题，使得难以区分性能差异是源于预处理还是源于迁移/适应决策。因此，我们转而讨论从全局到国家层面的部署影响（包括峰值处理），作为基于证据的推荐和未来工作的方向，同时保持实证基准的重点放在预处理上（Viscarra Rossel等人，2024年；Dangal等人，2019年）。

3. 结果
3.1. 预处理后的光谱数据
图1展示了五种预处理方法对中国子集（单个土壤样本）中代表性MIR光谱的定性影响。原始光谱显示出明显的噪声和基线漂移。SNV减少了乘法散布和基线偏移，同时保留了关键光谱带。MSC进一步校正了多重散射效应，得到了更平滑、更一致的基线。SG平滑处理减弱了高频噪声，同时对光谱带形状的扭曲最小。SGD增强了细微特征（例如，弱的羧基/羟基带）并提高了光谱带分辨率；由于导数进行了强度重缩放，SGD的结果绘制在第二个y轴上。这些例子展示了预处理如何在建模前改变信号特性。

3.2. 使用全局数据集构建的统计/预测模型
在相同的处理流程下（MIR 4000–600 cm?1；PLSR；80/20外部验证分割），SGD取得了最强的外部验证性能（R2 = 0.789；RMSE = 1.559%；RPIQ = 0.568；MBD = ?0.096；11个潜在变量）。其他选项在外部验证集上的排名较低：SNV（R2 = 0.715；RMSE = 1.812%；RPIQ = 0.488），MSC（R2 = 0.676；RMSE = 1.931%；RPIQ = 0.458），以及无预处理/SG（R2 = 0.626；RMSE = 2.077%；RPIQ = 0.426）。校准总结遵循相同的顺序（表1），观察值与预测值的散布（图3a）反映了SGD更紧密的外部验证拟合。报告的指标反映了在相同处理流程下的领域内性能；它们不应被解释为跨领域的迁移结果。在验证集上，无预处理/SG的偏差（MBD）很小（约+0.006），SNV和MSC的偏差也较小（分别为–0.028和–0.009），而SGD显示出较大的负偏差（MBD = –0.096），表明其预测值普遍低于实际值（表1，图2a）。

表1. 在全球、中国、肯尼亚和印度尼西亚数据集上进行的预处理实验的校准和验证统计。全球、中国、肯尼亚和印度尼西亚数据集中预处理方法的领域内校准和外部验证统计（PLSR；MIR 4000–600 cm?1；组k折80/20外部验证分割）。对于每个国家，我们列出了预处理技术（第2列）、为回归模型选择的最佳因子数量（第3列），以及校准（第4-7列）和验证统计（第8-11列）。我们评估了四个指标：均方根误差（RMSE）、决定系数（R2）、平均偏差（MBD）和性能与四分位距比（RPIQ），以了解每种方法在数据拟合和预测准确性方面的有效性。绿色突出显示的列表示在不同国家中校准和验证数据集上的最佳指标。

下载：下载高分辨率图像（531KB）
下载：下载全尺寸图像
下载：下载高分辨率图像（523KB）
下载：下载全尺寸图像

图2. 全局数据集的模型性能（a）；中国数据集的模型结果（b），肯尼亚数据集的模型结果（c）；印度尼西亚数据集的模型结果（d）。该图显示了不同预处理技术的累积指标：左上角的均方根误差（RMSE），右上角的决定系数（R2），左下角的平均偏差（MBD），以及右下角的性能与四分位距比（RPIQ）。每个图表堆叠了校准和验证结果，以展示模型构建过程中不同阶段的性能。预处理技术沿X轴列出。

3.3. 使用中国数据集构建的预测模型
对于中国（n = 262），SNV产生了最佳的外部验证指标（R2 = 0.878；RMSE = 0.253%；RPIQ = 3.119；MBD = ?0.024；6个潜在变量），紧随其后的是MSC（R2 = 0.875；RMSE = 0.257%；RPIQ = 3.075）。在校准方面，SGD的RMSE最低（0.265%），R2最高（0.882；4个潜在变量），但其验证性能较弱（R2 = 0.856；RMSE = 0.282%；RPIQ = 2.803）。图3b显示了SNV在验证集上1:1线上的最高密度。各种方法的验证偏差都很小；MSC最接近零（MBD = –0.004），其次是SNV（–0.024），而SGD显示出稍大的负偏差（–0.026）（表1，图2b）。

下载：下载高分辨率图像（499KB）
下载：下载全尺寸图像

图3. 构建的回归模型用于预测来自全球（a）、中国（b）、肯尼亚（c）和印度尼西亚（d）数据集的土壤有机碳浓度。图例中指出了预处理技术。蓝色圆圈代表校准数据，红色圆圈代表验证数据集。模型统计信息在每个图的插图中总结。RemScan是指在参考研究中使用的便携式中红外（MIR）土壤光谱仪。插图显示了低至中等SOC范围（0–20%）的放大视图，突出了大多数样本集中的模型行为。SOC > 20%的样本较为稀少，因此没有进行定量解释。

3.4. 使用肯尼亚数据集构建的预测模型
对于肯尼亚（n = 245），SNV再次获得了最佳的验证性能（R2 = 0.924；RMSE = 0.713%；RPIQ = 2.455；MBD = 0.077；6个潜在变量）。无预处理、SG和MSC的表现相似，但略弱（R2 ≈ 0.919–0.920；RMSE ≈ 0.725–0.733%；RPIQ ≈ 2.389–2.413%）（表1，图2c）。SGD在外部验证中的效果最差（R2 = 0.803；RMSE = 1.300%；RPIQ = 1.346）。所有方法都表现出正的验证偏差；SNV的偏差最低（MBD = +0.077），相比之下MSC为+0.131，无预处理/SG为+0.154，SGD最高为+0.209。这些模式在图3c中很明显。

3.5. 使用印度尼西亚数据集构建的预测模型
对于印度尼西亚（n = 236），MSC取得了最佳的验证结果（R2 = 0.876；RMSE = 0.849%；RPIQ = 3.384；MBD = ?0.018；13个潜在变量）。SNV排名第二（R2 = 0.874；RMSE = 0.893%；RPIQ = 3.218）。尽管SGD的校准拟合最强（RMSE = 0.943%；R2 = 0.903；14个潜在变量），但其验证性能较低（R2 = 0.767；RMSE = 1.148%；RPIQ = 2.501）（表1，图2d）。图3d反映了这些验证集之间的差异。MSC的验证偏差接近零（MBD = –0.018），SNV的偏差也很小（–0.031）；无预处理/SG也接近零（+0.018），而SGD的偏差更为负（–0.102）。

3.6. 在最佳预处理下的观察值-预测值性能
在不同数据集中，使用相同的建模流程时，不同的预处理选项获得了最佳的验证性能。SGD在全球数据集上表现最佳（图3a）；SNV在中国和肯尼亚的数据集上表现最好（图3b–c）；MSC在印度尼西亚的数据集上表现最佳（图3d）。表1中的校准总结显示，SGD最小化了全球和印度尼西亚数据集的校准RMSE，而SNV在中国和肯尼亚的数据集上排名最高；图3中的观察值-预测值散布与这些验证集统计结果一致。在不同数据集中，偏差项（MBD）随预处理而变化，最佳区域选项的MBD接近零（例如，肯尼亚的SNV，印度尼西亚的MSC），而全球数据集上的SGD的MBD更为负，这强调了报告RMSE/R2以及RPIQ和MBD的必要性。

4. 讨论
4.1. 全局模型：为什么SG-导数表现最佳
在异构的全球数据集中，SGD产生了最强的验证性能。从机制上讲这是合理的，因为导数减少了低频基线和散布效应，增强了狭窄的有机和矿物光谱带，并减少了由样品堆积、表面接触和仪器漂移引起的伪影（Gautam等人，2015年）。在土壤、仪器和制备协议多样的集合中，强调精细的光谱结构可以提高化学上有意义特征的信噪比，并稳定PLSR的载荷，这与报告一致，即经过预处理以减少散布的MIR特征具有高度区分性（Dorantes等人，2022年）。一致的负MBD表明在较高SOC尾部存在低估的趋势，如图3所示。三个因素可能导致了这种效应：（i）导数压缩了动态范围，并可能减弱与高有机碳含量相关的宽吸收；（ii）校准分布不平衡（全球数据集通常包含许多矿物土壤和较少的高SOC浓度样本），这可能使回归向中间值偏移；（iii）参考方法和矩阵相互作用（例如，Walkley–Black部分回收）可能与MIR特征相互作用，这些相互作用无法被有限数量的潜在变量完全捕捉（Tian等人，2026年）。实际上，简单的事后偏差校正或对高SOC样本进行有针对性的峰值处理是一种有效的补救措施（Minich，2025年）。

4.2. 中国：SNV最稳健，而SGD在校准上过拟合
在中国子集中，SNV的泛化能力最强，而尽管SGD的校准拟合优秀，但在验证集上的表现不佳。SGD在验证期间的性能仍然很强，除了模型偏差外，在所有指标上都优于其他方法。这可能是由于模型过于复杂，即过拟合，可能会捕捉到噪声而不是潜在的模式。这个子集的两个特征有助于解释这一现象。首先，较窄的SOC范围和更均匀的矿物学特性减少了特征锐化的边际效益；在这种情况下，导数可能会放大高频噪声和小的不对齐，而不会揭示新的区分性结构（Liu等人，2023年；Yu等人，2017年）。其次，由于覆盖范围相对紧凑，调整仍然可以产生一个乐观的有效模型复杂性（潜在变量和导数超参数），但这不会转移到外部分布中（Deiss等人，2020年；He等人，2025年）。SNV的每光谱归一化主要稳定了由颗粒大小和堆积引起的乘法散布，同时保留了核心化学成分，这在校准覆盖范围有限时倾向于提高可转移性（Matějka等人，2014年；Yan，2025年）。这与报告一致，即在领域偏移较小和样本量适中的情况下，“简单”的归一化通常比更激进的转换表现更好（Semella等人，2022年）。

4.3. 肯尼亚：SNV有小但一致的优势；SGD在外部表现最弱
对于肯尼亚数据集，前四种预处理选项的表现接近，SNV在校准数据集上的表现略好，而SGD在验证集上的表现明显最弱。当变异性主要由乘法散布（颗粒大小和堆积）主导，并且化学信号已经被校准集很好地捕捉时，这种特征是典型的。在这种情况下，导数处理可能增加噪声和对齐误差的敏感性（Lasch，2012年）。SNV的简单性——没有参考光谱，没有全局均值依赖性，没有平滑窗口——也减少了调整校准特性的超参数调整范围（Grisanti等人，2018年；Jia和Koidis，2024年）。

4.4. 印度尼西亚：MSC校正基线/尺度漂移；SGD过拟合
印度尼西亚数据集显示了最明显的分歧：MSC取得了最佳的验证指标，表现出明显的校准-验证差异，即校准性能强但外部验证准确性显著下降，表明过拟合和可转移性差（Wang等人，2026年）。MSC同时去除了相对于参考值的加性和乘法成分，这在光谱因堆积密度、纹理或微妙仪器漂移而在基线和尺度上不同时是有利的（Afseth和Kohler，2012年；Lai等人，2025年）。当SOC信号存在但部分被斜率/基线效应掩盖时，MSC可以恢复稳定的PLSR方向，从而具有通用性，而导数可能会放大国家特定的伪影和噪声（Silvero等人，2023年）。

4.5. 对实践和部署的跨领域启示
在共同的、无泄漏的处理流程下，没有单一的“最佳”预处理方法；最佳选择显然是数据集特定的：对于异构的全球数据集，SGD是最优的；对于更加均匀、区域受限的中国和肯尼亚数据集，SNV是最优的；对于受碳酸盐影响的印度尼西亚数据集，MSC是最优的。表1中的校准总结显示，SGD最小化了全球和印度尼西亚数据集的校准RMSE，而SNV在中国和肯尼亚的数据集上排名最高；图3中的观察值-预测值散布与这些验证集统计结果一致。在不同数据集中，偏差项（MBD）随预处理而变化，最佳区域选项的MBD接近零（例如，肯尼亚的SNV，印度尼西亚的MSC），而全球数据集上的SGD的MBD更为负，这强调了报告RMSE/R2以及RPIQ和MBD的必要性。

4. 讨论
4.1. 全局模型：为什么SG-导数表现最佳
在异构的全球数据集中，SGD产生了最强的验证性能。从机制上讲这是合理的，因为导数减少了低频基线和散布效应，增强了狭窄的有机和矿物光谱带，并减少了由样品堆积、表面接触和仪器漂移引起的伪影（Gautam等人，2015年）。在土壤、仪器和制备协议多样的集合中，强调精细的光谱结构可以提高化学上有意义特征的信噪比，并稳定PLSR的载荷，这与报告一致，即经过预处理的MIR特征具有高度区分性（Dorantes等人，2022年）。一致的负MBD表明在较高SOC尾部存在低估的趋势，如图3所示。三个因素可能导致了这种效应：（i）导数压缩了动态范围，并可能减弱与高有机碳含量相关的宽吸收；（ii）校准分布不平衡（全球数据集通常包含许多矿物土壤和较少的高SOC浓度样本），这可能使回归向中间值偏移；（iii）参考方法和矩阵相互作用（例如，Walkley–Black部分回收）可能与MIR特征相互作用，这些相互作用无法被有限数量的潜在变量完全捕捉（Tian等人，2026年）。实际上，简单的事后偏差校正或对高SOC样本进行有针对性的峰值处理是一种有效的补救措施（Minich，2025年）。

4.2. 中国：SNV最稳健，而SGD在校准上过拟合
在中国子集中，SNV的泛化能力最强，而尽管SGD的校准拟合优秀，但在验证集上的表现不佳。SGD方法在验证期间的性能保持强劲，在所有指标上都优于其他方法，除了模型偏差。这可能是由于模型过于复杂，即过拟合，可能会捕捉到噪声而不是潜在的模式。这个子集的两个特征有助于解释这一现象。首先，较窄的SOC范围和更均匀的矿物学特性减少了特征锐化的边际效益；在这种情况下，导数可能会放大高频噪声和小的不对齐，而不会揭示新的区分性结构（Liu等人，2023年；Yu等人，2017年）。其次，由于覆盖范围相对紧凑，调整仍然可以产生一个乐观的有效模型复杂性（潜在变量和导数超参数），但这不会转移到外部分布中（Deiss等人，2020年；He等人，2025年）。SNV的每光谱归一化主要稳定了由颗粒大小和堆积引起的乘法散布，同时保留了核心化学成分，这在校准覆盖范围有限时倾向于提高可转移性（Matějka等人，2014年；Yan，2025年）。这与报告一致，即在领域偏移较小和样本量适中的情况下，“简单”的归一化通常比更激进的转换表现更好（Semella等人，2022年）。

4.3. 肯尼亚：SNV有小但一致的优势；SGD在外部表现最弱
对于肯尼亚数据集，前四种预处理选项的表现接近，SNV在校准数据集上的表现略好，而SGD在验证集上的表现明显最弱。当变异性主要由乘法散布（颗粒大小和堆积）主导，并且化学信号已经被校准集很好地捕捉时，这种特征是典型的。在这种情况下，导数处理可能增加的化学对比度很小，但增加了对噪声和对齐误差的敏感性（Lasch，2012年）。SNV的简单性——没有参考光谱，没有全局均值依赖性，没有平滑窗口——也减少了调整校准特性的超参数调整范围（Grisanti等人，2018年；Jia和Koidis，2024年）。

4.4. 印度尼西亚：MSC校正基线/尺度漂移；SGD过拟合
印度尼西亚数据集显示了最明显的分歧：MSC取得了最佳的验证指标，表现出明显的校准-验证差异，即校准性能强但外部验证准确性显著下降，表明过拟合和可转移性差（Wang等人，2026年）。MSC共同去除了相对于参考值的加性和乘法成分，这在光谱因堆积密度、纹理或微妙仪器漂移而在基线和尺度上不同时是有利的（Afseth和Kohler，2012年；Lai等人，2025年）。当SOC信号存在但部分被斜率/基线效应掩盖时，MSC可以恢复稳定的PLSR方向，从而具有通用性，而导数可能会放大国家特定的伪影和噪声（Silvero等人，2023年）。

4.5. 对实践和部署的跨领域启示
在共同的、无泄漏的处理流程下，没有单一的“最佳”预处理方法；最佳选择显然是数据集特定的：对于异构的全球数据集，SGD是最优的；对于更加均匀、区域受限的中国和肯尼亚数据集，SNV是最优的；对于受碳酸盐影响的印度尼西亚数据集，MSC是最优的。这种模式调和了文献中看似矛盾的报道，表明转换的有效性取决于领域特性，如光谱和土壤学异质性、乘法散布的主导性以及校准覆盖范围（Bellon-Maurel和McBratney，2011年；Semella等人，2022年；Soriano-Disla等人，2014年；Vohland等人，2022年）。同样重要的是，应该验证模型的部署方式：外部、无泄漏的评估可以推翻仅从校准或内部交叉验证得出的结论。在校准中表现优越的方法（例如，在几个子集中SGD）可能在校准覆盖范围不匹配目标领域时不具备通用性（Gamagedara等人，2024年；Qiao等人，2025年；Sasse等人，2025年；Walden等人，2024年）。因为准确性和稳健性是多维的，实践者应该报告多个指标：RMSE和R2用于拟合评估，RPIQ用于将误差与数据变异性进行上下文化，MBD用于监控系统偏差，认识到拟合的改进可能与偏差的恶化同时发生。在将全球校准方法应用于国家层面时，通过使用少量分层的国家样本进行轻微的重新校准或事后偏差校正，通常可以缩小大部分性能差距（Dangal等人，2019年；Janik等人，2009年；Sanderman等人，2020年）。最后，采用一种简约优先的策略：对于区域/国家模型，首先使用SNV或MSC方法；对于大型、异构的数据库，则升级到SGD方法；然后明确检查偏差和残差结构，如有需要，通过添加尖峰数据或简单的偏差校正进行调整。这些实际考虑因素自然也适用于从全球到国家层面的模型迁移，在这种情况下，校准覆盖范围和偏差变得至关重要。尽管我们在这里没有测试尖峰数据的方法，但先前的MIR研究表明，在全球校准中加入少量分层的国家样本（约2-5%）通常可以显著提高验证准确性，并且在超过约10-20%的添加量后，效益会逐渐减少（Dangal等人，2019年；Janik等人，2009年）。我们自己的结果也支持这一机制，表明预处理和添加尖峰数据是互补的手段（Barthès等人，2020年；?elazny和?imon，2022年），首先使用适合该地区的标准化方法（例如SNV/MSC）稳定光谱，然后通过使用少量具有代表性的国家子集将校准结果锚定到目标领域进行部署。我们没有进行从全球到国家的尖峰数据迁移测试，因为迁移性能取决于尖峰数据的选择策略（随机选择与Kennard–Stone方法）、尖峰数据的大小（1-20%）以及数据增强方式（替换或添加），所有这些因素都可能显著改变结果，从而掩盖了本研究的主要目的（预处理）（Angelopoulou等人，2020年）。

4.6. 泥炭/高有机质土壤和MIR光谱
泥炭和其他高有机质土壤表现出强烈的MIR吸收特性，这与脂肪族和芳香族C–H、CO和O–H官能团有关，并且与矿物土壤相比，在颗粒堆积和水分吸附方面可能存在差异（MohammedZein，2024年；Obeng等人，2023年）。这些因素可能会改变基线/散点图和光谱带形状，如果校准覆盖范围较窄，可能会在高有机质含量（SOC）情况下增加建模偏差（Heller等人，2015年）。在我们的ISRIC提取数据中，所有领域中标记为高有机质样本的比例均低于1%，这限制了它们对总体指标的影响；尽管如此，在全球模型中观察到的轻微但持续的负偏差与高SOC范围内的代表性不足以及Walkley–Black参考方法对某些SOC组分的回收率偏低是一致的。在泥炭或Histosols土壤占主导的情况下（Kolka等人，2016年），我们建议进行明确的分层处理或单独校准，以及/或者添加少量具有代表性的高SOC国家样本以稳定模型迁移并校正偏差。这些建议与先前的MIR研究结果一致，这些研究表明领域覆盖范围和参考方法对有机质丰富材料中的SOC预测和偏差有影响（Helfenstein等人，2021年）。

4.7. 局限性和展望
我们的设计有意将光谱预处理过程与PLSR建模引擎分开，保持MIR窗口和验证设计不变，并比较了五种广泛使用的预处理方法；然而，预处理方法与算法之间可能存在相互作用（例如，某些预处理方法可能有助于线性模型，但对基于树结构或深度学习的方法可能中性或有害）。未来的工作应该将这种无泄漏的协议应用于主成分回归（PCR）、支持向量机（SVM）、随机森林（RF）、Cubist模型、基于记忆的学习（MBL）、高斯过程回归（GPR）和人工神经网络（ANN）以及卷积神经网络（CNN），以量化不同学习方法如何影响预处理的效果。虽然我们控制了关键要素（窗口大小、学习器类型、数据分割策略），但不同研究之间在仪器、光学设置和准备细节上的差异仍可能是潜在的混淆因素。因此，我们的发现应在其他条件相同的情况下被视为分布关联，而不是因果关系。空间分块的验证方法和明确的研究级随机效应可以进一步增强模型的泛化能力。关于参考数据，ISRIC库中的SOC值来源于Walkley–Black方法，该方法不仅已知会低估某些有机碳组分，还存在土壤类型依赖性的回收率问题，以及对经验校正因子的依赖。再加上SOC分布不平衡（高SOC样本较少），这些因素可能导致观察到的全球性负偏差（De Vos等人，2007年；El Mouridi等人，2023年；Wotherspoon等人，2015年）。采用替代的参考方法（如Dumas干燃烧法）并设计更加平衡的校准方法将有助于改善这一问题。我们探索了SG/SGD超参数的实际范围（窗口大小7-31，多项式阶数2-3）。更广泛的预处理方法家族，如去趋势MSC组合、基于小波的去噪技术、连续谱去除和不对称最小二乘基线，也值得在相同的外部验证框架下进行评估。此外，这里的所有光谱数据均来自空气干燥后的≤2毫米厚的土壤样本；我们没有改变土壤的湿度或研磨程度，因此在田间湿度条件下的MIR性能仍是一个未解决的问题（Li等人，2026年；Shang等人，2026年）。总体而言，这些局限性指明了下一步的研究方向：扩展预处理流程以涵盖更多学习器和预处理方法，纳入平衡且方法多样的参考数据，并测试其在实际条件下的迁移能力，同时保持严格的控制以防止信息泄露。

本研究仅在一个固定的学习器（PLSR）下对预处理效果进行了基准测试。我们没有评估从全球到区域的迁移效果或添加尖峰数据的方法，尽管这些方法有望提高模型的可移植性，但也会引入额外的混淆因素。未来的工作应该在同一无泄漏协议下，对主成分回归（PCR）、支持向量机（SVM）、随机森林（RF）、Cubist模型、基于记忆的学习（MBL）、高斯过程回归（GPR）和人工神经网络（ANN）以及卷积神经网络（CNN）中的预处理和算法交互作用进行量化。尽管我们控制了关键因素（窗口大小、学习器类型、数据分割策略），但不同研究之间在仪器、光学设置和准备细节上的差异仍可能是潜在的混淆因素。因此，我们的发现应被视为在其他条件相同的情况下的关联关系，而不是因果关系。空间分块的验证方法和明确的研究级随机效应可以进一步增强模型的泛化能力。关于参考数据，ISRIC库中的SOC值来源于Walkley–Black方法，该方法不仅会低估某些有机碳组分，还存在土壤类型依赖性的回收率问题，以及对抵抗性有机物的氧化不完全的问题，还需要依赖经验校正因子。再加上SOC分布不平衡（高SOC样本较少），这些因素可能导致观察到的全球性负偏差（De Vos等人，2007年；El Mouridi等人，2023年；Wotherspoon等人，2015年）。采用替代的参考方法（如Dumas干燃烧法）并设计更加平衡的校准方法将有助于改善这一问题。我们探索了实用的SG/SGD超参数组合（窗口大小7-31，多项式阶数2-3）。更广泛的预处理方法家族，如去趋势MSC组合、基于小波的去噪技术、连续谱去除和不对称最小二乘基线，也值得在相同的外部验证框架下进行评估。最后，这里的所有光谱数据均来自空气干燥后的土壤样本；我们没有改变土壤的湿度或研磨程度，因此在田间湿度条件下的MIR性能仍是一个未解决的问题（Li等人，2026年；Shang等人，2026年）。总的来说，这些局限性指明了下一步的研究方向：扩展预处理流程以涵盖更多学习器和预处理方法，纳入平衡且方法多样的参考数据，并测试其在实际条件下的迁移能力，同时保持严格的控制以防止信息泄露。

本研究仅在一个固定的学习器（PLSR）下对预处理效果进行了基准测试。我们没有评估从全球到区域的迁移效果或添加尖峰数据的方法，尽管这些方法有望提高模型的可移植性，但也会引入额外的混淆因素。未来的工作应该在同一无泄漏协议下量化预处理方法与算法和添加尖峰数据之间的相互作用。此外，由于缺乏土壤分类信息，我们通过OC≥12%的标准标记了潜在的泥炭/高有机质样本，但它们的比例非常小，且无法单独分析泥炭特有的行为。虽然PLSR在约100个同质样本的情况下表现良好，但我们的分组分层设计降低了每个层次的有效样本数量，从而限制了外部RMSE/R2和偏差估计在分布尾部的精度（dos Santos等人，2020年；Kanwal等人，2021年）。未来的工作应该：（i）基于现有的MIR与地球观测数据融合方法（例如Ji等人，2017年；Leenen等人，2022年），通过空间交叉验证和领域适应性设计系统地评估其鲁棒性（Jia等人，2026年；Jia等人，2026年），特别是针对跨区域和传感器平台的迁移；（ii）严格评估便携式MIR（ATR与漫反射）方法的性能，包括明确的水分处理和跨仪器迁移标准；（iii）制定样本准备、光谱窗口/分辨率和预处理的社区标准操作程序（SOPs），并配合无泄漏的保留样本验证和实验室间的交叉验证；（iv）评估先进的机器学习方法和领域适应性方法（例如深度学习/表示学习或迁移学习），并对其进行正式的不确定性和偏差校准（Padarian等人，2019a；Padarian等人，2019b；Wu等人，2026年）；（v）将“添加尖峰数据”的方法应用于将全球校准方法适应国家层面（Viscarra Rossel等人，2024年）。

5. 结论
本研究提供了一个受控的、无泄漏的基准测试，比较了五种广泛使用的MIR基SOC建模预处理方法在大型全球数据集和三个国家子集上的效果。没有一种“最佳”预处理方法脱颖而出：SGD在异构的全球数据集上提供了最强的验证性能，而SNV在中国和肯尼亚的表现最佳，MSC在印度尼西亚则最为合适。这些结果表明，预处理的效果取决于具体领域，反映了不同领域的异质性、散点结构以及校准覆盖范围的差异。这些结果还强调了仅通过校准或内部交叉验证得出的结论可能是误导性的，而没有进行无泄漏的验证和多指标报告（RMSE、R2、RPIQ、MBD）来同时量化准确性、鲁棒性和偏差是必要的。从实际应用的角度来看，我们建议采用简约优先的工作流程：对于区域或国家模型，首先使用SNV或MSC；对于大型、异构的数据库，评估SGD方法，但需明确检查残差结构和偏差。在所有情况下，使用无泄漏的验证分割方法并报告多个指标。在将全球校准方法应用于国家层面时，先前的研究表明，使用少量分层的国家样本进行轻微的重新校准或事后偏差校正可以帮助恢复性能；然而，这种方法在本研究中没有得到验证，因此仅作为未来研究的一个潜在方向提出，而不是研究结果。这些指导原则直接适用于国家规模的土壤监测和碳计量（MRV）系统，其中透明的验证和记录的不确定性是必须的。

未来的工作可以探索基于机器学习的方法，将实验室MIR数据与地球观测数据融合，并使用考虑水分影响的预处理方法和常规偏差校正来评估便携式MIR方法的有效性，正如最近的研究所建议的，而不是在本分析中测试的那样。无论采用何种建模方法，都应通过开放的基准测试和公开的分割方法，从数据准备到获取再到预处理，最终到无泄漏的验证，来标准化整个流程。除了PLSR之外，还应进一步研究预处理方法与RF/SVM/GPR/Cubist、表示学习和领域适应性之间的相互作用。最后，测试实地迁移能力和替代的参考方法，以提高模型的鲁棒性，并提供可扩展、可靠的SOC计量结果。这些进步有助于改善土壤管理实践，并为气候变化缓解策略做出贡献。

**作者贡献声明**
Anquan Xia：负责验证工作。
Jinran Wu：负责写作、审稿与编辑工作。
Sean Manning：负责写作、审稿与编辑工作，以及软件、资源、方法论和调查方面的工作。
Peng Fu：负责写作、审稿与编辑工作，以及验证、方法论和调查方面的工作。
Vilim Filipovi?：负责写作、审稿与编辑工作，以及验证方面的工作。
Georgios Tsiminis：负责写作、审稿与编辑工作。
Qingyang Liu：负责写作、审稿与编辑工作。
Deeksha Beniwal：负责写作、审稿与编辑工作，以及可视化、软件、方法论、正式分析和数据管理方面的工作。
Ram C. Dalal：负责写作、审稿与编辑工作，以及验证、监督、调查和概念化方面的工作。
Yash P. Dang：负责写作、审稿与编辑工作，以及监督、资源管理、方法论、调查和资金获取、概念化方面的工作。
Tong Li：负责写作、审稿与编辑工作，以及原始草稿的撰写、验证、资金获取、正式分析和数据管理方面的工作。

**资金支持**
本研究得到了澳大利亚-中国关系国家基金会（NFACR240313号）和联邦工业、科学、能源与资源部（SCICDD00002号）的资助。