《Journal of Plant Nutrition and Soil Science》:Infrared Spectroscopic Predictions of Soil Properties for Agricultural Monitoring: Statistical and Soil Spectroscopic Considerations
编辑推荐:
背景:使用区域数据集的伪独立验证(pseudo-independent validation,PIV)在可见-近红外(vis–NIR)和中红外(MIR)光谱研究中较为常见,且能产生准确的预测结果,但仅适用于已知站点的区域尺度监测。然而,对于实际应用而言,采用真
背景:使用区域数据集的伪独立验证(pseudo-independent validation,PIV)在可见-近红外(vis–NIR)和中红外(MIR)光谱研究中较为常见,且能产生准确的预测结果,但仅适用于已知站点的区域尺度监测。然而,对于实际应用而言,采用真正独立验证(true independent validation,TIV)的站点特定评估至关重要。
目的:旨在比较来自五个农业试验站点的土壤在区域PIV与站点特定TIV两种验证方式下的结果差异。
方法:记录了360份土壤的vis–NIR和MIR光谱,并使用小样本(n=20)或大样本(n=52)的局部校准,或以其余站点作为光谱库(SSL)且不进行或进行spiking处理,对全碳(Ct)和全氮、有机碳、砂粒、黏粒、pH值和阳离子交换量进行了区域PIV和针对新站点的TIV回归计算。
结果:对于区域PIV,所有性质的最优预测(R2≥0.85)均可通过MIR或融合光谱结合支持向量机回归实现。对于站点特定TIV,预测精度因性质和站点而异,使用spiked SSL的MIR对Ct的预测显著优于小样本局部校准。然而,对于其他性质,spiked SSL相对于局部校准并未表现出优势。对于Ct,归一化均方根误差可指示哪些站点被spiked SSL较好地代表,但这些结果与土壤类型、母质、质地或光谱主成分的差异无关。
结论:区域PIV与站点特定TIV在目标和精度上存在显著差异。对于站点特定TIV,使用spiked SSL成功预测Ct并不一定可推广至其他性质。
论文解读
一、研究背景与问题
可见-近红外(vis–NIR)和中红外(MIR)光谱技术因成本低、扫描快,被视为传统土壤性质测定方法的快速替代方案。然而,近年研究表明,尽管许多研究报道了较高的决定系数(R2),但这些精度评估多基于伪独立验证(PIV),即使用包含每个站点多个重复样本的区域数据集进行随机划分验证。这种验证方式仅适用于已包含在研究范围内站点的区域尺度持续监测,无法为实际中常见的新站点或特定试验场地的监测提供可靠依据。相比之下,站点特定真独立验证(TIV)需要将待预测站点的样本完全排除于训练集之外,更符合真实应用场景。然而,红外光谱文献中区域PIV研究占主导,其结论能否推广至站点特定TIV尚不清楚。此外,土壤性质预测精度受多种因素影响,包括土壤母质、矿物学、成土过程、土壤类型及土层深度等,而现有研究对此关注不足。因此,有必要系统比较区域PIV与站点特定TIV的预测性能,并评估不同训练策略(局部校准、土壤光谱库及其与spiking结合)对提高新站点预测精度的有效性。
二、研究目标与试验设计
研究人员选取德国五个长期农业试验站点(Bad Lauchst?dt [BL]、Friemar [FM]、Lüttewitz [LW]、Müncheberg [MB]和Zschortau [ZS]),共采集360份土壤样本。站点选择策略性地考虑了土壤母质(MB为冰碛物,其余为黄土)、土壤类型(BL为黑钙土、FM为黑土、MB/LW/ZS为淋溶土)、质地(MB为砂壤土、FM为粉砂黏壤土、BL/LW/ZS为粉砂壤土)以及长期管理措施(施肥或耕作处理),确保每个站点至少与另一个站点存在共同特征。研究测定了全碳(Ct)、全氮(Nt)、土壤有机碳(SOC)、砂粒、黏粒、pH值和阳离子交换量(CEC)七种土壤性质,并采集了vis–NIR(400–2500 nm)和MIR(370–7000 cm?1)光谱,采用光谱拼接和外积分析(OPA)进行数据融合。
三、主要技术方法
研究采用了四种训练策略:(I)区域PIV,将全部五个站点随机划分为训练集(n=288)和验证集(n=52);(IIa)站点特定TIV,使用每个站点20个样本进行小样本局部校准,其余52个样本验证;(IIb)与IIa相同但校准和验证样本互换,即大样本(n=52)局部校准;(III)留一站点验证,使用其余四个站点共288个样本作为土壤光谱库(SSL)预测目标站点;(IV)在策略III的基础上,从验证集中随机选取20个样本以10倍权重加入训练集进行spiking。光谱建模采用偏最小二乘回归(PLSR)确定最优预处理参数,继而采用支持向量机回归(SVMR)建立预测模型,并以验证均方根误差(RMSEV)、R2和归一化RMSE(nRMSE)等指标评价模型性能。
四、研究结果
4.1 区域PIV的预测精度
采用随机划分的区域PIV策略(策略I),对于Ct、Nt、黏粒、砂粒和CEC,所有光谱来源组合使用SVMR均获得良好预测精度(R2≥0.85)。光谱拼接结合SVMR对所有性质和随机划分均稳定达到R2≥0.85。数据融合对Ct、Nt和CEC无增益,但对SOC、黏粒、砂粒和pH略有改善。最优预测(RMSEV最小)分别由MIR(Ct、Nt、CEC)、光谱拼接(SOC、黏粒)和OPA(砂粒、pH)实现。然而,PIV下砂粒和黏粒的预测模型主要学习了站点间差异而非站内变异,表现为估计值与实测值关系图中出现多个聚集簇,表明其“良好”精度具有误导性。
4.2 站点特定TIV:与小样本局部校准的比较
以MIR和SVMR建立的小样本局部校准(策略IIa)为基线,将其他训练策略的预测精度变化表示为ΔR2V和ΔRMSEV。结果显示,增大校准样本量(策略IIb)普遍提升精度,但存在个别站点例外。使用其余四站点作为SSL(策略III)的预测结果变异性大,总体劣于小样本局部校准。而使用spiked SSL(策略IV)仅需目标站点20个样本即可获得与策略IIb相当甚至更优的Ct预测精度,且对于Ct,策略IIb和IV显著优于策略IIa。然而,对于黏粒和砂粒,spiked SSL并未优于局部校准,且对砂粒的预测效果显著更差。
4.3 站点特定TIV:spiked SSL的有效性
对于Ct,使用MIR的spiked SSL预测获得稳健且良好的结果(R2V范围为0.89–0.96,nRMSEV范围为0.20–0.32)。nRMSEV值(与标准差相关系数ρ=0.00)表明ZS站点被spiked SSL代表得最好(nRMSE=0.20),其次为MB(0.27),而LW表现最差(0.32)。这一精度排序无法用土壤类型、母质、质地或光谱主成分差异解释。相比之下,vis–NIR对ZS站点的Ct预测很差,这与ZS在vis–NIR第二主成分上的双簇分布有关。SOC和Nt的差预测同样主要限于vis–NIR且集中于ZS站点。砂粒预测在所有站点、所有光谱来源下均失败(R2V=0.00);黏粒、pH和CEC的精度高度依赖站点,最优R2V范围分别为0.00–0.70、0.00–0.93和0.41–0.90。砂粒和黏粒预测失败的主要原因归结为不同站点颗粒组成与矿物学关系存在差异、站内值域范围远小于区域范围,以及SSL代表性不足。
五、讨论与结论
区域PIV虽然能够获得高R2V值,但其适用场景仅限于对既有站点的大区域持续监测,其预测机制无法外推到新站点,尤其是对砂粒和黏粒这类与站点特定矿物学密切相关的性质。站点特定TIV表明,spiked SSL可显著提高Ct的预测精度,效果与大样本局部校准相当,且成本更低;但对于其他土壤性质,这一优势并不成立。使用归一化RMSE比较不同站点预测精度时,Ct的nRMSEV不受值域范围影响,能够有效反映SSL的代表性,但该代表性差异无法通过常规土壤学知识或光谱主成分预先判断,凸显了观测性研究在增进机理认识方面的局限性,未来有必要设计随机受控的光谱学试验。研究强调,模型验证方式必须与实际应用场景的独立性程度相匹配,否则会高估模型的实际应用价值。