可见-近红外(VNIR)高光谱成像在油茶种植园土壤重金属预测中的性能极限:一项严格嵌套交叉验证基准

《Environments》:Performance Limits of VNIR Hyperspectral Imaging for Soil Heavy Metals in Camellia oleifera Plantations: A Strict Nested Cross-Validation Benchmark

【字体: 大 中 小 】 时间:2026年09月02日 来源:Environments 4.3

编辑推荐:

  可见–近红外(VNIR)高光谱成像被推崇为土壤重金属监测中替代电感耦合等离子体质谱(ICP-MS)的快速手段,但多数证据依赖于单次划分或非嵌套验证。研究人员针对浙江常山油茶(Camellia oleifera)种植园土壤(n=83;102个波段,约401–10

  
可见–近红外(VNIR)高光谱成像被推崇为土壤重金属监测中替代电感耦合等离子体质谱(ICP-MS)的快速手段,但多数证据依赖于单次划分或非嵌套验证。研究人员针对浙江常山油茶(Camellia oleifera)种植园土壤(n=83;102个波段,约401–1022 nm;51个建模指标)在严格嵌套交叉验证下基准测试VNIR预测能力,所有插补、缩放、预处理与模型选择均限定于各外层训练折内。研究得出四点发现。其一,当前协议下观测到的最高性能偏差比(RPD)均值为1.13,未达到本研究采用的经验性1.4解释基准,多数折级R2为负值。其二,带压缩激励注意力的1D-CNN较线性基线在10项指标中6项显著更差、无一项更优;非嵌套探索性分析中的增益在控泄漏评估下未持续。其三,将任务重定义为法规风险等级分类亦未恢复操作实用性:Cr和Zn的召回分别仅由2和1个超标样本支撑,无法估计群体筛查灵敏度。其四,基于全数据随机森林的探查性事后SHAP分析将24%的顶级波长归于铁氧化物或有机质参考带,高于5.9%的置换零均值(经验p=0.020,50次置换下最小可达值),该归因识别了可信光谱代理区,但非预测泛化性或因果性的独立证据。此外,22.9%样点超出GB 15618-2018砷风险筛选值。在该数据集与验证设计内,VNIR成像既不支持可靠定量预测,也不支持操作级筛查。
研究背景与问题提出
油茶(Camellia oleifera)是中国南方重要木本油料树种,浙江常山为地理标志产区,其产量与食品安全高度依赖亚热带红壤肥力与化学状态。该类土壤低pH伴生高游离铁氧化物,提升Pb、As、Cd、Hg生物有效性。传统ICP-MS精确但破坏性强、难以 plot 级推广;VNIR(~400–1000 nm)高光谱因非破坏、快速被寄望为补充手段。机理上重金属在VNIR无直接吸收,只能通过铁氧化物、有机质、pH间接共变推断。现有深度学习(1D-CNN带注意力、Transformer–CNN、CNN-LSTM、多任务学习)多在LUCAS等大样本(n>20000)表现良好,但在n<100、单区域、低方差的种植园场景缺乏严格评估;多数文献用单次划分或非嵌套交叉验证,使预处理与模型选择偏倚夸大性能;且实务端点是风险分级而非浓度回归,相关分类研究稀少。研究人员据此在《Environments》发表本研究,提供一套泄漏可控的严格嵌套交叉验证基准,厘清VNIR在小样本红壤场景的真实上限。
主要关键技术方法
研究人员于2026年4–5月浙江常山8年生油茶园采集83个0–20 cm表层复合土样(每点3子样合样),经风干过2 mm筛后部分再磨至100目,ICP-MS(Agilent 7900)获54项参考指标(QA/QC含空白、平行、GBW07404标准物,回收率90–110%)。VNIR反射率由实验室成像系统(SCI-VN100G,约401–1022 nm、102波段)采得,白板暗电流校正后逐样取ROI中位平均。建模前按CV<10%剔除近常量指标(pH、BD、Au),剩51指标,缺失值与低于检测限值用贝叶斯岭迭代插补(外层折内重拟合),偏度>1者做log10变换。严格嵌套协议为外层5重复×5折、内层2–3折选预处理(原始/SG/SNV/SG+SNV/SG+一阶导)×8模型(PLSR三变体/Ridge/ElasticNet/SVR-RBF/RF/XGBoost),1D-CNN-SE以5通道堆叠输入并在外层折内训练;波长选择(CARS/SPA/UVE/Random Frog/RF重要性)同样折内拟合;风险分类采用GB 15618-2018按pH分层阈值分三级,Hg因无超标样本排除;SHAP为全数据随机森林TreeSHAP事后探查,并以50次目标置换建零分布。
研究结果
3.1 土壤指标分布:83样pH 4.39–6.18(均5.12),SOM 8.19–92.5 g/kg;按pH分层阈值22.9%样点As≥40 mg/kg,15.7% Cd超标,证实产区砷富集需跟踪。
3.2 光谱与内在维度:PCA显示102波段前2主成分占97.8%方差,内在维数2–3;波段与焦点指标最大Spearman |ρ|=0.515(Ca@814 nm),Mo、Sb无任何波段|ρ|>0.30,预示间接共变主导。
3.3 严格嵌套回归性能:最高均RPD为Ba 1.127±0.231(PLSR n=3,SG+FD),As 1.068,SOM 1.037,Ca 1.021,均未达1.4;折级R2多负(?0.578至0.070),较非嵌套探索估计降0.10–0.15。
3.4 1D-CNN-SE对比:6/10指标显著劣于线性基线(Ba ΔRPD=?0.659,Ca ?0.647,Pb ?0.265,SOM ?0.240,As ?0.139,Li ?0.092),无一项显著优于;Ca、Ba折级R2降至?9.10与?10.7,表明小样本深度学习过拟合。
3.5 波长选择:Random Frog使SOM R2从0.244升至0.370(RPD 1.153→1.260),UVE将Pb R2从?0.590提至?0.026,但所有方法均未跨过RPD 1.4,仅降噪非破局。
3.6 风险分级分类:Cr(2超标样)平衡准确0.794、召回0.560,Zn(1超标样)0.973/0.700,但支持数过小不能推群体筛查;As(19超标)平衡准确0.463、κ 0.162,Cd 0.482/0.170,Cu 0.469/0.201,近三类随机水平;Mo/Sb/Sn分位数均衡分级κ≤0.106处随机;Pb准确率0.938但高危召回0.280,证明准确率不能代表筛查力。
3.7 探索性SHAP:全数据RF的Top5波长24%落于Fe3+ 440/530/870 nm及有机质550–770 nm带,置换零均值5.9%、95百分位12.0%,经验p=0.020;属模型利用机制带证据,非因果非泛化验证。
讨论与结论翻译
讨论指出严格嵌套较非嵌套降低约0.10–0.20 RPD,足以逆转“CNN有益”误读,与Cawley&Talbot及Vabalas等警示一致;间接Fe–OM耦合限定上限,SHAP+置换零分布可作小样本物理可信度检查但非预测检验;风险重分类未在n=83下 rescue 性能,Cr/Zn高分源于极小支持数,Pb高准确率伴低召回揭示筛查报告须列明超标样本数与平衡指标;局限含单县单作物、非空间分块、缺SWIR(>1400 nm)、焦点指标同数据集选定致条件乐观、CNN超参未内层调优因样本预算不足。
结论(译):在严格嵌套交叉验证(插补、缩放、预处理、模型选择均限外层训练折)下,常山油茶园VNIR基准得四结论——最高观测均RPD 1.13未达经验1.4且多数折R2非正;1D-CNN-SE无显著优于传统基线且6/10显著更差;法规风险分级未恢复操作效用(Cr/Zn召回仅由2/1超标样支撑);全数据RF事后SHAP归因24%顶级波长落Fe-OM机制带(p=0.020)但非因果非泛化证。该数据、波段与验证设计内VNIR不支持定量预测亦不支持操作筛查;另22.9%样点As超GB 15618-2018筛选值需靶向复采。未来应预指定指标、扩污染子集、比空间分块与随机嵌套、补基础土壤协变量。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号