基于全光谱嵌入的轻量化多层感知机用于土壤Vis-NIR光谱多属性同时预测

《Symmetry》：A Lightweight Full-Spectrum Embedding Model for Multi-Property Prediction from Soil Vis-NIR Spectra

　　

土壤可见—近红外（Vis-NIR）光谱能够快速、高通量地估算土壤理化属性，但复杂深度学习模型可能增加计算成本与可重复性负担。本研究开发了一种轻量化全光谱嵌入多层感知机（LSE-MLP），用于同时预测土壤pH、有机碳（OC）和全氮（N）。LSE-MLP将4200维光谱映射为紧凑的可学习表征，并采用残差MLP模块进行后续非线性回归。基于LUCAS2009数据集，LSE-MLP在POINT_ID分组交叉验证框架下与PLSR、SVR-RBF、1D-CNN、ResNet-1D和Transformer-1D进行比较。模型性能通过内部划分敏感性分析、消融实验、多随机种子分析及独立盲测集进行评估。在该测试集上，LSE-MLP对pH、OC和N的R²分别为0.9437、0.9519和0.9363。其计算效率主要体现在较低的浮点运算量（FLOPs）和较快的批处理CPU推理速度，而非最小的参数量或模型存储占用。补充实验表明，波段压缩可在有限性能损失下降低输入维度，而将冻结的LUCAS训练模型直接迁移至KSSL和AUT则出现显著性能退化，这与光谱及目标分布差异有关。总体而言，在所评估条件下，LSE-MLP为基于Vis-NIR光谱的土壤属性预测提供了一种实用且计算高效的方案，而可靠的跨数据集迁移仍需进一步研究。

研究背景方面，土壤pH、有机碳（OC）和全氮（N）是土壤质量评估、农业管理与生态功能研究中的关键指标。传统实验室分析虽可靠，但样品采集、制备与化学分析耗时且成本高，限制了大尺度调查与高频监测的数据获取效率。可见—近红外（Vis-NIR）光谱具有无损、快速、样品制备需求低且单次光谱可估算多属性的优势，适用于大批量样品分析，但预测性能仍取决于模型从光谱中识别有用信息的能力。散射效应与测量噪声会干扰光谱信号，样品异质性与光谱—属性间的非线性关系使建模复杂化，因此从高维连续光谱中提取稳定有用信息仍是土壤光谱建模的关键挑战。在土壤Vis-NIR建模中，偏最小二乘回归（PLSR）常作为高维光谱数据的线性基线，支持向量回归（SVR）利用核函数刻画非线性关系，多层感知机（MLP）通过全连接层学习非线性映射，一维卷积神经网络（1D-CNN）利用局部卷积提取相邻波长特征，混合卷积—循环网络、编码器—解码器架构及基于Transformer的模型也已被应用于土壤光谱建模。然而，模型复杂度提升未必带来与计算成本相称的预测增益。绿色人工智能讨论强调模型评估不仅应考虑预测精度，还应考虑资源消耗、可重复性与部署成本。对于大尺度土壤光谱数据，复杂深度模型通常带来更高计算开销，并对架构设计与超参数调优提出更高要求。同时，模型性能估计还受数据划分策略影响，由于土壤样品可能包含重复采样点、空间聚类与区域相似性，样本级随机划分可能将高度相似样品同时分配到训练集与测试集，导致过于乐观的性能估计。因此，土壤光谱预测模型的评估应同时考虑采样点级信息泄漏风险、数据划分策略、结果稳定性与计算效率。为此，研究人员开发了轻量化全光谱嵌入多层感知机（LSE-MLP），用于同时预测土壤pH、OC和N。该架构将完整4200维Vis-NIR光谱的可学习线性投影与在紧凑潜空间中运行的残差MLP模块相结合，其设计动机在于区分保留全部光谱变量访问能力与在低维表征上执行计算高效的非线性回归。与主要通过卷积提取局部光谱特征或通过自注意力建模特征交互的方法不同，LSE-MLP采用直接全光谱嵌入后接紧凑非线性特征精炼。各架构组件均为已有技术，本研究的贡献在于其面向任务的集成与面向多属性土壤光谱回归的系统评估。利用LUCAS2009，研究人员通过POINT_ID分组验证、独立盲测集、消融与稳定性分析及计算效率测量，将该设计与PLSR、SVR-RBF、1D-CNN、ResNet-1D和Transformer-1D进行比较，并开展波段压缩与跨数据集适用性的补充实验。研究主要贡献包括四方面：一是设计了一个集成可学习线性光谱嵌入与残差MLP模块的全光谱多属性回归框架，使全部输入波长在后续非线性处理前贡献于紧凑表征，无需显式波长预选；二是通过与传统及深度学习基线的比较、嵌入与残差连接消融及超参数敏感性分析考察该设计的贡献；三是在POINT_ID分组验证与独立盲测集下评估预测精度、稳定性与计算效率，提供精度—效率权衡的经验评估；四是考察波段压缩与外部数据集适用性，以评估降低输入维度的潜力并识别跨数据集迁移相关的局限性。研究得出，在独立盲测集上LSE-MLP对pH、OC和N的R²分别为0.9437、0.9519和0.9363，取得最高三属性平均R²；消融实验表明光谱预处理对预测性能的贡献大于所考察的单项架构修改；多随机种子下LSE-MLP平均R²为0.9443 ± 0.0021，表现出较高稳定性；计算效率优势主要体现在约1.47 MFLOPs/样本与批128 CPU推理每样本0.0217 ms，而非最小参数量或存储占用；波段压缩可在性能接近全光谱模型的同时降低输入维度与计算成本；而冻结的LUCAS训练模型直接迁移至KSSL和AUT出现显著性能退化。其重要意义在于，LSE-MLP为所评估条件下基于Vis-NIR光谱的土壤属性预测提供了一种实用且计算高效的方案，并强调模型评估不应局限于预测精度，还应关注数据划分策略、稳定性与计算成本，同时表明成功的数据集内建模并不能保证可靠的跨数据集迁移，需针对特定数据集进行验证与必要校准。

关键技术方法方面，研究采用公开的LUCAS2009表土Vis-NIR光谱数据集，经筛选保留19036个有效样本，每个样本含4200个光谱变量（约400–2499 nm），预测目标为土壤pH、OC和N；光谱预处理比较原始光谱、标准正态变换（SNV）及SNV结合Savitzky–Golay一阶导数（SNV + SG-1D）三种输入形式。以POINT_ID为分组单元按约80:20划分开发集（15230样本）与独立盲测集（3806样本），开发集内采用POINT_ID分组五折交叉验证，并设置样本级随机划分、POINT_ID分组划分与100 km空间块划分三种内部验证协议。比较模型包括PLSR、SVR-RBF、1D-CNN、ResNet-1D和Transformer-1D；LSE-MLP由可学习线性光谱嵌入层、残差MLP模块与多属性回归输出头组成，最终配置为嵌入维度128与三个残差MLP块。评估指标为决定系数（R²）、均方根误差（RMSE）、平均绝对误差（MAE）与性能偏差比（RPD），并采用配对POINT_ID簇自助法量化模型比较不确定性；计算效率以参数量、模型文件大小、浮点运算量（FLOPs）与CPU推理延迟衡量。补充实验包括基于嵌入层权重的波长重要性分析、连续波段组压缩实验，以及在Kellogg土壤调查实验室（KSSL）数据集与奥地利近红外（AUT）土壤光谱库上的外部验证与直接迁移测试。

研究结果方面，3.1 POINT_ID分组五折交叉验证结果显示，LSE-MLP在pH、OC和N上取得六种评估模型中最高的R²与RPD，其优势在pH和N上更明显，而ResNet-1D与Transformer-1D在OC上也具有竞争力；折级分布显示LSE-MLP保持最高三属性平均性能且主要模型排序在各折间总体一致，补充的配对POINT_ID簇自助分析在全部15项模型—属性比较中点态95%置信区间均支持LSE-MLP。3.2 独立盲测集结果显示，LSE-MLP取得最高三属性平均R²，pH、OC和N的R²分别为0.9437、0.9519和0.9363，总体模型排序与开发集交叉验证结果基本一致；观测—预测图显示多数预测接近1:1参考线，但部分高OC值样品仍存在偏差。3.3 消融与稳定性分析表明，光谱预处理对预测性能的贡献强于所考察的单项架构修改，使用原始光谱或仅SNV大幅降低平均R²，而去除残差连接或以平均池化替代可学习嵌入导致较小下降；超参数敏感性分析显示中等嵌入维度与网络深度在所评估配置中表现较好，增加模型容量未持续提升精度；五个随机种子下LSE-MLP平均R²为0.9443 ± 0.0021，种子间变异小于ResNet-1D与Transformer-1D；三种内部验证协议下LSE-MLP均保持高于ResNet-1D与Transformer-1D的平均R²与RPD，空间块划分给出略高估计，但各协议训练与验证子集不同，该反直觉排序可能反映样本组成差异而非划分策略固有难度。3.4 计算效率与精度—效率权衡显示，LSE-MLP每样本约需1.47 MFLOPs，批128 CPU推理每样本延迟0.0217 ms，含736899个参数、占用约2.82 MB，其计算优势主要体现于FLOPs与批推理延迟而非最小参数量或存储；综合精度与计算成本，LSE-MLP处于精度—效率比较的有利区域。3.5 基于LSE权重的光谱重要性分析显示模型敏感性在全谱上呈非均匀分布，近红外部分区域相对较高，并在约1400、1900、2200和2300 nm附近出现局部峰值，但这些模式仅标识学习嵌入所强调的光谱区域，不应解释为物理吸收机制的直接归属。3.6 补充分析中，波段压缩实验的POINT_ID分组五折交叉验证显示共享排序策略保留50%波段组时总体平均指标接近全光谱LSE-MLP，同时降低输入规模与计算成本，多随机种子结果显示该策略性能变异较小；在独立盲测集上，波段压缩LSE-MLP在减少输入波段数后保持接近其全光谱参考模型的总体预测性能，并在FLOPs与CPU推理延迟上显示一定优势。外部数据适用性方面，数据审计识别出KSSL与AUT在属性可用性、样本量与共同波长覆盖上的差异；数据集内分组五折交叉验证下，LSE-MLP在KSSL上对N和OC的R²分别为0.9376和0.9679，在AUT上对N、OC和pH的R²分别为0.8460、0.8088和0.8992；相比之下，冻结的LUCAS训练LSE-MLP直接迁移在KSSL上对应R²为?0.2391和0.0692，在AUT上为?1.8075、?2.4232和?2.3697，表明数据集内建模与直接跨数据集迁移之间存在显著差异，附加诊断揭示目标分布与光谱特征差异及系统性预测偏差。

讨论部分总结如下：4.1 复杂深度模型并非土壤光谱预测的唯一选择，结果表明架构复杂度并非土壤Vis-NIR光谱回归预测性能的唯一决定因素，LSE-MLP通过将可学习全光谱投影与紧凑潜空间中的残差非线性回归相结合取得有竞争力的性能，其方法学贡献在于面向任务的表征与计算策略而非引入全新神经网络操作；该设计的有效性可能与土壤属性相关的分布式光谱信息有关，通过将全部4200个输入变量投影到低维表征再进行非线性处理，LSE-MLP为多属性回归提供了计算经济的途径；敏感性分析支持中等模型容量，嵌入维度128在所评估设置中取得最高平均验证R²，而残差深度从两块增至三块仅带来边际改善；但这些发现不应解释为更复杂架构一般不必要的证据，超参数搜索空间与训练样本量差异限制了模型可比性，1D-CNN相对较弱的表现可能部分反映其特定架构与优化设置而非卷积方法的固有局限，且LSE-MLP的计算优势特定于所评估硬件与推理条件，因此应将其视为在所研究条件下提供有利精度—效率权衡的实用选项而非普遍更优的架构。4.2 模型评估不应仅限于预测精度，土壤光谱数据可能包含重复采样点、空间聚类与区域相似性，单一数据划分下的预测精度可能无法完全代表模型性能；三种内部验证协议产生不同性能估计，空间块划分给出略高于随机与POINT_ID分组划分的预测精度，该反直觉结果可能反映训练与验证子集组成差异而非验证协议固有难度差异，这些潜在因素未被独立量化，观察结果不应解释为空间分离验证普遍更容易或LSE-MLP具有更强空间迁移能力的证据，该比较最好视为对数据划分敏感性的评估而非验证协议难度的确定性排序；消融实验表明LSE-MLP的预测性能来自光谱预处理、全光谱嵌入与非线性建模的共同作用，移除或替换这些组件导致不同程度性能下降，表明当前组合设计适合本研究考察的任务；模型评估还应考虑计算成本与潜在部署条件，LSE-MLP的轻量化主要体现于其推理路径的低计算成本而非参数量或模型文件大小的最小化，波段压缩实验表明在不改变主体架构的情况下连续波段组压缩可作为降低输入规模并支持精度—效率权衡的补充策略，但所报告的CPU推理延迟反映原始基准测试条件，其线程配置与软件版本未完整记录，实际部署性能还可能取决于硬件资源、推理框架、能量约束与数据传输条件。4.3 模型解释与应用边界方面，LSE权重分析提供了训练模型相对敏感光谱区域的辅助指示，观察到的权重分布在全谱上非均匀，提示不同光谱区域对学习表征贡献不同，但这些权重反映从预处理光谱输入中学到的统计关系而非单个波长的独立物理贡献，相邻光谱变量的强相关性与SNV变换后接Savitzky–Golay一阶导数的使用使直接物理解释复杂化，因此LSE权重曲线中的峰值不应等同于原始反射光谱的吸收峰或视为特定土壤化学机制的 Evidence，该分析旨在表征模型级光谱敏感性而非建立物理因果性；外部数据集结果凸显数据集内预测与直接跨数据集迁移的区别，冻结LUCAS训练模型R²的显著下降表明所评估条件下迁移性有限，可能有多方面因素contributing：一是光谱覆盖差异，特别是AUT缺少680 nm以下波长可能改变可用预测信息；二是仪器、采集流程与实验室测量协议差异可能影响光谱与目标一致性，即使经过波长与单位协调；三是土壤属性分布、光谱域特征与预测偏差的观察差异提示显著数据集异质性，但这些因素的单独贡献未被实验分离；此外，KSSL与AUT上的分组验证使用唯一层标识符而非地理位置，不应解释为严格空间验证，土壤湿度等环境因素可能进一步影响田间条件下的Vis-NIR预测性能；这些发现表明成功的数据集内建模并不能保证无需进一步校准与独立验证的可靠跨数据集迁移。本研究存在若干局限：首先，主要实验基于LUCAS2009，主要代表欧洲表土样品，尽管纳入KSSL与AUT作为外部数据集，观察到的直接迁移退化表明地理泛化与跨仪器稳健性仍未充分建立，光谱域、土壤属性分布与测量协议差异进一步限制训练模型的可迁移性；其次，尽管先前研究已证明红外光谱预测其他土壤指标的潜力，本研究仅考虑pH、OC和N，因此LSE-MLP对其他土壤属性（如阳离子交换量、黏粒、粉粒和砂粒）的适用性仍需评估；第三，实验依赖现有实验室光谱数据集，而效率测量在受控CPU基准测试条件下获得，因此模型在真实田间条件下的稳健性（包括可变土壤湿度、地表特征、光照与便携式仪器约束）尚未得到证明，需要在不同区域、仪器、实验室与田间测量条件下进一步验证。未来研究可引入更多独立数据源与土壤属性，并结合系统可解释性分析与真实硬件测试，评估轻量化全光谱模型在不同数据条件与应用场景下的可靠性；深度模型可视化与可解释机器学习方法可为分析模型敏感区域提供参考信息，但此类解释仍应结合土壤光谱知识与独立验证进行评估。

研究结论部分翻译如下：本研究开发并评估了LSE-MLP，一种以土壤Vis-NIR光谱为输入同时预测pH、OC和N的轻量化全光谱嵌入模型。基于LUCAS2009数据集的统一比较，LSE-MLP在POINT_ID分组交叉验证与独立盲测集评估下均取得有竞争力的预测性能。消融实验表明，SNV变换结合Savitzky–Golay一阶导数、可学习线性光谱嵌入与残差MLP结构共同支持模型性能。效率分析表明，LSE-MLP的轻量化特征主要体现于较低的FLOPs与较快的批处理CPU推理延迟，而非具有最少参数或最小模型文件大小。补充实验表明，在所研究条件下连续波段组压缩可在保持接近全光谱模型预测性能的同时降低光谱输入维度。在KSSL和AUT上的外部评估表明，有竞争力的数据集内性能并不能保证LUCAS训练模型的可靠直接迁移。该发现凸显了在将模型应用于新土壤群体或测量系统之前进行数据集特定验证并在必要时进行校准适应的实际需求。总体而言，在所评估设置下，LSE-MLP为土壤Vis-NIR回归提供了一种实用的精度—效率选项，而更广泛的地理泛化、跨仪器稳健性与田间部署仍需进一步研究。