《Artificial Intelligence in Agriculture》：Mix-soil-spectra: Near-infrared spectroscopy combined with contrastive and ensemble learning for accurate prediction of soil organic matter and total nitrogen
编辑推荐：
为解决土壤异质性（如粒径、颜色、成分差异）和微弱养分梯度对近红外光谱(NIRS)检测的干扰，研究人员开展了结合对比学习(SimCLR)与堆叠集成学习的框架(Mix-Soil-Spectra)研究。该框架通过噪声注入生成增强数据、提取稳定光谱表征，并集成多个基模型预测，有效提升了土壤有机质(OM)和全氮(TN)的预测精度、鲁棒性和泛化能力，为智慧农业和可持续土壤管理提供了可靠解决方案。
土壤，作为农业的基石，其健康状况直接关系到粮食安全和生态可持续。土壤有机质(Organic Matter, OM)和全氮(Total Nitrogen, TN)是衡量土壤肥力的两个核心指标，如同土壤的“营养库”和“活力源泉”。然而，传统化学检测方法耗时耗力、成本高昂，难以满足大面积、实时监测的需求。近红外光谱(Near-Infrared Spectroscopy, NIRS)技术应运而生，它像给土壤做“快速无创体检”，通过捕捉土壤中化学键（如N-H、C-H、O-H）的振动信息来推断成分，具有快速、低成本、非破坏性等显著优势。
理想很丰满，现实却很“骨感”。土壤并非均质体，其颗粒大小、颜色、矿物组成千差万别，同一区域内的养分分布也如“斑马纹”般不均。这些固有的异质性，加上仪器波动、环境干扰等“噪音”，使得采集到的近红外光谱信号“面目模糊”、稳定性差，给基于光谱的精准预测带来了巨大挑战。此外，有限的标记样本数据也制约了深度学习模型的发挥。那么，能否开发一种新方法，能从复杂多变的光谱信号中，像“大海捞针”一样，精准锁定那些真正反映OM和TN信息的稳定特征，并充分利用各种预测模型的优势，实现高精度、高鲁棒的检测呢？这正是本研究试图回答的核心问题。
为了攻克这些难题，由Yueting Wang、Xiaolong Yue、Hongwu Tian、Zhen Xing、Shuai Liu、Yili He、Fan Luo、Chu Zhang、Tianlun Liu和Daming Dong组成的研究团队，提出了一种名为Mix-Soil-Spectra的创新检测框架。该研究发表在《Artificial Intelligence in Agriculture》上，其核心在于将前沿的对比学习与成熟的集成学习“强强联合”，旨在提升NIRS预测土壤OM和TN的准确性、稳定性及泛化能力。
为开展此项研究，作者团队主要运用了以下几项关键技术方法：首先，研究基于从北京多个区县采集的467份表层土壤样本及其近红外光谱数据（波长范围900-1700 nm，97个波段）构建数据集。其次，研究核心是提出的Mix-Soil-Spectra框架，其关键技术包括：1) 基于对比学习(SimCLR)的稳定特征选择，通过向原始光谱注入随机高斯噪声等方式生成增强数据对，训练模型学习对干扰不变的稳健光谱表征；2) 基于堆叠泛化(Stacking)的集成预测模型，整合包括LightGBM、XGBoost、随机森林(RF)等在内的多种基模型预测结果，并通过一个元模型（本研究使用RF）进行优化融合。模型性能通过决定系数(R2)、预测均方根误差(RMSEP)和残差预测偏差(RPD)进行评估。
3.1 Mix-Soil-Spectra与其他检测方法的性能比较
通过与普通最小二乘法(OLS)、偏最小二乘法(PLS)、支持向量回归(SVR)等九种传统及深度学习模型对比，Mix-Soil-Spectra在土壤OM和TN预测任务上均取得了最佳性能。对于OM预测，其R2=0.85，RMSEP=6.15 g/kg，RPD=2.59；对于TN预测，R2=0.82，RMSEP=0.31 g/kg，RPD=2.37。结果表明，集成学习方法整体优于单一模型，而Mix-Soil-Spectra凭借其结合稳定特征提取和模型集成的优势，获得了最高的精度和稳定性。
3.2 评估Mix-Soil-Spectra中稳定特征选择的贡献
3.2.1 与不同预处理方法的检测性能比较
将Mix-Soil-Spectra的对比学习特征提取模块与标准正态变量变换(SNV)、一阶导数(1st Der)等传统光谱预处理方法进行比较。结果显示，Mix-Soil-Spectra的特征选择策略在大多数模型上都能取得最高或相近的预测精度，且稳定性更好。不当的传统预处理甚至会降低模型性能，而Mix-Soil-Spectra的数据驱动方法能有效提取信息丰富且具有代表性的光谱特征。
进一步的PCA分析和特征波段映射图表明，Mix-Soil-Spectra提取的光谱表征在降维空间更集中、信息更丰富，且提取的特征波段（与特定化学键相关）在不同预测模型间表现出良好的适应性和一致性，这为其后续的集成学习提供了可靠输入。
3.2.2 数据增强方法对稳定特征选择的影响
研究了随机高斯噪声、随机平移和随机缩放三种数据增强技术。实验结果表明，随机高斯噪声增强效果最好，其次是随机缩放，随机平移最差。因为高斯噪声作为加性噪声，能模拟测量波动而不扭曲光谱结构，更好地保留了土壤OM和TN的特征波长信息。
3.3 评估Mix-Soil-Spectra中堆叠操作的贡献
3.3.1 不同基模型对Mix-Soil-Spectra的影响
研究选取了八种模型作为基学习器。贡献度分析显示，在土壤OM预测中，XGBoost和LightGBM贡献最大（合计约88%）；在TN预测中，LightGBM贡献超过50%，其次是XGBoost。实验表明，集成更多互补的基模型能显著提升整体预测性能，证明了集成策略的有效性。
3.3.2 不同聚合策略对Mix-Soil-Spectra的影响
比较了均值聚合、最高值聚合和按排名加权聚合三种策略。均值聚合策略取得了最佳的整体预测性能，因为它平等地整合了所有基模型的输出，平衡且稳定。而最高值聚合策略因只采用单一模型的最高预测值，忽略了其他模型的信息，性能最差。
本研究得出结论，所提出的Mix-Soil-Spectra框架成功地为NIRS(近红外光谱)土壤属性检测提供了一种新颖且有效的解决方案。该框架主要取得了以下三方面成果：首先，它能够有效捕获用于土壤OM和TN检测的稳定且信息丰富的光谱特征，减少了对繁琐人工预处理的依赖，并生成了与下游预测模型高度兼容的特征表征。其次，通过集成对比学习框架，并引入随机高斯噪声作为最有效的增强方式，该框架能够提取对干扰不变的光谱特征，并强化了对土壤OM和TN相关特征波长的保留。最后，采用堆叠集成框架，并结合均值聚合策略，能够融合多种基模型的优势，平衡其贡献，从而显著提升了预测的准确性和鲁棒性。
讨论部分指出，尽管近红外光谱技术在土壤检测中展现出巨大潜力，但其大规模实际应用仍面临便携式传感仪器开发、模型跨区域泛化能力提升以及外部干扰因素最小化等挑战。然而，随着土壤科学、计算建模和传感器技术的不断进步，这些限制有望被逐步克服。未来的研究应侧重于增强模型的跨区域泛化能力、优化便携式硬件集成以及开发自适应校准策略，以进一步提升NIRS(近红外光谱)土壤检测系统在智慧农业中的鲁棒性和适用性。总之，Mix-Soil-Spectra为精准农业和可持续土壤管理提供了一个强大且可迁移的分析工具，具有重要的实际应用价值。
