基于波长选择和机器学习的便携式近红外光谱高效预测多种土壤特性

《Spectrochimica Acta Part A: Molecular and Biomolecular Spectroscopy》：Portable near-infrared spectroscopy with wavelength selection and machine learning for efficient prediction of multiple soil properties

　　

摘要

便携式近红外（NIR）光谱技术是一种快速、无损且成本效益高的土壤分析方法，可替代传统的实验室方法。本研究将便携式NIR光谱技术与光谱预处理、波长选择及机器学习（ML）技术相结合，用于估算十种土壤属性：容重、碳酸钙、黏粒、速效钾、有机碳、砂粒、粉粒、总碳、总氮及土壤pH值。研究评估了两种方法。第一种方法是对原始光谱进行预处理后采用主成分分析（PCA）。第二种方法采用基于Extra Trees回归器（ETR）的波长选择，识别出150个最具信息量的波长。ETR选择的波长显著提高了五种土壤属性的五折交叉验证性能：碳酸钙（R² = 0.949 ± 0.015）、有机碳（R² = 0.924 ± 0.015）、总碳（R² = 0.919 ± 0.026）、总氮（R² = 0.893 ± 0.015）和土壤pH值（R² = 0.884 ± 0.005）。统计分析表明，所获取的光谱数据一致性好，所提出的框架在五折交叉验证实验中表现稳健且预测性能可靠。

引言

土壤属性及污染物的存在是衡量农业肥力、耕作生产力和生态健康的重要指标[1]、[2]。监测土壤参数的变化需要进行精确的测绘，以实施可靠、经济高效的土壤分析，从而实现最优管理[3]。传统上，这些关键土壤属性主要通过基于实验室的湿化学和地球化学方法进行测量，如电感耦合等离子体发射光谱（ICP-OES）、激光衍射法等[2]、[3]、[4]。尽管传统实验室方法非常精确，但通常成本高昂、耗时较长，且需要精密的样品制备[5]、[6]。因此，它们无法满足现代精准农业和环境危害快速评估所要求的快速、高密度、大规模分析需求[2]。为解决这些局限，光谱分析方法（如可见光-近红外（vis-NIR）、中红外及X射线荧光（XRF）光谱法）提供了可靠、无损且成本效益高的替代方案[3]、[6]、[7]。这些方法通过分析电磁辐射与土壤元素之间的关系，捕捉与土壤特性相关的分子振动[7]。近年来的技术进步使这些仪器体积大幅缩小，从大型固定设备转变为易于在田间使用的便携式工具。研究人员已开发出基于微机电系统（MEMS）的傅里叶变换近红外（FT-NIR）光谱仪，体积更小、成本更低，但与传统仪器精度相当。

便携式光谱技术的最新进展使快速、无损且经济的检测成为可能。手持式光谱仪正越来越多地用于土壤分析、食品质量检测、污染检测和产品真伪验证。当与机器学习和深度学习算法结合使用时，便携式光谱技术能够实现田间精准、实时且灵活的分析[2]、[10]、[11]。然而，由于土壤水分等因素以及高光谱成像数据的复杂性，这些技术在现实环境中的应用面临挑战，可能导致光谱重叠、冗余信息以及模型在训练数据上表现良好但在实际应用中表现不佳的问题。为应对这些局限，研究者采用新方法来聚焦光谱，以提升信号质量并识别重要或关键波长[5]、[12]、[13]。

章节摘要

文献综述

土壤属性的测量，特别强调光谱方法作为快速无损替代方案的应用[2]、[7]。MEMS技术促进了便携式、口袋型FT-NIR光谱仪的开发，同时在土壤有机碳（SOC）和黏粒等指标上提供可比的预期精度[8]。除专业光谱仪外，普通手机摄像头目前也被有效地用作近端传感器，通过RGB颜色指数测量土壤参数，实现便捷操作。

材料与方法

图1展示了本研究中用于识别10种土壤属性的框架。

结果与讨论

本研究使用Anaconda-Jupyter Notebook配合Python 3在配备16 GB内存和GPU的华硕游戏笔记本电脑上完成。为适当评估模型效果，对所有回归器和分类器均采用了五折交叉验证，并获得了平均结果及标准差。

结论

本研究探讨了便携式NIR光谱技术与光谱预处理、主成分分析（用于降低数据复杂性）及ETR方法（用于选择重要特征）相结合的应用。结果表明，预处理通过减少噪声和散射帮助提升了光谱质量，特征选择则帮助识别了分析中最有用的波长。在测试的模型中，KNNR和ETR持续展现出更好的结果。

CRediT作者贡献声明

Madhusduan G Lanjewar：引言撰写、概念构思、原稿撰写、原稿修改、研究方法、软件、验证、调研、性能分析。

参与同意声明

不适用，本研究不涉及人类参与者。

发表同意声明

不适用，本研究不包含任何个人的任何形式数据。

伦理审批

本研究不涉及人类参与者或动物，因此无需伦理审批。

资助

本研究未获得任何资助。

生成式人工智能使用声明

在准备本工作过程中，作者使用了ChatGPT、Perplexity Deep Research、Grammarly、QuillBot/Paraphraser以及其他基于大语言模型（LLM）的工具，以改善稿件的语言、可读性、语法及整体清晰度。LLM辅助工具也被用于支持实验实施的开发。然而，没有使用任何LLM来分析原始数据、解释结果或生成本研究中报告的科学研究发现。所有数据……

利益冲突声明

作者声明不存在可能影响本文所报告工作的已知经济利益冲突或个人关系。

Madhusudan G. Lanjewar

果阿大学物理与应用科学学院，塔莱加奥高原，果阿 403206，印度