基于便携式近红外光谱与AI辅助工作流的茶叶产品鉴别及水分预测研究

《Foods》：An AI-Assisted Workflow for Tea Product Discrimination and Moisture Prediction Using Portable NIR Spectroscopy

　　

便携式近红外（NIR）光谱仪能够实现茶叶的快速分析，但茶叶的异质性会降低光谱的代表性和建模的可靠性。本研究评估了采样配置对使用两台便携式近红外光谱仪进行茶叶产品鉴别和水分预测的影响，并开发了一种领域专用的近红外分析技能（NIR-analysis skill）以支持分析工作流。研究人员使用NIR-R210和NeoSpectra Scanner对十种茶叶产品在研磨和未研磨两种状态下进行了分析。研究人员采用偏最小二乘（partial least squares, PLS）和支持向量机（support vector machine, SVM）模型评估了十六种预处理方法。分类模型和回归模型分别采用分层四折交叉验证（stratified four-fold cross-validation）和留一产品交叉验证（leave-one-product-out cross-validation, LOPO-CV）进行选择。在所研究的产品和批次范围内，NeoSpectra Scanner在验证中对两种样品状态均实现了100%的分类准确率，而NIR-R210分别实现了100%和92.5%的分类准确率。支持向量回归（support vector regression, SVR）在未研磨的NeoSpectra Scanner样品中取得了最佳的水分预测验证性能（R2 = 0.95；RMSEP = 0.330%）。外部验证显示性能有所下降，尤其是未研磨的NIR-R210样品（分类准确率80.0%；R2 = 0.68；RMSEP = 0.797%）。研磨降低了光谱变异性，尤其是对于NIR-R210，而NeoSpectra Scanner的旋转采样配置可能有助于对完整叶片进行更具代表性的测量。这些发现强调了代表性采样对于异质性茶叶材料的重要性。

论文解读

一、研究背景与意义

茶叶是全球消费最广泛的非酒精饮料之一，其质量快速评估在质量控制、储存管理和市场监管等特殊场景中具有重要意义。传统参考方法虽然能提供准确的成分信息，但通常具有破坏性、耗时且不适合快速现场分析。近红外（NIR）光谱技术能够实现快速、无损分析，且样品制备要求低，已广泛应用于茶叶质量评估，包括成分分析、感官品质评价和地理来源鉴别等领域。随着仪器设计和制造技术的进步，便携式近红外光谱仪日益紧凑，使其应用场景从实验室拓展到来料检验、过程监控和现场筛查。

然而，尽管便携式近红外光谱技术非常适合茶叶快速分析，直接测量完整茶叶叶片仍面临挑战，因为茶叶的物理异质性会降低光谱的代表性。叶片大小、形状、取向和表面结构的差异会在局部测量中产生显著变化。研磨和均质化可以降低这种变异性，但需要额外的样品制备步骤，降低了现场分析的便利性。另一种替代方案是在不研磨的情况下提高采样代表性，例如通过平均多个位置采集的光谱，或在采集过程中增加有效采样面积。在一些台式近红外仪器中，旋转样品平台使异质性样品的不同部分通过测量场，从而可能提供更具代表性的光谱。然而，很少有研究评估这种采样策略用于便携式近红外分析完整茶叶叶片的效果。

此外，近红外光谱数据的高效可靠分析是另一个实际挑战。典型的化学计量学工作流涉及数据导入、异常值检测、样本集划分、光谱预处理、模型开发、超参数优化和性能评估。Python和MATLAB等脚本环境为实施和比较分析策略提供了相当大的灵活性，但其有效使用需要编程专业知识、熟悉化学计量学和机器学习方法，以及计算环境管理能力。商业光谱软件通常提供用户友好的图形界面和简化的工作流，但在系统比较不同仪器的预处理策略、模型类型和数据集方面灵活性较低。这为缺乏广泛编程经验的研究人员和实践者造成了分析灵活性与易用性之间的实际张力。

近年来，大语言模型（large language models, LLMs）的进展为弥合这一差距提供了潜在途径。Vibe coding作为一种自然语言介导的软件开发方法应运而生，用户指定目标和约束，而LLM生成并迭代修改可执行代码。用户的角色因此从直接代码实现转向问题表述、代码审查、结果评估和迭代反馈。在vibe-coding工作流中，技能（skill）可以被定义为可复用的、任务特定的指令和支持资源包，指导LLM执行特定类别的任务。通过将程序性知识编码为可复用工作流，技能可以支持多步骤分析任务更一致和可重复的执行。然而，据研究人员所知，目前尚无关于将研究者定义的自然语言需求转化为近红外光谱分析可执行工作流的AI辅助技能的报道。

二、研究内容与主要结论

本研究开发了一种领域专用的近红外分析技能以支持分析工作流。利用该技能，研究人员评估了使用两台便携式光谱仪测量商业茶叶样品进行茶叶产品鉴别和水分预测的可行性。选取的十种产品代表了中国不同产区的广泛消费的绿茶和红茶，而两台仪器能够在互补的光谱范围内比较不同的采样策略。来自不同生产批次的额外样品用于外部验证。研究人员比较了研磨和未研磨样品，以进一步考察样品状态和仪器配置对分析性能的影响。本研究旨在阐明采样配置如何影响异质性茶叶材料的便携式近红外光谱产品鉴别和水分预测，同时开发一种灵活的、AI辅助的、自然语言驱动的工作流以促进化学计量学分析。

研究结果表明，仪器配置和样品状态与分类和水分预测性能密切相关。NeoSpectra Scanner对研磨和未研磨茶叶样品均实现了准确的茶叶产品分类和水分预测。NIR-R210对样品状态更为敏感，研磨产生了更一致的光谱并支持更准确的分类和水分预测，而未研磨的NIR-R210样品在两项任务中均表现出最低的性能。研磨与未研磨样品之间的光谱变异性差异在NIR-R210上也比NeoSpectra Scanner更为明显。NeoSpectra Scanner的旋转平台可能通过减少局部叶片取向、大小、形状和表面结构差异的影响来提高采样代表性，但这一潜在贡献需要进一步验证。

三、主要技术方法

研究人员开发了一种领域专用的近红外分析技能，该技能在vibe-coding环境中引导大语言模型将研究者定义的自然语言需求转化为结构化的化学计量学工作流，提供数据检查、光谱预处理、数据集划分、模型开发、性能评估和可视化的指令、方法参考和可复用的Python模块。研究选取了十种商业茶叶产品，每种产品随机取二十四个子样品，其中十二个分别研磨并通过40目筛，其余保留为未研磨叶片。使用NIR-R210手持光谱仪（900–1700 nm）和NeoSpectra Scanner（1350–2550 nm）采集光谱，后者具有连续旋转样品平台。所有数据分析在ChatGPT Codex环境中使用Python 3.13.9（Anaconda）执行，使用scikit-learn 1.7.2进行PLS和SVM建模，NumPy 2.3.5、pandas 2.3.3和SciPy 1.15.3用于数据处理和统计分析，Matplotlib 3.10.6用于绘图。研究评估了十六种光谱预处理条件，采用偏最小二乘判别分析（PLS-DA）和支持向量分类（SVC）用于茶叶产品分类，采用偏最小二乘回归（PLSR）和支持向量回归（SVR）用于水分预测。分类模型采用分层四折交叉验证优化，回归模型采用留一产品交叉验证优化。外部验证中，每种产品从同一制造商的不同生产批次额外采集十个样品，五个研磨、五个保留为未研磨叶片。

四、研究结果

4.1 原始吸光度光谱

NIR-R210光谱在1170–1220 nm之间显示弱吸收带，在约1430–1500 nm之间显示宽吸收带，在1650–1700 nm之间显示额外吸收带。NeoSpectra Scanner的更宽光谱范围揭示了1700 nm以外的额外吸收结构，其中约1900–1950 nm的强吸收带主要与O–H组合吸收相关，受水分影响较大。对于两台仪器，研磨样品显示更紧凑的光谱轮廓，而未研磨样品显示更大的记录间变异，这种差异在NIR-R210上尤为明显。

4.2 主成分分析

对校准光谱分别进行主成分分析（PCA）以可视化茶叶产品间的总体光谱变异。NeoSpectra Scanner数据集中，PC1和PC2分别解释了NS-G中90.3%和6.6%的方差，NS-U中94.9%和4.5%的方差，两个数据集均显示产品相关的聚类。NIR-R210数据集中，NR-G的PC1和PC2分别解释了79.4%和18.0%的方差，而NR-U中PC1占99.2%的方差，PC2仅解释0.6%，NR-U的得分显示多个茶叶产品间更大的重叠。

4.3 预处理与模型优化

对于茶叶产品分类，PLS-DA和SVC在NS-G和NS-U数据集上均实现了完美的交叉验证性能，所有分类指标等于1.000。NR-G数据集也实现了完美的交叉验证性能。相比之下，NR-U数据集更具挑战性，最优PLS-DA模型获得0.800的准确率和0.797的宏F1分数，而相应SVC模型分别达到0.838和0.839。水分预测性能在四个数据集间差异更明显。PLSR在所有四个数据集上均产生比SVR更高的R²_CV和更低的RMSE_CV值。NR-G显示出最佳的交叉验证性能，PLSR的R²_CV为0.90，RMSE_CV为0.436，RPD_CV为3.174。

4.4 分类模型验证

对于NeoSpectra Scanner数据集（NS-G和NS-U），PLS-DA和SVC均正确分类了研磨和未研磨样品的所有验证记录，准确率、宏精确率、宏召回率和宏F1均为1.000。对于NIR-R210数据集，NR-G中SVC正确分类了全部40个验证记录，而PLS-DA误分类了两个记录，准确率为0.950。NR-U中SVC达到0.925的准确率和0.924的宏F1分数，而PLS-DA的准确率为0.800。与NR-G相比，SVC的准确率下降幅度小于PLS-DA，但两种模型在研磨样品上均表现更好，支持研磨以获得更可靠的NIR-R210产品识别。

4.5 水分预测模型验证

对于NeoSpectra Scanner数据集，NS-G中PLSR达到R²为0.94、RMSEP为0.340、RPD为4.305，而NS-U中SVR达到R²为0.95、RMSEP为0.330、RPD为4.343。对于NIR-R210数据集，NR-G中PLSR优于SVR，达到R²为0.94、RMSEP为0.367、RPD为3.981。NR-U在四个数据集中显示最低的预测性能，SVR达到R²为0.91、RMSEP为0.423、RPD为3.389。跨分类和水分预测任务，NeoSpectra Scanner在研磨和未研磨样品间显示相当的性能，而NR-U是最具挑战性的数据集。

4.6 外部验证

外部分类结果中，PLS-DA和SVC正确分类了每个NeoSpectra Scanner数据集中的全部50个外部记录。NR-G中PLS-DA和SVC分别达到0.960和1.000的准确率，而NR-U中相应准确率为0.640和0.800，低于原始验证值。外部水分预测中，所有模型的RMSEP值均高于原始验证样品，最大增幅出现在NR-U，SVR达到R²为0.68、RMSEP为0.797。PLSR对研磨样品产生更低的预测误差，而SVR对两台光谱仪的未研磨样品表现更好。

4.7 光谱变异性

使用STD RMS统计量量化每种茶叶产品内的光谱变异性。对于NeoSpectra Scanner，研磨降低了光谱变异性，中位数STD RMS从未研磨样品的0.030降至研磨样品的0.017（p = 0.010）。对于NIR-R210，研磨也降低了所有十种茶叶产品的产品级STD RMS值，中位数从0.108降至0.013（p = 0.002）。NIR-R210的研磨与未研磨光谱变异性差异大于NeoSpectra Scanner。

五、讨论与结论

讨论部分指出，仪器配置和样品状态与分类和水分预测性能密切相关。在水分预测中，PLSR在验证集中对NS-G和NR-G表现更好，而SVR对NS-U和NR-U表现更好，未研磨样品的更大光谱变异性可能使光谱与水分含量之间的关系更复杂和非线性，有利于SVR。在分类中，SVC对两个NIR-R210数据集优于PLS-DA，而非线性模型在便携式近红外分析中可以提供优势。NeoSpectra Scanner显示出对研磨和未研磨商业茶叶样品进行快速分析的潜力，而NIR-R210在研磨样品上表现更可靠。外部验证显示跨仪器和样品状态的性能模式大体相似，尽管所有模型的水分预测误差增加且NR-U的分类准确率显著下降。研究还指出，所开发的近红外分析技能提供了将研究者定义的自然语言需求转化为光谱检查、预处理、模型校准、验证和可视化的领域专用工作流，减少了常规分析所需的编码工作，但LLM生成的代码可能仍包含错误，研究者对生成代码和中间输出的检查仍然必要。

研究结论部分指出，本研究证明了便携式近红外光谱用于快速茶叶产品鉴别和水分预测的可行性。研究人员使用两台便携式光谱仪测量并比较了研磨和未研磨茶叶样品，并开发了领域专用的近红外分析技能支持分析工作流。验证结果表明，NeoSpectra Scanner对两种样品状态均实现了100%的分类准确率并显示出良好的水分预测性能。NIR-R210在研磨后也表现强劲，而未研磨叶片在分类和水分预测方面均更具挑战性。外部验证显示跨仪器和样品状态的性能模式相似，尽管水分预测误差增加且未研磨NIR-R210样品的分类准确率下降。研磨显著降低了光谱变异性，尤其是对于NIR-R210。未研磨样品所获得的性能可能与NeoSpectra Scanner的旋转采样配置有关。这些发现强调了代表性采样和适当样品呈现在异质性茶叶材料的便携式近红外分析中的重要性。