基于近红外光谱的苹果成熟阶段稳健分类：监督与无监督方法的比较研究

《Journal of Food Composition and Analysis》：Robust classification of apple ripening stages based on NIR spectroscopy: A comparative study of supervised and unsupervised methods

　　

基于近红外（NIR）光谱的苹果成熟阶段稳健分类：监督与无监督方法的比较研究 原始近红外（NIR）光谱在四个成熟阶段间表现出可分离性，其中第一主成分（PC1）解释了约99%的总方差。人工蜂群（ABC）算法取得了优异的聚类效果（准确率=98.5%，轮廓系数（SC）=0.989，戴维斯-布尔丁指数（DB）=0.125），优于K均值（K-Means）和自组织映射（SOM）算法。标准正态变量变换（SNV）和归一化处理并未普遍提升性能，有时甚至会抑制具有生物学意义的光谱方差。线性判别分析（LDA）和支持向量机（SVM）在不同预处理策略下对成熟阶段判别表现出最高的稳健性和稳定性。

一、研究背景与研究意义

水果成熟阶段的准确检测是园艺学和农业供应链中最关键的挑战之一。成熟度不仅决定水果的感官属性，如颜色、质地、香气和甜度，还直接影响其营养价值、贮藏特性和消费者接受度。在商业化生产体系中，在最佳阶段采收果实对最大化经济效益和减少采后损失至关重要。苹果作为呼吸跃变型水果，其成熟过程具有明确的阶段性特征，表现为呼吸速率和乙烯产生的激增，进而触发一系列复杂的生化转化，包括叶绿素降解、花青素合成、淀粉向可溶性糖的转化、细胞壁软化和有机酸组成的变化。这些转化直接影响果实的硬度、可溶性固形物含量、酸度和整体风味特征。

传统的苹果成熟度评估方法主要依赖果皮颜色的视觉检查、使用穿透计进行的人工硬度测试，以及实验室化学分析如可溶性固形物测定和可滴定酸度测定。这些方法存在诸多局限性：多数具有破坏性，测试后的样品无法上市销售；劳动强度大、耗时且不适合在果园或包装设施中进行快速大规模筛选；视觉评估本质上具有主观性，受操作者经验和环境条件影响显著。随着现代农业向精准农业和自动化方向发展，对能够实时提供果园和采后处理过程中水果成熟度信息的快速、客观、非破坏性技术的需求日益增长。

可见-近红外（Vis-NIR）光谱技术已成为评估水果内外品质属性的有前景的非破坏性分析技术。然而，光谱数据集面临高维性、变量间强相关性、噪声、基线漂移和散射效应等分析挑战。尽管已有研究利用Vis/NIR光谱预测苹果的可溶性固形物含量和硬度，以及检测苦痘病和水心等内部病害，但专门针对成熟阶段分类的研究仍相对有限。现有研究大多仅关注监督学习方法，而基于群智能的无监督聚类算法在苹果成熟度识别中的潜力尚未得到系统评估。此外，预处理技术与算法性能之间的交互作用受到的关注有限，在同一光谱数据集和预处理条件下同时评估监督和无监督方法的比较研究十分匮乏。

二、研究内容与主要结论

本研究系统比较了三种无监督聚类算法（ABC、K-Means、SOM）和九种监督分类器（LDA、SVM、RF、GB、DT、KNN、LR、NB、NN）用于富士苹果成熟阶段分类的性能，并系统评估了四种预处理策略（原始数据、SNV、归一化、Savitzky-Golay）对判别性能的影响。研究结果表明，原始光谱数据与ABC聚类算法结合可实现98.5%的准确率，证明与幅度相关的光谱变异携带了有意义的成熟度信息，不应被随意去除。该研究为开发可靠、非破坏性且可能适用于田间部署的苹果成熟度实时监测系统做出了贡献。

三、关键技术方法

研究人员在伊朗克尔曼沙赫省的一个果园采集了213个富士苹果样品，涵盖四个成熟阶段，每阶段53个样品。光谱数据采用EPP200NIR分光光度计（StellarNet Inc.）在400-1200 nm波长范围内获取。研究采用三种无监督聚类算法：自组织映射（SOM）是一种无监督神经网络，由Teuvo Kohonen提出，将输入样本映射到低维网格；K-Means是一种广泛使用的简单无监督学习算法，将数据划分为k个簇；人工蜂群（ABC）聚类是一种受蜜蜂觅食行为启发的自适应方法，可同时确定最优簇数并分配样本。监督分类器包括参数模型（LDA、LR）和非参数模型（RF、SVM、XGB、GB、DT、KNN、NB、NN）。所有预处理变换均在训练数据内实施以避免信息泄漏，采用分层训练-测试划分保持类别比例，超参数优化使用五折GridSearchCV进行。

四、研究结果

3.1 主成分分析（PCA）

在原始光谱数据集中，PC1占总方差的约99%，表明主要光谱变异性集中在一个与成熟度变化密切相关的潜在维度上。尽管并非在所有预处理条件下都能实现四个阶段的完全分离，但样本分布呈现阶段依赖性结构，证实成熟度显著影响光谱特征。PC1载荷图显示最高载荷值位于光谱两端（400-500 nm和1000-1100 nm范围），而670、730、910和970 nm处的载荷值接近零，表明PC1主要受整体光谱斜率变化和散射效应影响，而非特定色素或化合物的窄吸收带。

3.2 无监督算法与预处理方法性能分析

定量评估基于准确率、轮廓系数和戴维斯-布尔丁指数进行。ABC算法在大多数条件下持续优于K-Means和SOM。在原始数据配置下，ABC实现了98.5%的准确率和0.989的轮廓值，表明具有优异的类间分离和最小的类内离散度。SNV和归一化预处理未带来性能提升，反而在多种情况下导致显著退化，表明过度方差抑制或尺度调整可能消除与成熟过程中生化转化相关的信息性光谱变异。Savitzky-Golay方法是唯一提供适度改进的预处理策略，尤其对K-Means有效，但未超过原始数据-ABC配置。

3.3 监督分析在不同预处理策略下的性能

在无预处理条件下，LDA和SVM在所有评估指标上均实现100%的分类性能，表明数据结构的线性可分性或近似线性。RF、NB和GB也表现出稳健性能，准确率超过98%。NN在该设置下性能最低（准确率=94.77%，F1分数=92.96%）。在SNV变换下，多数分类器维持了与原始数据相当的性能水平，NN的准确率提升至99.53%。归一化处理导致若干分类器性能下降，KNN和LR的准确率显著降低至约88%，而LDA保持完美分类，SVM和RF维持高水平性能。Savitzky-Golay预处理下，GB和NN表现良好，而KNN经历显著性能退化，准确率降至所有实验设置中的最低值80.24%。五折交叉验证结果进一步确认，LDA在所有预处理方法下均表现出完美稳定性，SVM保持持续高性能，RF和GB也表现稳健。

五、讨论与结论

研究表明，该光谱数据集在四个成熟阶段间具有高度可分离性。线性分类器LDA和SVM在不同预处理策略下均表现出一致的高性能，表明提取的光谱空间中的类边界主要是线性的。在无监督分析中，ABC算法相比K-Means和SOM实现了更优的聚类紧凑性和与参考成熟阶段的一致性。一个重要发现是，原始光谱数据往往产生等于或优于某些预处理技术的分类性能。尽管SNV和归一化等预处理方法常用于减少不想要的方差，但本研究结果表明，在此数据集中，部分幅度相关的光谱变异可能携带了关于成熟进程的生物学相关信息。

研究存在若干局限性：数据集来自单一果园、单一生长季节且仅限于单一苹果品种，模型对其他地理区域、季节或品种的泛化能力尚不确定；尽管采用了五折交叉验证，但未包含独立的外部验证数据集；分析主要关注分类性能，未深入探讨波长重要性和判别光谱区域的生化可解释性。未来研究应纳入多年多点数据集以评估模型在更广泛变异条件下的稳健性，并整合特征选择技术、将光谱特征与理化测量相关联以增强对模型决策的机制理解。总体而言，Vis-NIR光谱结合适当选择的机器学习算法在苹果成熟阶段非破坏性分类方面具有潜力，但在实际大规模部署之前，仍需进一步验证、扩展数据集和更深入的光谱解释。