用于“玉露香”梨机械化采摘的超光谱多指标成熟度感知模型

《Computers and Electronics in Agriculture》：Hyperspectral multi-indicator ripeness perception model for mechanized harvesting of “Yulu Xiang” pears

　　•提出了一种结合 SSC、pH 和硬度指标的加权 k-means 方法，用于梨的成熟度分级。•使用 WGAN-GP 增强了有限范围的田间高光谱样本，提高了模型在小样本条件下的泛化能力。•遗传算法选择了 4 个关键的光谱带，将光谱带的数量减少了 97.6%。•设计了一种多尺度注意力残差网络（MSA-ResNet），仅使用 4 个光谱带即可对梨进行原位成熟度分类。

引言
水果和蔬菜是健康饮食的基础。中国是全球水果和蔬菜生产领先的国家，这对粮食安全具有战略重要性（Lv et al., 2025）。然而，采摘作业严重依赖人工劳动，机械化率低于 3%，劳动力成本占总生产成本的 40%以上，成为可持续发展的关键瓶颈（Wang et al., 2025b, Zhang et al., 2026）。近年来，水果和蔬菜采摘机器人已成为高端智能农业机械的核心焦点，其工业化和应用正在迅速发展（Xia et al., 2026a, Xia et al., 2026b）。准确判断水果成熟度是实现采摘机器人自主操作的前提，直接影响采摘质量和适应性（Ge et al., 2024）。目前，自动化的成熟度评估主要依赖于外部颜色变化。例如，Sun et al.（2026）和 Wang et al.（2023）根据红色区域的比例来量化草莓的成熟度，而 Ren et al.（2025）和 Xi et al.（2025）则通过颜色变化来确定番茄的成熟度。尽管这些方法简单易行，但它们严重依赖于明显的颜色变化，因此不适用于成熟过程中视觉差异较小的品种。相比之下，光谱分析技术提供了一种快速、无损且信息丰富的评估方法（Lee et al., 2025）。结合化学计量学，光谱学可以可靠地评估水果的成熟度和内部质量指标。为了满足无损、野外快速检测的需求，已经将核磁共振、光谱学和电子鼻等技术应用于柑橘、猕猴桃等水果的成熟度和质量评估（Benelli et al., 2022, Qiu et al., 2025a）。其中，高光谱成像（HSI）结合了光谱和空间信息，比传统的点光谱提供了更高的分辨率和更丰富的特征维度，从而支持深度学习模型的构建（Wan et al., 2025）。HSI 和深度学习的结合显著提高了快速无损水果成熟度评估的准确性。例如，Liu et al.（2025a）使用 450–1000 nm 的高光谱数据和多变量散射校正及深度可分离卷积网络对香梨的四个成熟阶段进行了分类；Qiu et al.（2025b）基于可见光-近红外高光谱成像技术开发了一个 1D-CNN 模型，准确率达到了 98.3%；Yuan et al.（2023）应用 PLS-DA 和 PSO-SVM 并结合 SPA 和 CARS 波长选择，对油茶果实进行了快速无损评估；Gao et al.（2024）使用多变量选择方法构建了红葡萄的 SSC 和 pH 预测模型，实现了质量分布的可视化。然而，大多数现有模型依赖于收获后的实验室样本和受控环境，限制了它们在光照变化、叶片遮挡和复杂背景等多变田间条件下的适用性。一些研究已将高光谱技术扩展到野外场景。例如，Wang et al.（2025a）对‘Shiranui’柑橘进行了田间成熟度识别，而 Yuan et al.（2024）在田间条件下对油茶果实的成熟阶段进行了分类。然而，这些野外研究仍存在两个共同的限制：首先，选定的特征波长数量相对较多——Wang et al.（2025a）选择了 16 个波长，Yuan et al.（2024）使用了 25 个波长——这使得它们难以满足采摘机器人对低成本、少波段传感硬件的要求；其次，Wang et al.（2025a）根据采摘时间和种植者经验确定成熟阶段，而 Yuan et al.（2024）根据 LY/T2034-2012 行业标准按果皮外观特征进行分类；两项研究均未使用物理化学指标独立量化每个样本的成熟度。研究表明，如 SSC、pH 和硬度等物理化学属性之间存在内在相关性，反映了水果的水分含量、糖分积累和组织完整性，对于评估成熟度、可食用性和储存适宜性至关重要（Wang et al., 2024）。因此，多指标策略可以更有效地捕捉高光谱响应中的相关特征，提高整体成熟度评估的准确性。然而，多指标分类依赖于大型多维标记数据集，这通常需要破坏性地采样每个水果，从而加剧了深度学习中的数据稀疏性问题（Zhao et al., 2023）。生成对抗网络（GAN）及其变体已被成功应用于模拟高光谱数据分布并生成高质量样本（Cui et al., 2024, Liu et al., 2025b, Tan et al., 2024）。特别是带有梯度惩罚的 Wasserstein GAN（WGAN-GP）稳定了训练过程，并保留了全局和局部光谱分布，使其成为高光谱数据增强的基准方法。尽管 WGAN-GP 已被应用于水果品质预测中的光谱数据增强（Liu et al., 2025c, Lyu et al., 2025），但现有研究与本工作的主要区别在于：首先，在数据来源方面，现有研究大多依赖于受控的实验室条件——Lyu et al.（2025）在暗室传送带条件下获取了葡萄光谱，而 Liu et al.（2025c）在受控实验室条件下获取了保留果皮的完整猕猴桃的高光谱图像；相比之下，本研究的数据是在自然果园光照条件下原位获取的，更接近实际采摘场景。其次，在研究目标和部署限制方面，现有研究大多关注收获后的质量评估：Liu et al.（2025c）构建了一个多指标预测框架，用于采摘后的猕猴桃 DM、SSC 和硬度，旨在实现在线监测和质量控制；Lyu et al.（2025）使用 TSS 作为单一指标确定葡萄成熟度，并利用全波段光谱数据（186 通道）进行建模，未涉及波长选择或降维，难以满足低成本硬件部署的要求。相比之下，本研究面向采摘机器人场景，整合了 SSC、pH 和硬度进行综合成熟度分级，并通过遗传算法将光谱输入从 164 个波段压缩到 4 个关键波段（减少了约 97.6%），从而降低了光谱传感硬件的成本和复杂性，同时保持了分类准确性。野外采集、多指标融合和极端波段压缩的组合构成了我们框架与现有研究的核心区别，促使我们开发了一个适用于野外采集、样本有限和部署限制的综合框架。

基于这些考虑，本研究开发了一种针对“Yulu Xiang”梨的多指标高光谱成熟度感知模型，旨在实现机械化采摘。主要贡献如下：
- 通过整合 SSC、硬度和 pH 建立了一个多指标客观成熟度评估模型，制定了可量化的分级标准，以替代主观判断。
- 为了克服野外高光谱样本不足的问题，引入了 WGAN-GP 生成不同成熟度级别的合成高光谱反射数据，增强了数据集的多样性。
- 设计了一种多尺度注意力残差网络（MSA-ResNet）分类模型，仅使用四个关键光谱带即可实现成熟度分类，单次分割的准确率为 87.10%，五次重复分割后的平均准确率为 83.87% ± 3.23%。这种方法为采摘机器人中的轻量级嵌入式系统提供了技术参考。

部分节选
高光谱图像采集
本研究的实验果园是位于中国山西省晋中市太古区的山西农业大学（山西农业科学院）的梨示范果园（37°26′0.9″ N ? 37°26′2.5″ N, 112°35′39.9″ E ? 112°35′40.4″ E）。实验对象是大约 15 年生的“Yulu Xiang”梨树，具有开放的分层树冠结构。该地区的物候阶段如下：初始开花时期。

原始光谱数据分析
基于水果成熟度与高光谱图像之间的对应关系，本研究共获得了 101 个水果级别的平均高光谱数据，包括 48 个成熟水果和 53 个未成熟水果。所有样本的反射光谱如图 11 所示。光谱采集覆盖了 350–1002 nm 的波长范围。分析显示，不同成熟度级别的梨表现出相似的整体光谱趋势，均显示出典型的植被光谱特征。

讨论
（1）值得注意的是，即使采用了提出的 MSA-ResNet 模型，原始全光谱数据的分类准确率仍然相对较低（61.29%）。这一限制主要归因于野外获取的高光谱数据中存在的几个固有挑战和样本量小的限制。首先，在现场采集过程中，环境光的变化和仪器暗电流噪声等因素会引入非目标变异，从而增加了光谱信号的不确定性。

结论
本研究提出了一种适用于采摘机器人的低波段高光谱原位成熟度检测方法。通过结合加权 k-means 聚类、基于 WGAN-GP 的数据增强和 MSA-ResNet 模型，该方法能够有效确定“Yulu Xiang”梨的成熟度。结合了多项质量指标（包括 SSC、pH 和硬度），并使用加权 k-means 聚类算法对水果成熟度进行了客观分级。

作者贡献声明
Ma Na：撰写——原始草案、软件、方法学、研究、资金获取、数据管理。
Sun Jinyan：软件、研究。
Li Yingjun：可视化、形式分析。
Sun Shijun：可视化、软件。
Li Chenfei：数据管理、概念化。
Sun Yile：形式分析、数据管理。
Liu Zonglin：验证、研究。
Niu Wendong：软件、数据管理。
Xue Xiaoqin：撰写——审稿与编辑、研究。
Song Haiyan：撰写——审稿与编辑、验证、利益冲突声明。

作者声明
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报道的工作。

致谢
本研究得到了山西省现代农业产业技术研究系统专项基金[项目编号 2025CYJSTX07-22]、国家重点研发计划[项目编号 2021YFD1600602-09]和山西省基础研究计划（青年项目）[项目编号 202303021212115]的支持。