基于高光谱成像和Transformer技术的原位橙色可溶性固体含量估算

《Computers and Electronics in Agriculture》：In situ orange soluble solids content estimation based on hyperspectral imaging and transformer

　　熊新正|孙启新|李昭新|吴赛赛|张宁|曾志康|柴秀娟 中国农业科学院农业信息研究所，北京100081，中国 **摘要** 利用高光谱成像（HSI）在田间估计橙子的可溶性固形物含量（SSC）对于促进自动化农业机器人的应用以实现选择性收获操作和确保果实质量具有重要意义。然而，HSI分析主要依赖于在小型数据集上训练的传统机器学习方法，这限制了预测的准确性和泛化能力。此外，高光谱相机的高成本也极大地阻碍了其在农业场景中的广泛应用。本研究提出了使用基于变压器的模型进行橙子SSC的HSI分析，并探讨了使用光谱重建算法从RGB图像重建高光谱图像的方法。首先建立了一个包含1536个样本的柑橘数据集；每个样本包括一张高光谱图像、一张RGB图像及其对应的SSC值，这些样本涵盖了从果实早期成熟到收获晚期的不同生长阶段和各种田间条件。未经反射率校准和降维处理的高光谱图像被用作训练基于变压器的SSC预测模型的输入。与PLS方法相比，所提出的基于变压器的SSC预测模型在R2值（0.70 vs 0.61）和RMSE值（0.83°Brix vs 0.94°Brix）方面分别提高了14.8%和11.7%。为了验证光谱重建模型的有效性，使用从RGB图像重建的高光谱图像来估计橙子的SSC，结果表明其预测结果始终优于直接从高光谱图像或智能手机RGB传感器获得的结果（R2分别为0.64 vs 0.56和0.48 vs 0.42）。这些结果表明，深度学习技术在降低成本和提高准确性方面的能力有助于推动自动化选择性收获操作和成熟度监测在农业场景中的广泛应用。 **引言** 柑橘因其美味、多汁、营养价值和良好的储存性而成为世界上最受欢迎的水果之一。根据世界柑橘组织（WCO）提供的统计数据，2021-2022年间全球柑橘产量达到了1.59亿吨，其中中国以4460万吨的产量位居榜首，占全球总产量的28%（World Citrus Organisation.org, 2022）。可溶性固形物含量（SSC）是柑橘的主要内部质量参数，与整体质量和风味特征密切相关。SSC的估计在评估柑橘成熟度、确保果实质量和促进自动化选择性采摘方面起着关键作用。作为非跃变型水果，柑橘应在最佳成熟期收获以确保其优异的质量和高糖含量（Cavaco等人，2018）。果实成熟过程中糖含量会发生变化，因此在收获前需要每周甚至每天进行测量。传统上，果园成熟度的评估涉及人工选择果实后使用折射仪等破坏性技术测量其糖含量。最近，也采用了基于可见光-近红外光谱（Vis-NIRS）的便携式无损仪器来估计糖含量（Guo等人，2020；Yu和Yao，2022）。然而，人工选择和单独测量的过程耗时、费力且具有主观性。由于果树分布广泛、土壤养分水平差异、栽培技术不同、健康状况不一等因素，即使在同一果园内，柑橘的糖含量也存在显著差异。不恰当的采样会导致果园成熟度评估的偏差。因此，缺乏快速、自动化和可靠的测量技术严重影响了柑橘的采后质量。考虑到未来农业机器人的应用，设计一种能够准确评估田间柑橘成熟度的自动化解决方案至关重要。 近期研究试图解决传统成熟度评估方法的局限性，高光谱成像技术已被证明是一种有效的工具，可以高效地同时获取物体的空间和光谱数据。高光谱图像（HSI）中的每个像素都包含精细的光谱信息。Shao等人（2021）展示了便携式高光谱成像仪在田间确定肥城桃子内部质量和成熟度阶段的能力。HSI已被认为是综合分析样品内部成熟阶段的强大技术（Hussain等人，2018）。大多数针对柑橘和其他水果的内部质量预测模型主要基于传统机器学习方法，特别是偏最小二乘（PLS）回归（Wendel等人，2018；Fernández-Novales等人，2021；Benelli等人，2024）。然而，这些方法的性能严重依赖于复杂的预处理技术，并且泛化能力有限。选择合适的预处理方法或预处理方法的组合可能会显著影响分析性能。此外，预处理可能会引入伪影或去除有价值的模式，从而降低模型性能（Zhang等人，2019）。鉴于上述缺点，最近采用了深度学习方法，在基于光谱的果实内部质量预测方面取得了更好的结果。Martins等人（2022）提出了SpectraNet-53，这是一种基于CNN的方法，用于估计橙子的可溶性固形物含量，并在一维光谱橙子数据集（667个样本）上验证了其架构，其性能优于之前的PLS方法。Martins等人（2023）使用SpectraNet–32深度学习架构估计了‘Rocha’梨的可溶性固形物含量，在多个指标上优于DeepSpectra（Zhang等人，2019）和四种经典机器学习算法。尽管取得了更好的性能，但这些基于CNN的方法主要关注分析简单的一维光谱数据，在有效捕捉高光谱图像的跨光谱自相似性和全局序列信息方面存在局限性。 文献中使用的高光谱相机主要采用两种典型技术：推扫式和快照式。推扫式技术提供高光谱和空间分辨率，但需要稳定的条件以获得可靠的数据。Wang等人（2022）使用固定在三脚架上的推扫式相机，通过从可溶性固形物含量、硬度及淀粉模式指数的预测值计算Streif指数来评估苹果的成熟度。