一种基于视觉Transformer与跨模态知识蒸馏的非破坏性西瓜甜度分类方法

《Computers and Electronics in Agriculture》：A non-destructive watermelon sweetness classification via vision transformer with cross-modal knowledge distillation

　　

• 开发了一种基于RGB图像的非破坏性西瓜甜度分类器。• 将多模态教师模型中的知识迁移到了视觉Transformer（ViT）学生模型中。• 达到了94.5%的准确率，实现了具有成本效益的甜度预测。

引言

西瓜甜度预测已被公认为评估农产品质量的关键问题，对种植者、分销商和消费者具有重大的经济意义。确保水果内部质量的能力是竞争激烈的农业市场中价值的关键因素之一。传统的西瓜质量评估方法通常基于破坏性采样方法，通过化学检测来确定糖含量（Srivastava和Sadistap，2018年）。尽管这些传统方法在提供可溶性固形物含量信息方面确实可靠，但根据定义，它们与商业应用相矛盾：质量检测过程本身使得被测产品不适合销售。这限制了通过破坏性测试进行大规模质量控制的可能性，因为这在物流上困难且经济上不可行。因此，农业行业积极寻求非破坏性方法，这些方法既能保持农产品质量，又能保持测量精度，旨在用客观的自动化系统取代主观的人工方法。

Ali等人（2017年）对西瓜内部和外部质量（如甜度、空洞、成熟度和瘀伤）的非破坏性检测方法进行了综述。该综述指出，传统的传统手工方法，如农民拍打水果后聆听声响的敲击法，在现代采后管理中过于主观、缓慢且劳动密集。此外，该综述强调了对快速、廉价且客观的技术（如机器视觉、声学方法和光谱学）的工业需求，以开发全自动在线分拣系统。因此，非破坏性水果质量分析的研究发展沿着三个主要方向推进，分别是使用手工特征的传统机器学习算法、依赖深度学习的方法，以及以复杂方式结合多模态数据的方法。每个理论框架都以不同的视角看待通过外部观察推断水果内部特性的问题。

非破坏性质量测量的早期研究集中在为传感器数据提取手工特征并使用传统机器学习分类器。由于内部糖含量与水果的物理结构相关，研究人员考察了不同的物理指标，如声学特性（Ko?和Akbalik，2025年）、表面纹理分析（Gu等人，2025年）和简单的颜色测量。这些方法的一般步骤包括密集的特征工程过程，随后实施支持向量机（SVM）和随机森林等算法。TV等人（2025年）提供了九个机器学习模型的详细基准，以将成熟度分类为三个类别（未成熟、成熟、过熟）。其核心的非破坏性结果表明，仅使用基本声学元素（频率加振幅）的支持向量机（SVM）目前表现出了高达96.98%的惊人准确率。在类似的衡量标准下，Ko?和Akbalik（2025年）探讨了通过手击声音进行声学传感的可行性。它使用频谱分析提取了120个特征，并输入传统机器学习模型。K最近邻（KNN）模型获得了96.04%的精度，这证明了其在自然录音环境中即使存在背景噪声也能有效执行的能力。除声学方法外，Gu等人（2025年）应用了一种新的空隙度算法，通过光学图像测量复杂的外部表面纹理。随后将LSTM模型拟合到离散的、连续的中心糖含量（例如11.5°Brix）上，准确度很高（0.76），该方法最适合科学育种。尽管证明了非破坏性评估的潜力，但这些方法由于依赖手工特征，通常在不同生长环境和品种之间的泛化方面面临困难。

机器学习和计算机视觉的当前发展为超越手工特征提取的非破坏性质量评估理念提供了机遇。各种深度学习架构，包括卷积神经网络（CNN）和视觉Transformer，已在利用外部视觉特征预测水果内部质量方面展现出令人满意的结果（SK和Vinothiyalakshmi，2024年）。Zhang等人（2025a）和Zhang等人（2025b）在声学分析背景下创建了一种基于深度学习的纯声学分析方法。它同时组合单次敲击产生的两种音频特征图（Mel谱图和STFT），然后将其输入一个专用的深度学习模型。这种多分支音频融合在所有研究中最准确（97.81%），能够识别成熟度和内部缺陷（空心或多汁），并且可以在低成本的树莓派上以16毫秒运行。此外，An等人（2025年）通过VIS-NIR光谱法解决了多品种西瓜（如无籽与有籽）的分类问题。它将一维光谱数据（含噪声）转换为二维格拉姆角场（GAF）图像，供卷积神经网络（CNN）解释。这种高达96.3%的分析准确率与最佳的声学方法相当。将传感频谱进一步推进，Choffin等人（2025年）为了观察西瓜皮内的水/糖分布，采用了一种新的微波成像系统来透过瓜皮，创建西瓜内部水/糖分布的介电常数图。这些内部图被训练在一个CNN上，用于分类成熟度，获得了86%的准确率。

然而，这些单模态方法通常不如使用多种数据类型的方法准确，特别是在预测如甜度等细微质量属性时。视觉和光谱测量共同组成的多模态系统能更有效地提取关于水果成分的互补数据（Singh等人，2024年）。Jie和Wei（2018年）发现最有前景的方向是多信息融合，即结合多个指标收集的数据。Chawgien和Kiattisin（2021年）开发的系统集成了三个简单的"农民启发的数据点"：声学信号（最大频率）、瓜皮模式（图像熵）和重量，使系统变得廉价。GBT模型以92%的准确率对甜度进行分类，表明存在一种可行、简便且易于获取的商业分拣解决方案。Swamy等人（2025年）应用了多模态组合，但采用了更先进的数字耳朵。它将简单的摄影特征和复杂的声学特征（如Mel频率倒谱系数，即MFCC）统一起来。这种更精细的声学指纹输入决策树后，提供了另一种强大的甜度分类系统。

学者们意识到单模态方法的局限性，因此开始探索结合各种类型数据的系统，以互补方式发挥各自优势。高光谱成像被证明是一种有效获取空间和光谱数据的工具（Chen等人，2025年）。进一步的研究确定了将视觉数据与近红外光谱结合在预测水果甜度方面的有效性（Nargesi和Kheiralipour，2025年）。卷积神经网络在分析水果图像以检测与内部质量特征相关的细粒度视觉对象（Sharma和Garg，2024年）以及农业环境中的视觉Transformer（Han等人，2025年）方面均表现出显著成效，以建模图像数据中的长程特性。然而，这些多模态方法始终面临实际的挑战，如传感器成本、数据对齐和计算复杂度。

主要挑战在于无法弥合准确性与实用性之间的鸿沟。尽管光谱数据提供了大量关于糖含量的生化信息，但方法中使用的设备往往昂贵，更不用说需要专业知识来操作（Ali等人，2017年）。然而，对专用光谱传感器的需求限制了其在大多数现实场景中的实际应用，尤其是在资源受限的环境中，如小型农场或当地市场。相反，使用传统摄像头的视觉评估是一种可行且可扩展的方法，但可能缺乏实现可靠甜度估计所需的精度。这种权衡促使了知识迁移领域的研究，旨在在单模态限制的环境中保留多模态分析的优势。

知识蒸馏已成为学习复杂模型并将其迁移到更简单模型的一种有效方法（Phuong和Lampert，2019年）。最初创建用于压缩单模态中的模型，该概念已扩展到跨模态上下文，其中知识在不同类型数据的表示之间进行转导（Thoker和Gall，2019年）。大量最新研究表明，知识蒸馏（KD）作为轻量级深度学习模型在农业应用中非常有效，能在资源受限的硬件上提供高质量的结果。Wang等人（2025a）和Wang等人（2025b）通过视觉Transformer将知识迁移到MobileNetv3学生模型中，在青李子检测中产生了99.17%的准确率，介于99.17%到100%之间。在一项等效研究中，Cai等人（2024年）设计了脐橙的FastSegFormer-P网络，在使用中档硬件以每秒108帧运行时，其平均交并比（mIoU）为89.33%。Zhou等人（2023a）和Zhou等人（2023b）也证实了这种自动化胡萝卜收获的方法，其剪枝后的Mobile-SlimV5s学生模型在田间操作的运动模糊特性下仅有90.7%的误差。在水果新鲜度和质量分类方面，Demirel和Y?ld?z（2025a）和Demirel和Y?ld?z（2025b）提出了VisDist-Net，将视觉Transformer训练为混合CNN，产生了0.9945的F1分数和0.9967的AUC。在一项平行实验中，Demirel和Y?ld?z（2025a）和Demirel和Y?ld?z（2025b）在他们的GGENet模型中使用了自适应KD，以98.18%的准确率和0.9818的F1分数进行新鲜度分类。为了解决多标签分类的挑战，Zhang等人（2024年）使用多标签知识蒸馏（MLKD）与EfficientNet-B3结合，在DeepFruit数据集上达到了90.2%的峰值平均精度（mAP），计算成本极小。KD在田间检测以及产量估计方面也至关重要。Dong等人（2024年）提出的ECA-KDNet在苹果叶病诊断中达到了98.28%的精度，模型大小仅为3.38 MB。为估计产量，Li等人（2023年）通过KD优化了YOLOv5模型，以准确计数柑橘类水果，学生模型mAP为83.6%。此外，Yang等人（2024年）创建的轻量级目标检测器（ELD）旨在果园环境，以87.4%的准确率和156 FPS平衡速度和精度。

农业人工智能的最新进展越来越多地从传统多模态融合转向跨模态知识蒸馏，即从昂贵的传感模态中提取的丰富信息被转移到基于RGB的轻量级模型中。这些方法不再需要在部署时要求高光谱或VIS-NIR传感器，而是先使用互补的光谱和视觉信息训练多模态教师模型，然后将潜在的生化表示蒸馏到仅RGB的学生网络中。这种范式大幅降低了硬件成本，同时保留了与光谱传感相关的许多预测能力，使其特别适用于资源受限环境中的实际农业质量评估。尽管大多数现有研究在推理时仍然部署多个传感器，但人们对光谱到视觉知识迁移的兴趣日益增长，证明了通过表示级监督从常规RGB图像中学习水果内部特性的可行性（Thoker和Gall，2019年，Zhao等人，2022年）。

高光谱成像和VIS-NIR光谱法仍然是最具信息量的非破坏性评估传感技术之一，因为它们直接捕获与可溶性固形物含量、水分分布、色素浓度和内部组织成分相关的生化特征。大量研究表明，将光谱测量与RGB图像结合使用，相比单模态系统，能持续改善对甜度、硬度、成熟度和内部缺陷的预测。然而，这些多模态方法通常需要昂贵的传感器、仔细校准、同步采集以及推理时增加的计算复杂度。

因此，近期的研究越来越多地关注通过跨模态表示学习和知识蒸馏，将光谱表示中所包含的判别性信息转移到基于RGB的模型中，从而在保持高预测精度的同时，消除部署过程中对专用传感设备的需求。知识蒸馏本身已经从最初的软目标框架大幅演进，发展为更加复杂的表示学习范式。现代蒸馏方法日益强调中间特征对齐、自适应监督、解耦优化目标以及语义表示一致性，而非单纯依赖概率匹配。例如，解耦知识蒸馏（DKD）表明，将目标类与非目标类信息分离，可以让教师知识的不同组成部分在训练过程中独立贡献，从而比传统的KL散度优化实现更有效的知识迁移（Zhao et al., 2022）。这些发现表明，成功的蒸馏不仅取决于输出分布的匹配，还取决于在学习过程中保留信息丰富的潜在表示。近期的多模态学习框架进一步强调了在知识迁移过程中显式特征交互的重要性。知识感知交互蒸馏（KAID）表明，交互式的跨模态监督比独立的模态优化能更好地保留互补的语义信息，通过鼓励异构特征空间之间更丰富的表示交换来实现这一点。同样，近期的多模态蒸馏研究引入了自适应加权策略，根据预测不确定性动态平衡教师指导与真实标签监督，从而提高了在复杂多模态学习任务中的鲁棒性和泛化能力。这些进展共同表明，有效的跨模态知识迁移越来越依赖于潜在表示的对齐、模态互补性的建模以及对教师监督的自适应控制，而非仅仅最小化教师与学生预测之间的差异。

此类方法在农业场景中的价值近期已得到验证，应用类型包括水果品质分析和病害检测（Han et al., 2025）。尽管这些研究证实了知识蒸馏是降低模型复杂度的强有力框架，但它们主要集中在视觉到视觉的蒸馏，鲜有研究探索用于内部品质预测的跨模态光谱到视觉蒸馏。利用光谱信息向视觉系统估计甜度这一特定挑战几乎未受关注，特别是对于厚皮类食品（如西瓜），其表面外观可能并非内部糖含量的可靠预测指标。

本文提出了一种新颖的架构，旨在通过跨模态知识蒸馏来解决这一问题。所创建的方法与先前的工作在三个方面有所不同。首先，本文提出了一种特征对齐网络，专门设计用于缩小视觉与光谱模态之间的表示鸿沟，从而实现更成功的知识迁移。其次，本文构建了一种复合损失函数，旨在优化分类、特征空间相似性以及教师和学生模型概率分布的对齐。第三，本文证明该技术在执行任务时仅依赖传统RGB图像即可达到多模态系统的精度水平，这使其特别适用于农业环境。

所提出的解决方案建立在传统的果实品质评估和知识迁移方法之上，但以新颖的方式将它们结合，以解决现实世界中的一个具体问题。该知识蒸馏范式还通过直接克服西瓜品质测量的模态不匹配问题，超越了当前方法。与之前依赖昂贵光谱传感器或不得不在单模态解决方案中牺牲准确性的技术不同，最终技术实现了与多模态方案相当的性能，但运行时仅使用视觉数据。主要创新基于特征对齐网络和复合损失函数，它们能够成功地将光谱知识迁移到基于视觉的学生模型中，并克服了此前蒸馏方法在该领域的局限性。尽管之前的研究侧重于多模态融合作为西瓜品质的预测器（Singh et al., 2024），本方法聚焦于在多模态理解应用于可在实际约束下运行的单模态系统中。同时，尽管知识蒸馏已被应用于多种农业场景（Liao and Yang, 2025），本研究是该方法在预测西瓜甜度方面的首次系统性应用，并附有有力的实验证据。

鉴于采集配对生化数据和多视角成像数据的物流密集性，当前研究明确定位为一个初步的概念验证。该框架验证了光谱到视觉表示对齐的可行性，为未来农业部署中的大规模预训练和更广泛验证奠定了基础。本研究在现实世界中具有重要意义。所提方案利用简单成像工具估计甜度的能力，可辅助农业供应链各阶段的品质测量，包括收获和零售环节。农业生产者可使用智能手机应用程序优化采收时间安排，供应链运营人员也可使用该技术评估产品标准而无需专用设备。这还可能使消费者受益，因为软件可帮助他们在商店中购买最成熟的水果。这些应用突显了该工作的更广泛应用价值，除了其特定的技术贡献之外。

本文其余部分结构如下：第2节回顾了西瓜品质评估和知识蒸馏方法领域的相应文献。第3节包含了关于西瓜生物化学和传感技术的必要背景知识。第4节描述了所提出的框架。第5节和第6节给出了实验方法和研究结果。最后，第7节和第8节讨论了意义、局限性和结论。

**近期跨模态知识蒸馏进展**
近期方法探索了解耦蒸馏和相互学习以弥合异构模态之间的差距。例如，解耦分类器知识蒸馏（DCKD）（Wang et al., 2025a, Wang et al., 2025b）和解耦知识蒸馏（DKD）（Zhao et al., 2022）将目标与非目标组件分离以提高迁移效率。在遥感与缺陷检测领域，如SPGSNet-S（Yu et al., 2025）等架构采用语义提示和图卷积结构。

**西瓜甜度特征**
本研究采用多模态方法进行甜度分类，将内部生化指标与外部视觉特征相结合。数据集包含每个西瓜样本的两组不同特征：矿物浓度谱和多视角RGB图像。为研究内部化学成分，使用原子吸收光谱法测定了四种重要矿物成分钾（K）、镁（Mg）、钙（Ca）的浓度。

**数据集描述与预处理**
实验评估使用了一个综合数据集，包含在受控农场环境中收集的550个西瓜样本。数据集包含伊拉克和伊朗市场上常见的三个西瓜品种：Charleston Gray、Greybelle和Crimson Sweet（图7）。其中Charleston Gray最为常见，呈椭圆形，具有坚实且浅绿灰色的外皮，由于其厚皮特性在该地区非常受欢迎，并且……

**基线模型性能**
实验评估表明，不同模型架构和数据模态在性能上存在显著差异。传统机器学习方法在预测西瓜甜度方面表现出有限性能，尤其是仅使用矿物浓度信息时。根据表4，决策树和随机森林在训练阶段达到完美性能，但遇到严重过拟合，导致测试性能降至26%以下。

**所提框架的局限性**
尽管所提出的框架在估计西瓜甜度方面取得了令人信服的结果，但仍有一些局限性需要讨论。当前实现假设能够获得配对的多模态训练数据，而在某些情况下，对于不同品种的水果或生长条件，这可能难以获取。特征对齐网络的有效性取决于教师和学生模态编码信息的程度，并且……

**结论**
所提出的西瓜甜度分类系统提供了一种新的范式，通过视觉模型进行无损西瓜甜度预测，因为它能够将矿物浓度信息迁移到视觉模型中。该方法在不降低预测精度的情况下解决了多模态传感的实际限制，与依赖专用硬件的系统相比具有优势。主要改进与特征对齐网络和复合损失函数相关。

**生成式AI与AI辅助技术在稿件准备过程中的声明**
声明：在准备本工作期间，作者使用了ChatGPT的基本工具来检查语法和拼写。根据指南，此类使用不适用于声明。

**CRediT作者贡献声明**
Mustafa Kareem Hadi：
Siti Khairunniza Bejo：写作—审阅与编辑、监督、方法论、形式分析、概念构思。
Abdul Rashid Mohamed Shariff：监督、概念构思。
Nazmi Mat Nawi：监督、调查。

**利益冲突声明**
作者声明没有已知的竞争性经济利益或个人关系可能影响本文所报道的工作。

Mustafa Kareem Hadi | Siti Khairunniza Bejo | Abdul Rashid Mohamed Shariff | Nazmi Mat Nawi