《Computers and Electronics in Agriculture》:A Knowledge-Driven Cross-Modal fusion method for intelligent quality assessment of cabbage
编辑推荐:
Hongda Li|Yixuan Zhang|Yongqiang Tian|Yusen Yang|Huarui Wu|Chunjiang Zhao•提出了用于卷心菜品质分级的两阶段融合框架。•通过引导式作物区域掩码去除田间背景噪声。•利用光谱图像中的植物健康信号优化分级决策。•在
Hongda Li|Yixuan Zhang|Yongqiang Tian|Yusen Yang|Huarui Wu|Chunjiang Zhao
- •
提出了用于卷心菜品质分级的两阶段融合框架。
- •
通过引导式作物区域掩码去除田间背景噪声。
- •
利用光谱图像中的植物健康信号优化分级决策。
- •
在较低计算成本下实现了96.0%的准确率。
- •
在不同卷心菜品种上均展现出稳定性能。
引言
卷心菜(Brassica oleracea L.)是全球广泛种植的重要蔬菜作物,市场需求一直较为强劲(Yue等人,2024)。其商业价值与消费者接受度在很大程度上取决于重量、形态、颜色以及内部营养成分等多种品质特征。传统的品质评估方法主要依靠人工感官评价和破坏性的实验室检测(Kramchote等人,2014),这些方法耗时且主观性较强,难以用于大规模、快速化的在线检测。因此,开发一种客观、高效、准确的智能评估方法对于推动卷心菜产业的发展具有重要意义(Arab等人,2025;Liu等人,2024)。
随着计算机视觉技术的快速发展,基于机器视觉的无损检测已成为农产品品质评估的重要手段(Lee和Ma,2025;Wang等人,2026)。更为广泛的是,包括人工神经网络、高斯过程回归、集成学习、复合学习以及图分析方法在内的多种机器学习范式,已被证明能够有效模拟农业及农业经济系统中的复杂非线性关系。这类方法已应用于作物监测、表型分析、产量预测以及商品价格预测等领域(Jin和Xu,2025;Xu和Zhang,2021a;Xu和Zhang,2021b)。其中,RGB成像结合深度学习算法已被广泛应用于作物表型分析、品质分级以及成熟度检测等任务(Gao等人,2024;Yang等人,2024;Zhi等人,2025)。由于RGB成像具有较高的空间分辨率、易于获取且成本相对较低,因此能够有效表征作物的外部特征,如颜色、纹理和形态(Tharuka等人,2025)。然而,卷心菜的品质既受外部表型特征影响,也受内部物理化学性质影响。由于RGB图像主要捕捉可见光范围内的表面信息,其在表现内部品质特征方面的能力存在固有局限。
为克服可见光成像的局限性,光谱成像技术逐渐被引入农产品检测领域(Yu等人,2025)。多光谱和高光谱技术能够分析作物在不同波长下的反射和吸收特性,从而帮助提取与生理状态和化学成分相关的更全面信息(Wang等人,2025)。先前的研究已经表明,光谱数据在作物胁迫监测、养分估算以及品质检测等任务中表现出良好性能(Szechyńska-Hebda等人,2025;Xu等人,2023)。在这些方法中,兼具成像与光谱分析功能的高光谱成像尤其适合于精准农业应用(Ahmed等人,2024;Yang等人,2025)。不过,光谱成像的空间分辨率通常较低,且难以捕捉精细的形态特征(Jin等人,2026)。因此,仅依靠光谱信息也不足以全面表征卷心菜的整体品质。
由此可见,单一的成像方式无法同时捕捉卷心菜的外部表型特征与内部物理化学性质。相比之下,RGB图像在表现空间结构及精细细节方面具有优势,而多光谱图像则能够捕捉与内部生理状态相关的更深层次特征;因此,这两种成像方式具有很强的互补性。先前的研究已经表明,将RGB图像与光谱数据相结合,能够有效提升农产品品质检测的稳健性与准确性(Bu等人,2024;Singh等人,2024)。在香蕉分级(Mesa和Chiang,2021)以及橙子品质评估(Galal等人,2022)等任务中已取得了良好的应用效果。此外,基于多源异构数据的融合网络也证明了该方法在其他作物无损评估中的应用潜力(Fu等人,2025;Wang和Wang,2026)。综上所述,将RGB成像提供的高分辨率表型信息与多光谱成像所捕获的物理化学信息相结合,是实现卷心菜品质的多维度感知与精准分级的重要途径。
尽管多模态数据融合在农产品检测领域展现出显著优势,但在卷心菜品质分级的实际应用中仍存在若干关键挑战。在多源图像采集过程中,复杂的背景和环境噪声容易干扰数据,从而削弱模型准确识别卷心菜目标区域的能力。此外,RGB图像与多光谱图像在成像机制和特征分布上存在明显差异,简单的拼接或直接融合策略难以充分发挥二者的互补优势。为解决这些问题,本研究提出了一种基于语义引导的跨模态融合模型,用于卷心菜品质评估。具体而言,该模型引入头部掩码作为语义先验信息,引导模型聚焦于卷心菜目标区域,同时抑制复杂背景的干扰。此外,还利用光谱特征对视觉特征进行残差校正,进一步提升模型同时表征卷心菜外部表型特征与内部物理化学属性的能力。在当前实验条件下,所提出的方法取得了较高准确率,并且对背景干扰具有较强的鲁棒性。本研究的主要贡献如下:
(1) 开发了一种基于知识驱动的两阶段跨模态框架,该框架将RGB结构特征与MSI生理响应相结合,能够在野外条件下实现可靠的卷心菜等级评估。
(2) 设计了基于头部掩码的目标区域表示方法,用于抑制背景干扰并提升区域层面的跨模态对齐效果,进而引入植被指数先验信息,在决策层面进行残差校正,以增强融合效果。
(3) 建立了一种整合CIELab颜色值、几何特征以及植被指数的可解释评估体系;在该体系下,所提出的方法在较低计算成本下实现了96.00%的准确率以及95.48%的F1分数,且已在其他品种上进行了验证。
章节节选
数据收集
本研究的数据采集工作在中国北京市昌平区小汤山的国家精准农业研究示范基地进行(东经116°26′44″,北纬40°10′38″)。如图1A所示,共有11个卷心菜品种在同一块试验田中种植,生长季节相同,且采用统一的农艺管理措施。所选品种的基本特征与样本数量汇总于表1中。为确保一致性,所有
单模模型中掩码引导策略的有效性分析
为评估不同语义整合策略对单模品质评估模型的影响,开展了对比实验,结果如表4所示。结果表明,在RGB和MSI两种模式下,融入语义掩码信息的模型均优于未使用掩码引导的基准模型。在RGB模式下,基准模型的准确率仅为73.0%,而引入语义信息后,所有
讨论
本研究提出了一种基于语义与指数先验引导的两阶段多模态融合框架,用于实现卷心菜品质的智能评估。在第一阶段,引入了基于掩码的目标区域选择机制,该机制能够有效抑制复杂环境噪声的干扰,迫使模型聚焦于卷心菜头部区域,从而显著提升RGB和多光谱单模分支的特征提取精度。在
结论
本研究提出了一种基于知识驱动的跨模态融合框架,用于野外条件下的卷心菜品质智能评估。该方法采用两阶段架构,整合RGB图像与多光谱数据,旨在解决在复杂背景干扰下准确提取卷心菜头部区域的问题,同时弥补RGB成像在捕获与生理状态相关的光谱信息方面的不足。在第一阶段,采用了基于掩码的
CRediT作者贡献声明
Hongda Li:写作——审阅与编辑,写作——初稿撰写,可视化,方法论,数据整理,概念构建。Yixuan Zhang:写作——审阅与编辑,可视化。Yongqiang Tian:数据整理,验证。Yusen Yang:验证,软件开发。Huarui Wu:监督,资金筹集。Chunjiang Zhao:验证,项目管理,资金筹集。
资助情况
本研究得到了中国国家重点研发计划项目(项目编号2023YFD2001205)以及CARS专项经费(CARS-23-D07)的支持。
利益冲突声明
作者声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。