基于多模态特征决策融合网络(FDFR-Net)的果实成熟度智能分级方法研究

《Expert Systems with Applications》：FDFR-Net: A fruit ripeness classification method using multimodal learning technique

本研究针对单一模态信息在果实成熟度分类中特征表达不完整的问题，开发了融合RGB图像、高光谱图像(HSI)和阻抗特征(IMP)的多模态特征决策融合网络(FDFR-Net)。该研究以芒果为对象，通过特征级和决策级两阶段融合策略，实现了94.23%的分类准确率，为水果采后品质控制提供了创新解决方案。

　　

在中国，水果年产量已超过2亿吨的庞大产业背后，隐藏着一个令人痛心的数字：采后标准化损失高达总产量的13.2%。这意味着每年有超过2600万吨的水果在储存、运输和销售环节腐烂变质，造成巨大的经济浪费。传统的人工成熟度分级方法不仅效率低下，且严重依赖工人经验，主观性强、可靠性差。如何实现水果成熟度的精准、无损检测，成为提升水果产业效益的关键技术瓶颈。

果实成熟是一个复杂的生理生化过程，涉及外观颜色、内部化学成分和电化学特性的协同变化。现有研究多基于单一信息源进行成熟度判断：有的依靠RGB图像模拟人工颜色判别，但忽视了内部特征；有的采用高光谱技术分析化学成分，却忽略了表皮和形态信息；还有的利用电化学阻抗监测生理变化，但稳定性和可靠性有待提高。单一模态信息的局限性导致分类准确性难以突破，这正是多模态学习技术大显身手的领域。

近日发表在《Expert Systems with Applications》的研究提出了一种创新解决方案——FDFR-Net（特征决策融合网络）。该研究以芒果为实验对象，开创性地将RGB图像、高光谱图像(HSI)和阻抗特征(IMP)三种模态信息相结合，通过特征级和决策级的两阶段融合策略，实现了果实成熟度的精准分类。

研究方法概述

研究团队首先建立了包含1040个样本的多模态芒果数据集，通过硬度与可溶性固形物含量(SSC)测定验证了成熟度标注的客观性。技术核心在于FDFR-Net网络架构，该网络包含三个独立的特征提取分支，分别处理不同模态数据：视觉分支提取颜色纹理特征，光谱分支分析化学成分特征，阻抗分支捕获电生理特征。网络采用特征级融合整合底层特征表示，再通过决策级融合优化最终分类结果。

网络训练效果

经过充分训练，FDFR-Net表现出优异的收敛特性。训练损失与验证集准确率在200轮训练后趋于稳定，表明网络已充分学习到有效的多模态特征。损失函数的持续下降与准确率的同步提升，证明了网络架构设计的合理性与训练策略的有效性。

消融实验分析

研究人员通过系统的消融实验验证了多模态融合的价值。单一模态对比显示，RGB、HSI和IMP模态分别取得85.69%、88.72%和82.41%的准确率，而特征级融合将性能提升至91.87%，决策级融合进一步将准确率推高至94.23%。这充分证明了多模态信息互补的优势，以及两级融合策略的有效性。

特征可视化分析

通过t-SNE降维可视化技术，研究人员揭示了多模态融合的内在机制。单一模态的特征分布存在明显重叠，而融合后的特征空间呈现出更好的类间分离与类内聚集特性，直观解释了分类性能提升的原因。

方法对比实验

与现有先进方法的对比实验表明，FDFR-Net在准确率(94.23%)、精确率(94.45%)、召回率(94.25%)和F1分数(0.9435)等指标上均显著优于单模态方法，证明了其在果实成熟度分类任务中的竞争优势。

结论与展望

该研究提出的FDFR-Net通过多模态信息融合有效解决了单一模态特征表达不完整的问题，为果实成熟度分类提供了新的技术路径。研究不仅开发了高精度的分类模型，还构建了实用的应用系统，为水果采后处理提供了可行的智能化解决方案。未来研究方向包括扩展至更多水果品种、优化模态选择策略以及探索轻量化部署方案，推动科技成果向产业应用转化。

这项工作标志着果实品质检测从单一指标判断向多维度综合分析的重要转变，为减少采后损失、提升水果产业效益提供了有力的技术支撑，对推动农业智能化发展具有深远意义。