基于多模态深度学习模型（ViT-ResNet18）的水稻品质智能分级：融合图像与气体传感数据提升精准农业与食品安全新策略

本文推荐一项基于多模态深度学习的水稻品质智能识别研究。该研究创新性地融合图像（ViT模型）与气体传感器数据（ResNet18模型），构建ViT-ResNet18-A-DG多模态模型，实现水稻品质高精度分级（准确率达97.98%）。该方法克服了传统单模态检测（如NIR、GC-MS、HPLC）的局限性，为非破坏性、高效率的粮食质量监控与食品安全（Food Safety）保障提供了关键技术支撑，推动农业智能化与可持续发展。

　　

单模态数据模型结果

本节展示了图像数据和气体数据在单模态模型下的表现，并与其他模型进行对比。其中，在处理图像数据时，ViT Transformer（Vision Transformer）模型表现最佳，YOLOv₁₁和Mobilenet-v₃被用作对比模型；而在气体数据中，Resnet18模型效果最优，LeNet和ShuffleNet则作为主要对比对象。具体结果见表5与图18。

多模态数据模型结果

本节展示多模态识别结果。

ViT与Resnet18的对比分析

本研究评估了用于水稻品质分类的单模态模型。在基于图像的分类任务中，ViT-Transformer模型表现最为出色，准确率和F1分数均达到约83.2%，在所有指标上均显著优于YOLOv₁₁和MobileNet-v₃，领先幅度超过12.5%。在气体数据分类中，ResNet18模型表现最佳，各项指标均达到约85.5%，明显优于LeNet和ShuffleNet。因此，ViT和ResNet18被确定为最优模型。

结论

实验结果表明，多模态模型在水稻品质识别任务中显著优于单模态模型，其中改进后的ViT-ResNet18-A-DG模型取得了最佳性能。本研究引入了一项创新技术，将相机采集的视觉数据与气体传感器采集的香气数据相融合，构建了一套高效、非破坏性、智能化的水稻品质评估方案，避免了传统生化分析方法对样本的破坏。