《Journal of Integrative Agriculture》：ConCRAT: a novel cross-attention fusion network for compost maturity recognition using image and tabular data
编辑推荐：
摘要堆肥成熟度是堆肥产品质量的关键指标。然而，传统的化学和生物评估方法需要耗费大量时间和人力。虽然机器学习和基于图像的模型提供了替代方案，但前者需要复杂的多参数测量且实时能力有限，后者则不适用于工业堆肥。为克服这些局限性，本研究提出了 ConCRAT，这是一种基于 ConvN
摘要
堆肥成熟度是堆肥产品质量的关键指标。然而，传统的化学和生物评估方法需要耗费大量时间和人力。虽然机器学习和基于图像的模型提供了替代方案，但前者需要复杂的多参数测量且实时能力有限，后者则不适用于工业堆肥。为克服这些局限性，本研究提出了 ConCRAT，这是一种基于 ConvNeXt 的多模态交叉注意力网络，整合了图像数据与可测量的理化指标。建立了一个多模态数据集，包含四种堆肥材料在不同堆肥阶段的图像和表格数据，用于训练和评估。实验结果表明，ConCRAT 在测试集上达到了 96.69% 的准确率，分别比仅使用图像和仅使用表格的模型高出 23.19 和 3.31 个百分点，同时大幅缩短了检测时间。消融实验量化了交叉注意力模块对性能提升的贡献为 1.47%。与原始 ConvNeXt-T 相比，ConvNeXt-3stage 将准确率提高了 0.74%，同时将参数减少了 63.47%。此外，实现了一个由 PyQt5 驱动的用户界面，以便在输入图像和理化数据后进行快速的模型推理。这些发现表明，所提出的多模态框架提供了一种基于样本采集的高效可靠工具，用于快速识别堆肥成熟度。
Jiwen Yang|Weijie Zhou|Chenle Yu|Xiu Li|Han Xiao|Shu Han|Bingbing Xing|Jicheng Zheng|Chengyu Ma|Hao Zhu|Wei Gao|Huanyu Bao|Yunze Ruan
海南大学育种与繁种学院（三亚育种与繁种研究院），中国三亚 572025
