基于纹理特征引导注意力融合表示的作物叶片病害检测方法

本文提出了一种创新的纹理引导视觉注意力神经网络（TGVAnn），通过多特征投影（MFP）将RGB特征与局部方向模式（LDP）纹理特征在自注意力模块中进行跨模态融合，生成鲁棒的TGVA特征。该方法在甘蔗和玉米叶片病害数据集上实现了9%的分类精度提升，同时计算需求（GFLOPs）降低20%-70%，仅增加1300万参数，为资源受限的边缘部署提供了高效解决方案。

　　

亮点

• •
  纹理引导视觉注意力（TGVA）特征： 通过RGB色彩模式与局部方向模式（LDP）纹理特征之间的跨模态注意力计算衍生的鲁棒视觉表示，旨在捕捉全局视觉上下文和细粒度的病害特异性纹理信息。
• •
  多域特征投影（MFP）： 核心机制，使用独立的查询（RGB）、键-值（纹理）路径将异质RGB和纹理特征投影到共享的潜在注意力空间，在保留模态特异性的同时实现高效的跨域交互。
• •
  双流融合架构–TGVAnn： 一种分类器-残差注意力集成方法，通过跳跃连接将RGB特征与基于纹理的注意力向量相结合，在确保鲁棒特征组合的同时保持计算效率。

问题定义

给定一个RGB图像作物叶片病害检测（CLDD）数据集 D = {(I_i, y_i)}_i=1^C，包含C个类别，具有 (C-1) 个病害标签。此处 I_i ∈ R^W×H×3 代表宽度为W、高度为H的3通道RGB彩色图像。y_i = (1,2,….,C) 定义了目标标签。我们应用一个纹理特征提取器 T(·) 将RGB图像映射为 T_i ∈ R^W×H×1。其中 T_i 代表纹理图像。任务是为分类器计算丰富的视觉特征，以在从D导出的测试数据集上生成最大程度真实的概率分布。

特征提取模块：使用CNN骨干网络进行RGB和纹理分析

实验设置：数据集描述与评估指标

为评估所提出的TGVAnn模型的有效性，我们选择了两个最具挑战性的作物病害检测图像数据集，分别代表玉米（Pacal, 2024）和甘蔗（Thite et al., 2024）作物。玉米图像数据集是一个全面的高分辨率图像集合，旨在促进用于早期检测玉米病害的机器学习模型的开发，特别是玉米致死性坏死病（MLN）和玉米条纹病毒（MSV）。该数据集在坦桑尼亚编译...

结论

总之，本研究通过提出的引导视觉注意力神经网络（TGVAnn）为作物叶片病害检测提出了一种新颖的方法。通过在RGB和纹理特征之间采用多特征交叉注意力（CA）融合，TGVAnn有效地生成了适度鲁棒和泛化的视觉特征，同时减少了可训练参数。消融实验表明，在ResBlock-2处的自注意力结合中层RGB-纹理融合，在TMCI和KSCI数据集上比...实现了F1分数6%的提升。