基于颜色与纹理提示的多模态图域自适应植物病害分割方法

《IEEE Aerospace and Electronic Systems Magazine》:Multimodal Graph-Based Domain Adaptation With Color and Texture Prompts for Plant Image Segmentation

【字体: 大 中 小 】 时间:2026年01月19日 来源:IEEE Aerospace and Electronic Systems Magazine 3.8

编辑推荐:

  为解决农业图像分割中因环境变化导致的域偏移和数据稀缺问题,研究人员提出了一种多模态图域自适应网络。该网络通过构建图像区域(背景、健康、病害)和类别特异性文本提示(颜色、纹理属性)的图结构,并设计图损失函数(LTIG和LIG)实现跨域类别对齐。实验表明,该方法在多种作物(如大白菜、辣椒、豆类)和无人机/近距离图像数据上均提升了病害IoU和平均IoU,为复杂农业环境下的病害精准检测提供了有效途径。

  
在智慧农业的发展浪潮中,植物病害的及时精准诊断是保障农作物稳产高产的关键环节。然而,现实农业场景的复杂性给基于深度学习的病害检测模型带来了巨大挑战。病害表现形态会随着环境条件、季节更替和作物品种的不同而剧烈波动,例如,同一病害在辣椒叶片上可能呈现黄色斑点,而在大白菜上则可能表现为褐色溃烂。这种类内差异使得模型难以学习到鲁棒的特征表示。更棘手的是,构建一个能够覆盖所有可能环境和作物变种的大规模标注数据集在实践中几乎无法完成,导致模型在遇到未知环境或作物时性能急剧下降,这一现象被称为“域偏移”(Domain Shift)。此外,病害区域在颜色和纹理上常常与土壤或健康植物组织极为相似,且其尺寸通常较小,如图1所示白色边界框内的目标图像,这种视觉上的模糊性使得类别区分变得异常困难。传统方法试图在图像层面进行域自适应,但在农业场景中收效甚微。
为了攻克这一难题,发表在《IEEE Aerospace and Electronic Systems Magazine》上的研究论文提出了一种创新的监督式多模态域自适应框架。该框架的核心思想是利用图像和文本信息的互补性,通过图结构来建模和传递类别间的区分能力。具体而言,研究人员为源域(数据丰富)和目标域(数据有限)分别构建了两种图:图像图和文本图。图像图的节点来自于分割模型(DeepLab V3+)预测的健康植物(PN)、病害(DS)和背景(BG)区域的特征;文本图的节点则源自针对每个类别手工设计的颜色和纹理描述词(例如,病害类的“黄色”、“粗糙”),并通过CLIP文本编码器转化为特征向量。图的边则反映了节点特征之间的余弦相似度。
为了确保图像视觉内容与文本语义信息在结构上的一致性,研究者设计了文本-图像图损失(LTIG),它通过比较图像图和文本图的边权重向量来对齐模态内的结构信息。同时,为了将源域中学到的类别区分能力有效地迁移到目标域,他们提出了图像图损失(LIG)。该损失函数通过计算源域和目标域图像图的归一化拉普拉斯矩阵(Laplacian Matrix)的特征向量之间的余弦相似度,来对齐跨域的全局图结构,从而实现域不变(Domain-Invariant)的类别监督。
关键技术方法
本研究采用监督式域自适应设定,关键技术包括:1) 使用DeepLab V3+作为图像分割主干网络,并利用交叉熵损失(CE Loss)进行基础训练;2) 为每个图像构建类别特异性颜色和纹理文本提示,通过冻结的CLIP文本编码器获取文本特征;3) 分别构建源域和目标域的图像图与文本图,节点为PN、DS、BG的512维特征,边权由余弦相似度计算;4) 设计LTIG损失对齐同域内图像与文本图结构,设计LIG损失基于拉普拉斯矩阵特征值对齐跨域图像图结构,以增强目标域类别区分能力。实验数据包括自建的大白菜、辣椒、豆类作物无人机及近距离图像,以及公共数据集Cityscapes和GTA 5。
研究结果
1. 定量性能对比
研究在四个实验设置下(Exp 1-Exp 4)与多种先进方法进行了对比。如表2、3、4所示,在农业数据集上,提出的方法在植物IoU、病害IoU和平均IoU上均优于对比方法(如TransUNet、HRNet、DeepLab V3+、MIC、DAFormer)。特别是在最具挑战性的病害IoU指标上,本方法相比其骨干网络DeepLab V3+有显著提升(例如Exp 1中从0.706提升至0.762),证明了从源域迁移知识的有效性。在Exp 4的公共道路数据集上,即使类别数增至5类,该方法依然在多数类别IoU和平均IoU上领先,验证了其泛化能力。
2. 域偏移分析
如表6所示,当仅使用源域数据训练并在目标域测试(SrcTgt)时,模型性能(平均IoU 0.652)远低于仅在目标域训练(Tgt,平均IoU 0.838),凸显了作物种类和拍摄距离差异导致的严重域偏移。而引入图损失的本方法(平均IoU 0.862)有效缓解了此问题。
3. 消融实验
消融研究(表7、8、9)验证了各组件贡献。使用固定提示(‘w/ Fixed Prompt’)或文本生成模型(‘w/ Text Generation Model’)均不如本方法的手工颜色纹理提示有效。单独使用颜色提示(‘w/ Color Prompt’)优于单独使用纹理提示(‘w/ Texture Prompt’),表明颜色特征在农业图像类别区分中起主导作用。移除图损失(‘w/o Graph Losses’)直接使用L2损失对齐类别特征,性能下降,证实了图结构建模和迁移的必要性。
4. 类别对齐可视化
t-SNE可视化(图11)表明,仅使用目标域数据时,PN、DS、BG特征分布重叠严重。加入文本图损失(LTIG)后,类间距离增大。同时应用图像图损失(LIG)和文本图损失(LTIG)时,类间分离最为清晰,证明了所提方法在特征空间促进结构化类别分离的有效性。
结论与意义
本研究成功提出并验证了一种基于多模态图结构的域自适应方法,用于解决农业植物病害图像分割中的域偏移和数据稀缺问题。该方法通过构建图像和文本图,并利用图损失函数实现跨域和跨模态的结构对齐,显著提升了模型在目标域(尤其是数据有限时)的类别区分能力,特别是在难分的病害区域。其创新性在于将类别区分能力抽象为图结构进行迁移,而非传统的特征分布对齐。实验结果表明,该方法对不同作物、拍摄条件乃至通用场景均具有良好的鲁棒性和可扩展性,为在实际复杂农业环境中部署可靠的病害自动诊断系统提供了有前途的技术路径。同时,该方法也存在计算开销增加和对严重视觉模糊场景仍需辅助信息(如近红外)的局限性,为未来研究指明了方向。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号