《Agriculture》：A Transfer Learning Network Based on an Attention Mechanism to Overcome Morphological Differences Across Plant Organs
编辑推荐：
植物器官分割（plant organ segmentation）为基于图像的植物表型分析（phenotyping）提供支撑，但遮挡、纤细结构以及图像域之间的差异限制了分割性能。本研究提出MVA-PlantNet，一种嵌入多视角注意力（Multi-view At
植物器官分割（plant organ segmentation）为基于图像的植物表型分析（phenotyping）提供支撑，但遮挡、纤细结构以及图像域之间的差异限制了分割性能。本研究提出MVA-PlantNet，一种嵌入多视角注意力（Multi-view Attention, MVA）模块的编码器-解码器网络。MVA将动态分组深度注意力（Dynamic Group Depth Attention, DDA）与全局空间注意力（Global Spatial Attention, GSA）相结合，前者建模通道及批次内关系，后者采用特征门控。该网络在Sweet Pepper Dataset的合成图像上进行预训练，并在真实Sweet Pepper图像及包含30幅图像的Capsicum Dataset上进行微调，其中6幅用于微调、24幅用于验证。额外的微调实验使用Plant Organ Dataset中的100幅图像。MVA-PlantNet在合成Sweet Pepper图像上报道的平均交并比（mean intersection over union, mIoU）为71.45%，分别超出U-Net和SegFormer 9.60和24.91个百分点。微调后报道的mIoU分别为：真实Sweet Pepper图像60.17%、Capsicum Dataset 74.16%、Plant Organ Dataset 55.52%。在这些数据划分上，MVA-PlantNet在所评估模型中报道的mIoU最高。然而，Plant Organ Dataset上的茎（stem）IoU仍低至1.32%。实验结果表明，MVA-PlantNet在所评估模型中取得了最佳的整体分割性能，显示出在分割某些小型植物器官以及通过微调适应目标域方面的优势，为解决植物器官形态差异引起的分割挑战提供了一种可行途径。
**研究背景与问题**
植物表型（plant phenotype）指植物可观测特征或性状的组合，快速识别生长环境中的植物性状对改进育种方案和作物生产实践至关重要，是农业自动化的关键组成部分。计算机视觉技术为植物表型分析提供了非侵入式性状测量方案，如语义分割（semantic segmentation）和目标检测，可扩展监测的时空范围并实现性状的实时测量。语义分割通过为图像中每个像素分配类别标签，为智能系统的决策和空间定位提供支撑，基于深度神经网络的语义分割已广泛应用于植物分割。然而，现有研究仍受数据质量和数量的制约：点云（point cloud）数据由无序点构成，真实种植场景中交织的枝、叶和光照条件造成的复杂遮挡会显著干扰点云采集，导致分割结果混乱；RGB图像虽具有采集便捷、成本低、易处理、可实时等优势，但深度信息有限，且仍易受光照、遮挡和污染影响。从方法层面看，现有研究已证明注意力机制、深层特征提取和特征重加权可支撑复杂背景下的植物目标识别，但精细结构的判别、器官边界的恢复以及器官间混淆的减少仍探索不足，尤其当目标域标注有限、器官形态和成像条件与源域存在差异时更为突出。植物分割面临多重挑战：植物器官存在多样性和重复性，易导致空间分布和生长形态不同的相似器官识别混淆；器官间遮蔽及其他环境因素增加有效分割难度；茎、枝等纤细结构在RGB图像中常仅由少量连通像素表示，易导致混淆和碎片化分割结果；现有方案高度依赖数据集数量和质量，泛化能力差，往往仅在单一数据集上表现良好，缺乏独立数据集间的可迁移性。为此，研究人员提出语义分割网络MVA-PlantNet，旨在复杂场景下开展植物性状分割，并借助该模型促进独立数据集间的迁移学习。
**研究内容与结论**
研究人员开展了预训练、同源与异源数据集微调以及跨植物分割实验，并提出Capsicum Dataset（包含30幅盆栽辣椒RGB图像）和引入Plant Organ Dataset（含多种植物语义分割标签）。结果表明，MVA-PlantNet在所研究数据集上所评估模型中报道的mIoU最高，并在小样本迁移学习下表现良好，为农业视觉机器人适应不同植物和成像环境提供方法参考，并有望降低新场景下的数据标注需求。研究同时指出结论受目标数据集规模小、图像级随机划分以及缺乏独立植株水平测试和不确定性估计等限制，微调性能不能确立对未经目标域适应的未见物种的泛化能力，Plant Organ Dataset上的茎分割仍不足。
**关键技术方法**
研究采用编码器-解码器U型架构MVA-PlantNet，核心为多视角注意力（MVA）模块，含动态分组深度注意力（DDA）与全局空间注意力（GSA）两个分支；以PlantNet（去除MVA的基线网络）开展消融实验，并与U-Net、PSPNet、DeepLabv3+、SegFormer对比。数据来源包括公开Sweet Pepper Dataset（合成数据用于预训练，真实数据用于同源微调）、自建Capsicum Dataset（30幅，按1:4划分，6幅微调、24幅验证，并做五折交叉验证）以及源自公开数据集的Plant Organ Dataset（100幅，8:2划分）。评价指标为IoU、mIoU、FwIoU和mPA，均基于单幅图像推理（batch size = 1）在验证集上计算。
**研究结果**
3.1 植物器官分割实验结果：在Sweet Pepper Dataset合成数据预训练中，MVA-PlantNet取得71.45%的mIoU，超出U-Net 9.60个百分点；可视化显示其对被叶遮挡辣椒的轮廓恢复更稳定、对小目标类别识别更精确、对shoots和leaf stems等纤细结构识别更精细。在真实Sweet Pepper图像微调中，MVA-PlantNet报道mIoU为60.17%，超出U-Net 4.45个百分点、超出PlantNet 2.45个百分点，且各报道类别IoU均高于PlantNet。在Capsicum Dataset异源独立数据集微调中，MVA-PlantNet以极少微调数据取得最优mIoU 74.16%，fruit类别IoU达82.10%，较U-Net和PlantNet分别提高56.82和11.56个百分点；五折交叉验证平均mIoU为72.17%，较随机划分低1.99个百分点，第二折branch类别性能大幅下降，可能与类别不平衡和遮挡有关。
3.2 跨植物分割实验性能：在Plant Organ Dataset上，MVA-PlantNet的mIoU达55.52%，超出DeepLabv3+ 1.72个百分点；fruit、leaf和background的IoU分别为71.06%、57.86%和91.84%；但stem IoU仅为1.32%（其他模型为0.10–0.67%），这一有限提升不足以确立可靠的跨植物茎分割，原因可能包括茎像素占比极低、茎结构纤细且受遮挡、源域与目标域茎形态外观差异以及微调数据有限。
3.3 消融实验：以PlantNet为基线（报道mIoU 62.25%），仅加入DDA模块整体提升1.62个百分点（cuts类别提升4.18个百分点，background略降）；仅加入GSA模块整体提升2.26个百分点，对cuts和shoots and leaf stems等小目标改善尤为明显；MVA-PlantNet取得最佳结果，较无MVA模块的PlantNet高出9.20个百分点，验证了MVA模块对植物器官分割的增强作用。
**讨论与结论**
讨论部分分析了MVA机制：DDA结合通道与批次内交互，GSA采用特征门控，这些操作可改变特征响应，但其证据通过消融结果和特征可视化评估而非假定的距离收敛规律；中间层特征直方图显示MVA模块后激活值重分布，属定性证据。中间特征可视化提供了特征变换的定性示例，性能差异的主要证据来自定量分割结果和消融研究。计算复杂度与参数量方面，U-Net计算复杂度最高，MVA-PlantNet显著低于同样采用注意力机制的SegFormer，仅略高于DeepLabv3+和基线PlantNet；参数量上U-Net最高、DeepLabv3+最低，MVA-PlantNet显著低于SegFormer但高于DeepLabv3+，其以计算复杂度和参数规模增加换取分割精度提升被视为可接受。批大小影响方面，训练批大小从4降至1使mIoU从71.45%降至68.86%（降低2.59个百分点），FwIoU和mPA分别降低0.90和2.90个百分点，peduncles的IoU降幅最大（8.96个百分点）；两种配置均采用单幅图像推理，故差异反映训练批大小的影响而非单幅推理本身所致，且批大小变化还可能影响梯度估计和批归一化（Batch Normalization, BN）统计量，硬件限制使最大评估批大小为4；批大小为1时DDA不再进行跨图像交互，但组内通道相关性操作仍有效。与既往研究比较，本研究不仅关注同一数据域内器官识别差异，还通过不同数据集微调实验评估模型对目标域的适应性，在目标域标注有限条件下取得高于对比网络的精度，显示出域适应的应用潜力。实际部署工作流包括目标场景识别、图像采集、图像处理与标注准备、目标域微调、独立评估和单幅图像推理。结论部分译为：本研究提出结合DDA与GSA的编码器-解码器网络MVA-PlantNet用于植物器官分割，实验评估了合成数据预训练与目标域微调；在报道的数据划分上，组合MVA模块取得的mIoU高于PlantNet基线及任一单独注意力分支，这些发现支持组合模块在评估设定下的经验价值，但未确立语义特征聚合的一般规律。研究在三个数据集上设计多项实验，与U-Net、DeepLabv3+、PSPNet和SegFormer等通用语义分割网络相比，MVA-PlantNet在所研究数据集上所评估模型中报道的mIoU最高，同时通过消融实验考察了MVA机制对植物分割的贡献。结论受目标数据集规模小、图像级随机划分以及缺乏独立植株水平测试和不确定性估计等限制，微调性能不能确立对未经目标域适应的未见物种的泛化能力，Plant Organ Dataset上的茎分割仍不充分。未来工作应采用独立植株或场景划分、重复试验、与从零训练的对照比较，并评估批注意力对推理批次组成的敏感性。
