《Plant Phenomics》：A Prototype-Augmented Few-Shot Segment Anything Model for Field Phenotyping of Lettuce Germplasm from UAV Imagery
编辑推荐：
摘要：准确的表型获取决定了种质筛选的有效性，而图像分割的效率与准确性直接影响表型参数提取的质量。尽管以分割一切模型2（Segment Anything Model 2，SAM2）为代表的基础模型在通用任务中取得了显著成功，但它们在复杂田间环境中的性能往往因缺乏
摘要：准确的表型获取决定了种质筛选的有效性，而图像分割的效率与准确性直接影响表型参数提取的质量。尽管以分割一切模型2（Segment Anything Model 2，SAM2）为代表的基础模型在通用任务中取得了显著成功，但它们在复杂田间环境中的性能往往因缺乏作物特异性视觉先验而受限。为实现以最少数据获得高精度分割，少样本学习（Few-Shot Learning，FSL）已成为人工密集型训练的策略性替代方案；然而，现有方法在应对高度异质性莴苣种质时，仍存在特征泛化能力弱和边界刻画不精确的问题。针对上述问题，本研究提出一种集成原型特征增强提示与复合门控空间-通道注意力机制的分割模型，以提高复杂条件下莴苣图像分割精度。具体而言，设计了一个原型特征增强提示模块（Prototype Feature-Enhanced Prompting Module，PFEM），用于从外部特征库中检索历史视觉原型并将其融合到提示嵌入中，从而引入实例级先验。此外，在解码器中嵌入复合门控空间-通道注意力模块（Complex Gated Spatial-Channel Attention Module，CGSC），以增强边界感知和关键特征感知能力。最后，开发了复合损失函数（Composite Loss Function，CLF），联合优化像素分类与区域重叠。实验结果表明，在自建露地莴苣数据集上的1-shot评估设置下，所提出模型的准确率（Accuracy）达到99.57%，精确率（Precision）为99.17%，召回率（Recall）为96.63%，Dice系数为97.90%，交并比（Intersection over Union，IoU）为95.85%，边界交并比（Boundary IoU）为94.71%。与所评估方法相比，这些指标分别提高了1.16–15.08、1.16–16.03、1.21–15.68、1.56–16.69、0.72–14.97和2.26–14.99个百分点。基于这些高精度分割结果，研究人员自动提取了15个形态学、颜色和纹理表型参数。所提出的方法为高通量植物表型分析提供了一种高精度、低样本依赖的解决方案，为种质筛选提供了有力的技术支持。
论文解读
一、研究背景与问题
莴苣（Lactuca sativa L.）作为全球广泛种植且具有重要经济价值的蔬菜作物，其品种选育对产量和品质提升至关重要。在现代育种中，高效、准确地获取田间表型信息是加速优良种质筛选的关键。然而，传统人工表型测量耗时费力，难以满足大规模育种需求。无人机（Unmanned Aerial Vehicle，UAV）遥感技术凭借高效、非破坏性等优势，已成为高通量表型获取的重要工具。但将航拍图像转化为可用的表型数据，必须先实现作物像素与背景的精确分割。实际田间环境中，杂草干扰、背景杂乱、品种间颜色与叶形差异大等因素严重降低分割精度，制约了表型提取的可靠性。此外，通用分割模型如SAM2（Segment Anything Model 2）虽在开放场景中表现优异，但缺乏作物特异性视觉先验，难以区分视觉相似的作物与杂草（“绿-绿”问题），且在阴影、复杂纹理等干扰下无法保留精细边界。少样本学习（Few-Shot Learning，FSL）通过少量标注样本实现模型泛化，为数据稀缺场景提供了解决方案，但现有少样本分割方法在应对高异质性莴苣种质时面临三大挑战：品种间类内差异大导致特征泛化弱；杂草等生物因素与地膜反光等非生物因素引入严重背景干扰；叶片重叠、边缘不规则和光照不均造成边界模糊。因此，亟需将作物特异性先验知识与特征增强机制引入分割基线模型。
二、研究内容与结论
针对上述问题，研究人员提出了一种构建于SAM2框架之上的原型增强少样本分割模型（Prototype-Augmented Few-Shot Segment Anything Model，PSAM）。该模型包含三项关键创新：原型特征增强提示模块（Prototype Feature-Enhanced Prompting Module，PFEM）、复合门控空间-通道注意力模块（Complex Gated Spatial-Channel Attention Module，CGSC）和复合损失函数（Composite Loss Function，CLF）。实验基于自建的露地莴苣数据集，共包含918份莴苣种质资源、1884个小区图像，由DJI Matrice 300 RTK无人机搭载Zenmuse P1全画幅RGB相机在18米高度采集，地面采样距离为0.1 cm/pixel。数据经Pix4Dmapper生成数字正射影像图（Digital Orthophoto Map，DOM），并进行对比度受限自适应直方图均衡化（Contrast-Limited Adaptive Histogram Equalization，CLAHE）和白平衡校正预处理。标注采用SAM2自动生成初始掩膜后人工精细修正的两阶段策略。数据集划分为65张训练图像、325张验证图像和1494张测试图像，外部原型特征库仅由训练集构建。在1-shot和5-shot设置下，PSAM与多种主流少样本分割模型及SAM2基线进行比较。结果显示，1-shot条件下PSAM的Dice系数达到97.90%，比最强基线DiffewS高1.56个百分点，比SAM2高5.10个百分点；边界IoU达94.71%，较SAM2提升5.47个百分点。消融实验表明PFEM、CGSC和CLF各自具有独立贡献，三者联合使用可获得最佳性能。基于高精度分割结果，研究人员自动提取了15个形态、颜色和纹理表型参数，为种质筛选提供了数据基础。
三、主要技术方法
1. **原型特征增强提示模块（PFEM）**：从图像编码器输出的深层特征图中，通过全局自适应平均池化和展平操作生成固定维度的原型特征向量；利用FAISS库建立外部特征库，采用k-means聚类构建倒排索引，实现高效的近似最近邻检索；检索到的原型经轻量级MLP适配器映射为与SAM2解码器嵌入维度一致的提示嵌入；通过由MLP和Softmax组成的门控融合网络，将原型提示与用户稀疏提示嵌入动态融合。特征库在训练中动态更新，采用类似最不经常使用（Least Frequently Used，LFU）的策略管理容量，测试阶段严格冻结以防数据泄露。
2. **复合门控空间-通道注意力模块（CGSC）**：包含通道注意力分支和空间注意力分支。通道分支通过一维卷积建模局部跨通道交互，抑制光照变化和阴影主导的通道；空间分支计算特征图各空间位置的均值与方差，经7×7卷积和Sigmoid激活生成空间注意力权重图，均值图捕捉目标整体激活以滤除背景噪声，方差图编码局部特征波动以定位结构边缘。两分支输出通过动态门控融合网络（全局平均池化+MLP+Softmax）自适应加权，并结合残差连接和批归一化稳定训练。模块插入掩膜解码器上采样层之后、最终掩膜预测之前。
3. **复合损失函数（CLF）**：联合Focal Loss和Dice Loss，Focal Loss通过调制因子降低易分类样本权重，使网络聚焦于难分类像素（如叶片边缘、重叠区域和阴影边界）；Dice Loss直接优化预测掩膜与真实掩膜的重叠区域，缓解类别不平衡并促进空间连续分割。总损失为两者加权和（权重设为20和1）。
四、研究结果
1. **不同模型分割性能比较**（对应原文3.2节）：在1-shot和5-shot设置下，PSAM在Accuracy、Precision、Recall、Dice、IoU和Boundary IoU六个指标上均优于所有对比方法。1-shot下Dice达97.90%，边界IoU达94.71%。可视化结果表明，Apseg存在明显假阳性和欠分割，DiffewS在密植区域仍有边界模糊，SAM2存在背景干扰和邻株分离不完整，而PSAM有效抑制背景假阳性并恢复不规则叶片轮廓，清晰分离相邻植株，验证了原型特征增强和复合注意力机制的有效性。
2. **消融实验**（对应原文3.3节）：单独引入PFEM使Dice从92.80%提升至94.99%，是单模块增益最大的；CGSC单独引入使边界IoU从89.24%提升至91.56%；CLF单独引入使边界IoU提升1.71个百分点。当三个模块全部集成的完整PSAM达到最佳性能（Dice 97.90%），类别激活热力图显示完整模型在整个植株区域产生强且均匀的激活，边界清晰、背景抑制有效，证明了各模块的互补作用。
3. **表型分析应用**（对应原文3.4节）：基于PSAM高精度分割结果，研究人员提取了15个表型参数，涵盖形态（冠层面积、紧凑度、长宽比、凸度）、颜色（RGB均值与标准差、归一化绿红差异指数NGRDI、过量绿色指数ExG、CIVE）和纹理（灰度共生矩阵GLCM对比度和同质性）。对1884个样本的分析显示，不同种质在冠层面积、紧凑度和NGRDI上呈现连续分布和显著变异。多性状联合分析中，位于“精英区”的种质同时具有高NGRDI和高紧凑度，且无早期抽薹引起的过度冠层扩张，可有效提高种质筛选效率。
五、讨论与结论
讨论部分首先验证了PSAM在四种代表性莴苣类型（绿叶莴苣、红叶莴苣、结球莴苣、散叶莴苣）上的稳定性能：模型成功克服颜色干扰、精确识别结球莴苣的紧凑球形、完整恢复散叶莴苣的不规则冠层结构。这归功于PFEM从外部特征库检索实例级先验的能力，以及CGSC对不同形态结构下高阶边界特征的精确感知。与传统CNN-based少样本方法（如PANet、CANet）相比，单一原型无法涵盖莴苣品种的高类内方差；扩散模型尽管产生较好的视觉表征，在密集种植区域的边界模糊问题仍未解决。PSAM通过动态检索实例级先验和对阴影通道的下加权处理，在杂草干扰、阴影、叶片重叠和边界模糊等复合条件下均表现出优越的边缘保持能力。研究局限包括：仅在单一作物（莴苣）上验证，跨作物泛化能力待测试；特征库基于训练数据的被动积累，缺乏关键样本主动选择机制；原型特征增强与注意力模块的交互仍较浅层。未来工作将扩展至多种典型作物、引入主动学习策略（如基于不确定性的采样）优化特征库构建，并在模型结构层面探索更深层的特征协同优化。
结论部分指出，本研究针对农业少样本分割中的领域知识有限、边界感知不足和品种间表型异质性高等关键问题，提出了原型增强分割框架PSAM。该框架基于SAM2架构，集成三个互补组件：PFEM引入外部特征库的实例级视觉先验，补偿基础模型缺乏的农业领域知识；CGSC动态整合空间和通道信息，增强对不同类型莴苣边界和细结构的敏感性；CLF联合优化像素级分类和区域级重叠，提升对叶片边缘等困难样本的稳健性。在大型田间莴苣数据集上的1-shot实验实现97.90%的Dice系数，显著优于SAM2基线，并在表型多样的品种间保持稳定性能。高精度分割结果支持自动提取15个表型参数，为莴苣育种的表型分析提供了可靠数据基础。未来将扩展至更多作物物种，并探索原型表示与模型内部计算的更深层交互，进一步提升该方法在智慧农业中的实用性和可扩展性。论文发表于《Plant Phenomics》。
