《The Plant Phenome Journal》：A data-driven image extraction and analysis pipeline for plant phenotyping in controlled environments
编辑推荐：
自动化、成像和人工智能的进展使大规模植物表型分析成为可能，但图像分析仍然是作物改良和生物学发现的关键瓶颈。研究人员开发了一个集成的多光谱表型分析框架，使用 Texas A&M AgriLife Automated Precision Phenotyping G
自动化、成像和人工智能的进展使大规模植物表型分析成为可能，但图像分析仍然是作物改良和生物学发现的关键瓶颈。研究人员开发了一个集成的多光谱表型分析框架，使用 Texas A&M AgriLife Automated Precision Phenotyping Greenhouse 的图像，并扩展了植物生长与表型（plant growth and phenotyping，PGP）v2 数据，涵盖玉米（Zea mays L.）、棉花（Gossypium hirsutum）、水稻（Oryza sativa）和高粱（Sorghum bicolor L.）。该流程整合了伪红-绿-蓝复合图像（pseudo-red-green-blue composite image，pseudo-RGB）生成、植物检测与分割、图像拼接、植被指数分析、纹理分析、形态性状提取，以及图像衍生特征的时序比较，以量化植物结构、光谱反射率和纹理随时间的变化。在评估的分割方法中，segment anything model（SAM）v3 在不同作物结构上提供了最高且最一致的准确率，但比经典方法需要更长的计算时间。用于长序列的 segment anything model（SAM2Long）在垂直堆叠帧中维持了植物实例关联，而基于尺度不变特征变换（scale-invariant feature transform，SIFT）的拼接在单株植物超出单视野时重建了植物拼接图。对于每株植物和每个成像日期，该流程生成了 863 维特征向量，涵盖植被指数、光谱统计量、纹理描述符和形态性状。该框架通过两个案例研究进行评估：诱变高粱品系处理水平的时序分析，以及使用独立成像系统的玉米冷胁迫表型分析。在两项研究中，提取的特征支持表型变异的统计和多变量分析，并能够根据处理或胁迫相关响应区分植物。组合数据集和工作流为受控环境植物科学和作物改良提供了跨多种作物、实验设置和成像系统的结构化、自动化且记录良好的表型分析。
该论文围绕受控环境高通量植物表型（high-throughput plant phenotyping，HTP）中的图像分析瓶颈展开。尽管全球已建设自动化温室、生长室和气候室等设施，但数据分析、元数据管理、可复用性和跨研究可比性仍不足，早期表型项目多依赖项目特异工作流，限制长期扩展。Texas A&M AgriLife Automated Precision Phenotyping Greenhouse（APPG）强调技术与生物团队协同，但仍需端到端、自动且文档化的多光谱表型分析框架。研究人员因此开发集成框架，扩展植物生长与表型（plant growth and phenotyping，PGP）v2 数据集，并在玉米、棉花、水稻和高粱中验证，进一步通过诱变高粱和玉米冷胁迫两个案例评估其可迁移性。其意义在于将图像采集、分割、追踪、拼接和特征提取统一到开源流程中，为受控环境植物科学与作物改良提供结构化、可重复的表型资源。
关键技术方法上，研究人员依托 APP G 和 PGP v2 数据集，样本来源包括玉米、棉花、水稻和高粱的约14,448、27,660、1,376和10,608幅多光谱图像，并有1,840幅人工标注高粱图像；玉米冷胁迫样本来自 University of Nebraska–Lincoln CERCA 项目的10个玉米杂交种和50幅图像。流程采用四波段（黄580 nm、红660 nm、红边735 nm、近红外820 nm）成像，生成伪RGB，使用YOLO v12检测、SAM v3或BiRefNet分割、SAM2Long追踪、SIFT拼接、PlantCV/OpenCV形态分析、DINO自监督预训练与YOLOv12关键点微调，并计算48种植被指数及LBP、HOG、lacunarity、EHD纹理特征，结合PCA和线性混合效应模型（linear mixed-effects model，LMM）分析。
研究结果方面，3.1 植物分割性能：研究人员比较经典Otsu、分水岭与BEN v2、BiRefNet、BiRefNet Dynamic、SAM v2.1、SAM v3、YOLO v11和YOLO v12。SAM v3获得最高IoU 0.78±0.04和Dice 0.88±0.02，BiRefNet为0.72±0.17，经典方法较低且波动大；SAM v3计算时间约280–352 ms，经典约7.8–19.0 ms，结论为深度学习分割精度增益值得其计算成本，尤其对复杂冠层如高粱和水稻。3.2 时序实例级追踪性能：比较SAM v3独立模式与BiRefNet+SAM2Long。SAM2Long在高粱和玉米垂直帧中总体保持实例身份，SAM v3出现身份切换、过分割、碎片化或合并；结论为显式时序关联改善身份稳定性，但密集冠层仍有敏感，需图像拼接。3.3 图像拼接性能：评估BRISK、AKAZE和SIFT，SIFT平均匹配31.4且12/12帧对成功，BRISK为20.9和10/12，AKAZE为25.6和12/12；SIFT最稳定。3.4 植物尖端检测性能：DINO自监督预训练后经YOLOv12微调，Pose指标达到P 0.84、R 0.85、mAP50 0.90、mAP50-95 0.89，高于无自监督监督基线的0.50 mAP50-95；结论为自监督预训练提升关键点检测并减少人工标注依赖。3.5 提取特征的时序动态：每株每日期提取863维特征，NDVI轨迹示例展示纵向追踪，PCA跨玉米、棉花、水稻和高粱显示光谱、纹理和形态域的协调变化。3.6 纹理特征提取：在棉花伪RGB灰度图上提取LBP、HOG、lacunarity和EHD，分别表征微结构、边缘方向、空间异质性和各向异性，补充光谱与形态特征。3.7 流程效率与可扩展性：在RTX 4090和Intel i9-10920X上，单张拼接图约13.7 s，纹理提取占50%–60%，高粱48株×17日期共816张拼接图约需3.1 h，输出863维CSV特征矩阵。3.8 案例研究：3.8.1 处理水平比较中，诱变高粱低能电子束处理7组与未处理对照各组6株，视觉无明显差异；个体水平Plant47（Group 7）最偏离对照，106/240特征原始显著、22个FDR显著；组水平Group 2最强，170个原始显著、162个FDR显著，Group 7第二，Group 4有9个FDR显著，其余组校正后无显著特征。3.8.2 玉米冷胁迫响应中，独立RGB成像的10个基因型、50幅图像、5个条件被分析，PC1解释46.7%、PC2解释32.1%，合计78.8%；恢复样本向正PC1和负PC2移动，冷处理样本向正PC2移动且PC1分散最大，基线居中；ExG、ExR、GLI、MGRVI、ExGR和BIXS等指标驱动分离，结论为流程可从独立成像系统提取生物学相关RGB衍生特征，部分区分杂交种并捕获冷处理和恢复变异。
讨论与结论部分指出，该流程主要面向APPG过去和未来植物科学项目，但设计为其他受控环境设施可以较少技术门槛采用；其开源实现包括预处理、分割、追踪、拼接、特征提取和下游分析。研究结论可翻译为：这项工作为受控环境中的多光谱植物表型分析提供了集成框架。该分析流程将自动图像采集、校准、分割、时序追踪和特征提取整合为连贯且易用的工作流，用于标准化环境条件下的性状提取。通过结合伪RGB生成、作为默认分割模型的SAM v3、作为替代可配置分割选项的BiRefNet，以及需要跨帧身份传播时作为时序实例追踪模块的SAM2Long，该框架支持准确的植物分离和跨垂直堆叠图像序列的稳定身份分配。自监督关键点检测的加入进一步增强了对植物高度、叶片排列和冠层结构的定量表征。PGP v2数据集提供超过50,000幅跨多种作物和处理组的多光谱图像，为受控环境表型组学中的计算机视觉方法开发和基准测试提供资源。两个案例研究证明，该框架能够捕获处理水平时序变异和胁迫响应表型；在玉米冷胁迫案例中，流程从独立成像系统提取了具有生物学相关性的RGB衍生图像特征，部分区分了基因型，并捕获了与冷处理和恢复相关的变异。未来APPG成像将纳入校准参考目标以实现标准化辐射校准；目前成像头高度调整仍为手动，是当前局限，将在未来硬件开发中解决。未来工作将探索纵向植物生长轨迹异常检测的时序建模，并整合邻域感知机制，包括邻域特征池化，以增强植物胁迫和处理区分的纹理感知建模。
