《Crop Design》：PhytoDA: a depth-guided plant phenotyping and annotation platform for complex crop-image analysis
编辑推荐：
基于图像的表型分析对于将作物设计与可测量的植物表现联系起来至关重要，但复杂的背景和碎片化的工作流程限制了其实际应用。研究人员提出了PhytoDA，一个用于RGB图像表型分析与注释的开源桌面平台。在其自动化流程中，Depth Anything V2估算相对深度，
基于图像的表型分析对于将作物设计与可测量的植物表现联系起来至关重要，但复杂的背景和碎片化的工作流程限制了其实际应用。研究人员提出了PhytoDA，一个用于RGB图像表型分析与注释的开源桌面平台。在其自动化流程中，Depth Anything V2估算相对深度，深度衍生的前景掩膜在基于Segment Anything Model（SAM）的实例分割和任务特异性性状提取之前抑制背景像素。PhytoDA还提供可检查的中间输出、可选的结果校正、手动测量、注释工具以及自然语言命令界面。与OpenPheno的定量比较涵盖了五个任务，每个任务使用十张源图像和独立的人工整理参考值；仅分析有效的配对数值输出，未进行人工后期修正。PhytoDA在四个任务中显示出更低的任务级图像聚合平均绝对百分比误差，而OpenPheno在叶片表型分析中略低，该任务仅有一张配对图像可用。在810张CVPPP图像的配对消融实验中，深度引导门控使平均Dice、交并比和精确率分别提高了0.031、0.049和0.062，同时召回率降低了0.015。在单操作员评估中，Copilot正确执行了18条有效命令中的17条，并在六项配对GUI任务中实现了22.0%的平均任务特异性时间节省。在GPU上使用Fast（ViT-B）时，七项任务的平均总处理时间在每张图像2.52 ± 1.99秒至28.69 ± 11.90秒之间。这些结果支持PhytoDA作为在所评估图像集内用于任务特异性作物图像表型分析、注释和数据导出的可人工校正平台。
作物表型鉴定是连接基因型、环境和管理措施与可测量植物表现的关键环节。尽管基因分型和多组学技术发展迅速，表型分析仍是主要瓶颈，因为许多重要性状仍需在可变的实验和田间条件下从植物、器官、小区或图像中量化。基于图像的表型分析通过非破坏性、可重复和可扩展的方式测量器官数量、长度、宽度、投影面积、周长、颜色、角度和冠层覆盖度等性状，为作物设计工作流程中的生长评估、株型解析、胁迫响应和育种表现评价提供了可观察的证据。
然而，从复杂植物图像中可靠地提取性状仍面临诸多挑战。公共基准数据集和社区评估表明，植物分割对器官重叠、形态变异、背景纹理和图像采集条件高度敏感。田间和实验室图像中的土壤、托盘、阴影、邻近植株、密集冠层和不均匀光照均可导致误检或边界不准确。此外，工作流程碎片化问题突出，用户不得不在分割、人工校正、测量、注释和数据导出等不同工具之间切换，增加了劳动强度，削弱了质量控制，也限制了同一图像集在表型分析和训练数据构建中的复用。近年来的基础模型，如SAM（Segment Anything Model，一种可提示的图像分割基础模型）和Depth Anything V2（一种单目深度估计基础模型），提供了强大的组件能力，但尚未构成完整的植物表型分析系统。因此，研究人员开发了PhytoDA，一个深度引导的植物表型与注释平台，旨在将深度引导的前景提取、实例分割、性状计算、人工校正、注释导出和可复现输出整合为统一的可检查工作流程。
研究人员围绕PhytoDA平台开展了一系列功能验证和性能评估。研究首先通过与公开平台OpenPheno的跨平台定量比较，在五个任务共50张源图像上评估了PhytoDA自动流程与人工整理参考值的吻合程度。此外，利用CVPPP公共基准的810张叶片图像进行了配对消融实验，以分离深度引导前景门控的独立贡献。研究还开展了单操作员的Copilot自然语言命令界面功能与操作效率评估，并在GPU和CPU条件下对三种SAM模型变体进行了计算效率基准测试。样本数据方面，任务对比图像来自OpenPheno研究附带的代表性植物图像及公开在线来源；消融实验使用CVPPP A1–A4训练集。
主要研究结果如下：
**5.1 跨作物器官的定性表型分析表现。** 在异质田间和实验室条件下，PhytoDA对叶片、番茄、玉米穗、幼苗和小麦穗均生成了可视觉检查的最终表型输出，覆盖密集植被、土壤、盆栽基质、田间场景和自然模糊等情况。由于缺乏独立真值掩膜，这些案例用于展示工作流程适用性和输出可检查性，而非分割精度验证。
**5.2 与OpenPheno的定量比较。** 在有效配对图像中，PhytoDA在种子分析、番茄表型分析、小麦叶夹角测量和冠层分析四个任务中显示更低的任务级图像聚合MAPE（平均绝对百分比误差）。种子分析方面，PhytoDA的MAPE为3.87 ± 0.48%，OpenPheno为29.37 ± 22.32%；番茄表型分析方面分别为2.21 ± 0.37%和222.55 ± 401.33%；小麦叶夹角测量分别为2.68 ± 2.80%和5.07 ± 3.65%；冠层分析分别为0.97 ± 0.29%和23.28 ± 9.74%。OpenPheno在叶片表型分析中MAPE略低（3.34%对3.67%），但该比较仅基于一张有效配对图像，应视为描述性结果。
**5.3 性状水平表现与可选结果校正范围。** 在有效配对图像内，PhytoDA在所有评估的种子、番茄、小麦叶夹角和冠层性状中均显示较低的MAPE和MAE，其中种子面积与周长、番茄面积、周长与直径以及冠层面积的差异最大。所有PhytoDA报告值均来自未编辑的自动流程，未使用结果校正功能；该功能作为可选的后期质量控制工具保留，其效果不在基准评估范围内。
**5.4 CVPPP公共基准上的深度引导消融实验。** 在全部810张图像上，深度引导前景门控使平均Dice从0.853提高至0.884，IoU从0.758提高至0.807，精确率从0.786提高至0.848，配对提升量分别为0.031、0.049和0.062，95%置信区间均不包含零。平均召回率从0.964小幅降至0.949（Δ = ?0.015）。A4子集改善幅度最大，A3子集的变化置信区间包含零，表明该子集未观察到明显收益。精确率的持续提高表明深度引导主要减少了假阳性背景预测，同时伴随轻微的前景召回率损失。
**5.5 Copilot功能与操作效率评估。** Copilot正确执行了18条有效命令中的17条（94.4%），并对缺少前置条件和不受支持的请求给出了恰当响应（2/2，100.0%）。在六项配对任务中，Copilot平均完成时间为10.0秒，传统GUI为14.2秒，平均配对时间节省为22.0%。
**5.6 计算效率。** 在GPU上，Fast（ViT-B）、Balanced（ViT-L）和High Precision（ViT-H）的平均每图像处理时间分别为14.14 ± 11.19、14.33 ± 11.39和14.97 ± 12.29秒，峰值VRAM分别为3.96、5.55和6.86 GB。CPU处理显著更慢。七个任务中，番茄表型分析的平均总GPU处理时间最低（2.52 ± 1.99秒/图像），小麦穗分析最高（28.69 ± 11.90秒/图像），其中SAM分割是总运行时间的最大组成部分。
讨论部分指出，与文本和点提示方法相比，PhytoDA自动流程采用逐图像Otsu阈值化归一化相对深度以抑制背景像素，无需用户提供点或框提示。深度门控不提供语义类别识别，也不保证分离相似深度处接触的器官，语义和空间提示仍为互补选项。当前实验未建立对上述方法的优越性结论，直接比较需要共同数据集、评估目标和明确提示协议。
研究结论为：PhytoDA通过整合深度引导前景提取、SAM实例分割、任务特异性性状提取、可校正结果管理和注释工具，在统一工作流程中支持自动分析、手动测量和数据集注释，减少了对独立分割、测量和注释工具的切换需求，同时保持工作流程的可检查性和可校正性。在所评估图像集内，完全自动的PhytoDA输出在五个定量任务组中的四个显示较低的描述性图像级MAPE；消融实验支持深度引导在减少假阳性背景预测中的作用；Copilot评估支持其操作便利性。由于有效配对图像数量有限且分布不均，这些结果支持工作流程可行性和任务特异性表现，而非跨所有作物图像条件的广泛泛化。未来工作将扩大定量基准、提升严重遮挡和极端光照下的鲁棒性、使用更大规模独立注释数据集评估更多作物与成像条件，并研究校正日志和离线学习策略以减少重复人工检查。
