《Computers and Electronics in Agriculture》：LeafTrackNet: A deep learning framework for robust leaf tracking in top-down plant phenotyping
编辑推荐：
摘要专业翻译
自动化植物表型分析是现代农业的关键要素，为监测植物生长、早期检测胁迫响应以及通过数据驱动的洞察加速作物改良提供了可扩展且精准的工具。虽然传统的整株植物表型分析可为评估整体生物量或产量提供有价值的信息，但往往无法揭示关键的植株内部动态，例如可指示发
摘要专业翻译
自动化植物表型分析是现代农业的关键要素，为监测植物生长、早期检测胁迫响应以及通过数据驱动的洞察加速作物改良提供了可扩展且精准的工具。虽然传统的整株植物表型分析可为评估整体生物量或产量提供有价值的信息，但往往无法揭示关键的植株内部动态，例如可指示发育或生理变化的细微器官水平变化。为克服这一局限，器官水平表型分析已成为一种强有力的替代方案，能够对单个植物结构进行精细监测。其中，叶片尤为重要，因为它们是光合作用和气体交换的主要场所，且常表现出干旱、养分缺乏或病原体感染等生物与非生物胁迫的早期可见症状（Yan et al., 2016; Jeong et al., 2025; Zhang et al., 2024）。叶片水平性状——如出叶时间、生长速率、形态变化和衰老——不仅是植物健康状况的敏感指标，还携带用于基因型评估和胁迫耐受性筛选的表型信号（Cai et al., 2016）。通过对单个叶片进行时间序列追踪，可获得表征面积、长度和曲率等形态描述符的连续逐叶时间序列。这些轨迹支持估算瞬时生长速率、加速度以及关键发育转变的时间节点，包括出叶、扩张平台期和衰老起始期，这些指标被广泛用作植物活力和胁迫响应的指示因子（Das Choudhury et al., 2018）。此外，叶片分辨的时间分析可揭示由处理驱动的动态变化，例如对养分可利用性的响应，而这些变化在整株汇总中可能被削弱或掩盖（Swartz et al., 2023）。在叶片水平开展精细且自动化的形态评估能力，对推进精准农业和作物抗逆性研究具有重要前景。
在此背景下，甘蓝型油菜（Brassica napus，即canola）因其经济和生态价值而备受关注。该作物广泛种植用于食用油、动物饲料和生物燃料生产，并在轮作系统中对改善土壤健康发挥关键作用（Correndo et al., 2024; Lassoued et al., 2025）。然而，油菜复杂的莲座状结构、动态生长模式、叶片大小和形状的巨大变异以及频繁的相互遮挡，给自动化器官水平表型分析带来了相当大的挑战——尤其是在针对整个发育过程中单叶追踪时。应对这些挑战需要能够有效捕获随时间变化的复杂叶片结构的成像模态和追踪方法。
俯视RGB成像已成为叶片水平植物表型分析中的常用方法，尤其适用于油菜和拟南芥（Arabidopsis thaliana）等莲座期作物。该模态在成本、可扩展性和分辨率之间提供了有吸引力的平衡，且无需3D重建或多角度采集系统的复杂性（Daviet et al., 2022）。叶绿素荧光（Jurado-Ruiz et al., 2024）、深度传感器（Uchiyama et al., 2017）和红外相机（Cruz et al., 2016）等其他成像模态可提供额外的结构或生理信息。然而，这些系统通常价格昂贵，需要专门的设置和受控光照条件，使其难以用于长期或大规模部署。相比之下，RGB图像提供了一种实用且可扩展的解决方案，编码了丰富的视觉信息，包括颜色、纹理和结构，这些对于精确的叶片水平识别和时间追踪至关重要。然而，利用RGB图像进行长期叶片追踪仍具挑战性。形态和外观相似的叶片经常相互遮挡，新叶萌发而老叶衰老，花盆移动引起的旋转效应带来朝向不一致性。这些随时间变化的动态可导致身份切换、漂移和追踪碎片化，若未显式处理则会导致追踪性能不佳。
为应对这些挑战，已有若干植物特异性方法被提出。LeTra（Jurado-Ruiz et al., 2024）通过基于交并比（IoU）的掩膜匹配执行叶片实例追踪，Plant-Doctor（Montagut-Marquès et al., 2025）使用轻量级卷积神经网络（CNN）学习外观嵌入以关联病害叶片检测结果。虽然这些方法有前景，但在长期身份保持和遮挡处理方面往往存在困难，尤其是在油菜等复杂且动态的作物中。这些挑战表明，可靠的叶片追踪需要一种较少依赖瞬时几何对应关系、更能跨生长引起的外观变化保持叶片身份的表征。特别是，当叶片扩张、变形、重叠、消失或在花盆旋转下移位时，质心位置、叶片大小和掩膜重叠等几何线索可能变得不稳定。相反，面向通用计算机视觉的最新多目标追踪方法，包括ByteTrack（Zhang et al., 2022）、BoT-SORT（Aharon et al., 2022）、MOTRv2（Zhang et al., 2023）和MOTIP（Gao et al., 2025），已在行人或车辆追踪等实际应用中展现出强劲性能。然而，这些模型不能直接迁移到植物领域，因为它们依赖于刚体运动、稳定几何和一致视觉特征等假设，而这些假设在植物场景中因非线性叶片生长、自遮挡和旋转伪影而经常被违反。因此，如实验所示，将通用多目标追踪模型直接应用于植物数据可能导致长期叶片追踪性能不佳。此外，用于叶片追踪的深度学习方法的发展一直受到缺乏大规模、高质量标注数据集的限制，这些数据集需能捕捉真实农业条件的复杂性。现有的俯视RGB数据集通常规模较小、观测周期短、分辨率相对较低，既限制了稳健模型的开发，也制约了比较基准的建立。
在本工作中，研究人员通过三项主要贡献来解决这些局限：（i）CanolaTrack数据集。研究人员提出了据其所知最大的作物叶片追踪高分辨率数据集CanolaTrack。该数据集包含184株油菜植株在连续31天内采集的俯视图像，共计5704幅RGB图像和31,840个带持久身份标签的叶片标注边界框。数据集捕捉了真实的生物学事件，如出叶、衰老、遮挡、重现、非均匀生长和花盆旋转。（ii）LeafTrackNet。研究人员提出了一种高效的追踪框架，将微调的YOLOv10检测器（Wang et al., 2024）与使用三元组边际损失训练的MobileNetV3嵌入头（Howard et al., 2019）相结合。叶片检测结果通过余弦相似度和匈牙利分配进行关联，以在生长、遮挡和重现过程中保持身份。（iii）跨数据集评估。研究人员在CanolaTrack、KOMATSUNA和MSU-PID数据集上使用相同的推理超参数评估LeafTrackNet，未进行数据集特定的调参。在默认初始化下，LeafTrackNet在三个数据集上取得了最高的HOTA（高阶追踪精度）分数。结果以三次独立运行的均值±标准差报告。
论文解读文章
一、研究背景与问题
自动化植物表型分析是现代精准农业的核心技术之一，其目标是通过可扩展、高精度的工具实现对植物生长过程的系统监测，从而为早期胁迫检测和作物遗传改良提供数据支撑。传统整株水平的表型分析虽能评估整体生物量和产量，但无法揭示植株内部器官层面的动态变化，而这些细微变化往往蕴含着重要的发育和生理信息。叶片作为光合作用和气体交换的主要场所，其出叶时间、生长速率、形态变化和衰老进程等性状不仅是植物健康状况的敏感指标，也是基因型评估和胁迫耐受性筛选的重要表型信号。通过对单叶进行时间序列追踪，可以获得连续的单叶形态学时间序列数据，进而估算瞬时生长速率和关键发育转变的时间节点。
甘蓝型油菜因其经济和生态价值而成为器官水平表型分析的重要研究对象。然而，油菜复杂的莲座状结构、动态生长模式、叶片大小和形态的巨大差异以及频繁的相互遮挡，给自动化叶片追踪带来了巨大挑战。俯视RGB成像因其在成本、可扩展性和分辨率之间的良好平衡而成为莲座期作物表型分析的主流方案，但利用RGB图像实现长期叶片追踪仍面临多重困难：形态相似的叶片频繁相互遮挡、新叶萌发与老叶衰老并存、花盆移动造成的旋转效应等，这些因素可导致身份切换、漂移和追踪碎片化。
现有植物特异性追踪方法如LeTra和Plant-Doctor虽取得一定进展，但在长期身份保持和遮挡处理方面存在明显不足。通用多目标追踪方法（如ByteTrack、BoT-SORT、MOTRv2和MOTIP）虽然在行人和车辆追踪中表现优异，但其依赖刚体运动、稳定几何和一致视觉特征等假设，在植物场景中因非线性叶片生长、自遮挡和旋转伪影而经常失效。此外，该领域长期缺乏大规模、高质量、能反映真实农业条件复杂性的标注数据集，制约了稳健模型的开发和比较基准的建立。
二、研究内容与主要贡献
针对上述问题，研究人员开展了系统性研究，提出了三项主要贡献：
第一，构建了CanolaTrack数据集。 这是目前已知最大的作物叶片追踪高分辨率数据集，包含184株油菜植株在连续31天内的俯视图像，共5704幅RGB图像和31,840个带持久身份标签的叶片标注边界框。该数据集真实捕捉了出叶、衰老、遮挡、重现、非均匀生长和花盆旋转等生物学事件，为叶片追踪模型的训练和评估提供了高质量的基准资源。
第二，提出了LeafTrackNet追踪框架。 该框架将微调的YOLOv10检测器与MobileNetV3嵌入头相结合，采用三元组边际损失进行训练，学习具有判别力和时间一致性的叶片外观嵌入。推理阶段通过余弦相似度和匈牙利分配将检测结果与记忆库进行匹配，在不依赖几何连续性的前提下实现叶片身份的跨帧传播。
第三，开展了跨数据集评估。 研究人员在CanolaTrack、KOMATSUNA和MSU-PID三个数据集上使用完全相同的推理超参数评估LeafTrackNet，在默认初始化下均取得了最高的HOTA分数，验证了该方法的泛化能力。
三、关键技术方法
研究人员主要采用了以下几项关键技术方法：基于YOLOv10的叶片检测器用于空间定位；基于MobileNetV3的嵌入提取网络用于学习叶片外观表征，并通过三元组边际损失（triplet margin loss）进行训练以增强类间判别力；采用余弦相似度（cosine similarity）计算检测结果与记忆库中历史轨迹之间的外观匹配度；使用匈牙利分配算法（Hungarian assignment）进行最优匹配求解；构建记忆库（memory bank）存储历史叶片嵌入以实现跨帧身份关联。训练数据来源于自建的CanolaTrack数据集，包含184株油菜植株连续31天的俯视RGB图像。
四、研究结果
数据集对比分析。 通过将CanolaTrack与现有公开数据集（LeTra、KOMATSUNA、MSU-PID）进行系统对比，CanolaTrack在图像数量（5704幅）、分辨率（1200×1200）、植株数量（184株）、标注叶片数（31,840个）和时间跨度（24小时间隔）等方面均具有显著优势，且是唯一包含花盆旋转条件的数据集，更贴近真实农业场景的复杂性。
消融实验与组件分析。 研究人员通过消融实验验证了各核心组件的有效性。结果表明，采用三元组损失训练的MobileNetV3嵌入头显著优于未经过专门训练的通用外观嵌入，证明了针对叶片形态变异和生长阶段动态进行专门训练的必要性。记忆库机制在遮挡和叶片重现场景中有效维持了身份一致性，减少了身份切换和追踪碎片化。
跨数据集泛化验证。 在CanolaTrack、KOMATSUNA和MSU-PID三个数据集上的评估结果表明，LeafTrackNet在默认初始化下均取得了最高的HOTA分数。与LeTra、Plant-Doctor以及通用多目标追踪方法（ByteTrack、BoT-SORT、MOTRv2、MOTIP）的对比实验显示，LeafTrackNet在叶片追踪这一特定任务上具有明显优势，特别是在处理遮挡、叶片重现和非线性生长等复杂场景时表现更为稳健。
与现有方法的性能对比。 在CanolaTrack数据集上，LeafTrackNet在HOTA、IDF1（身份F1分数）等关键指标上均优于所有对比方法。通用多目标追踪方法因依赖刚体运动和几何连续性假设而在植物场景中表现不佳，而LeTra等基于IoU掩膜匹配的方法在严重遮挡和大形变条件下出现较多身份错误。LeafTrackNet通过学习的外观嵌入结合记忆库匹配策略，有效克服了这些局限性。
五、讨论与结论
讨论部分指出，叶片追踪的难点在于需要在较大的时间间隔（如每日一帧）下保持身份一致性，同时应对生长驱动的外观漂移、频繁自遮挡、出叶与衰老事件以及偶发的全局旋转。研究表明，将空间定位与身份匹配解耦，并学习对时间稀疏性和不连续性鲁棒的叶片表征，是解决这一问题的有效策略。通用多目标追踪方法在植物场景中的失效，根源在于其隐含的刚体运动和轨迹平滑假设与植物生长的非线性特征存在根本冲突。
研究结论表明，LeafTrackNet通过将YOLOv10检测器与经三元组损失训练的MobileNetV3嵌入头相结合，并采用余弦相似度和匈牙利分配进行记忆关联，在叶片追踪任务中达到了最先进的性能。CanolaTrack数据集的发布为植物表型分析领域提供了大规模、高分辨率、包含真实生物学复杂性的基准资源。该研究发表于《Computers and Electronics in Agriculture》，其方法和数据集有望推动器官水平植物表型分析的自动化进程，为精准农业和作物抗逆性研究提供有力工具。
