《Ecological Informatics》:Leveraging foundation models and time-lapse photography for semi-automated tracking of tree apical growth
编辑推荐:
初级生长是决定树苗存活、竞争、森林组成和生产力的关键因素。尽管其重要性不言而喻,但目前尚无成熟的原位技术能够高效追踪精细尺度的高度生长。为解决这一问题,研究人员开发了一种半自动方法,利用延时图像和分割一切模型v2(Segment Anything Model
初级生长是决定树苗存活、竞争、森林组成和生产力的关键因素。尽管其重要性不言而喻,但目前尚无成熟的原位技术能够高效追踪精细尺度的高度生长。为解决这一问题,研究人员开发了一种半自动方法,利用延时图像和分割一切模型v2(Segment Anything Model v2,SAM2;Meta AI Research)量化针叶树的顶端生长。研究人员从加拿大魁北克的两个地点获取了105个香脂冷杉(Abies balsamea)顶芽的影像时间序列,覆盖13个生长季,使用两种不同相机类型,背景从其他树木变化到天空。研究人员使用SAM2结合手动提示(prompts)分割影像时间序列中的顶芽,测量每个分割的长度,并应用后处理步骤处理潜在的错误分割。SAM2导出的顶芽长度与独立的手动参考测量值高度一致(R2=0.984,8309张图像),而手动测量平均每个序列耗时1小时,比SAM2方法(平均3分1秒)长20倍。SAM2与手动生长序列在75%生长幅度时的时机一致性中等(R2=0.57),可通过掩膜修订进行增强。这一成本效益高的精细尺度监测框架可用于追踪幼苗、幼树和林分水平的生长,还可增强物候相机网络(phenocam networks)中常绿树的初级生长追踪,并为大规模遥感计划提供参考测量。通过促进季节内高度生长曲线的开发,该方法可支持识别气候适应性物种和种源。
**论文解读:利用基础模型和延时摄影实现树木顶端生长的半自动追踪**
**研究背景与问题**
树木的初级生长(primary growth),即顶端分生组织细胞分裂导致的茎干伸长,是决定树苗存活、竞争、森林组成和生产力(forest productivity)的关键因素。在幼树阶段,高度生长影响光照获取和生存;在林分发育阶段,高度生长速率差异塑造未来林分组成;在成熟林中,高度生长持续影响冠层结构和竞争。然而,与径向生长(radial growth)的高频监测(如电子树轮计)不同,目前尚无广泛使用的原位技术可高效追踪精细尺度的高度生长。传统方法依赖手动使用尺子测量,耗时费力,且难以捕捉日尺度上的动态变化。遥感方法(如地面激光扫描和卫星激光雷达)也无法提供每日精细高度生长数据。因此,迫切需要开发新型测量技术,以建立物种特异的高度生长物候曲线,并量化高度生长对环境驱动因子的响应。
**研究内容与结论**
本研究开发并评估了一种半自动方法,利用延时摄影(time-lapse photography)和分割一切模型v2(Segment Anything Model v2,SAM2;Meta AI Research)监测香脂冷杉(Abies balsamea (L.) Mill.)的精细尺度初级生长。研究人员从加拿大魁北克Montmorency森林的两个地点(LLEC和LLFM)获取了105个顶芽(apical leaders)的影像时间序列,覆盖13个生长季(2012–2024年),使用两种不同相机类型,背景从密集的冷杉枝干到纯天空变化。通过手动提示框和负点提示每5帧引导SAM2分割顶芽,并分两个阶段(早期芽和晚期伸长)处理,结合后处理步骤(合并碎片、异常值检测和Weibull平滑)获得每日长度估计。结果与手动参考测量高度一致(R2=0.984,8309张图像),平均每个序列耗时3分1秒,而手动方法需1小时(快20倍)。对于75%生长幅度的时机,一致性中等(R2=0.57),可通过掩膜修订改进。该方法成本效益高,可用于追踪幼苗、幼树和林分生长,增强物候相机网络对常绿树初级生长的监测,并为大规模遥感提供参考测量。该研究发表在《Ecological Informatics》。
**关键技术方法概述**
研究采用延时摄影获取每日图像(每日一张,选择清晨或傍晚以减少弯曲),利用SAM2(基于Transformer的视觉基础模型,采用Hiera-Large骨干网络)进行半自动分割。每5帧提供手动提示框和两个负点提示,分两个阶段(早期芽和晚期伸长)分别处理以应对形状变化。后处理包括合并高度>20像素的碎片、异常值检测(基于相邻日变化超过最大长度的180%)、Weibull平滑(形状参数C=3)。样本队列来源于加拿大魁北克Montmorency森林的两个地点(LLEC: 47.324°N, 71.126°W; LLFM: 47.313°N, 71.128°W),共105个顶芽序列,跨越13个生长季。
**研究结果**
**1. 与手动测量的一致性**
研究人员通过比较SAM2导出的顶芽长度与手动标注参考值,发现整体高度一致(R2=0.98,n=8309张图像)。短掩膜(<50像素,对应芽和轮生枝)和长掩膜(>50像素,对应伸长顶芽)均表现可靠,RMSE分别为5.4像素和19.1像素。不同背景(密集冷杉枝干 vs 纯天空)下追踪可靠性相似,提示频率有助于区分相似物体。
**2. 不同相机类型和背景下的表现**
评估了四种相机设置(LLEC 8 MP Stealth Cam、LLEC 12 MP Stealth Cam、LLFM 12 MP Stealth Cam、LLFM 12 MP Spypoint),RMSE范围为11.9至23.6像素,R2范围为0.97至0.99。由于相机类型、站点、年份和图像数量混杂,这些差异不应解释为相机效用的证据。
**3. 生长动态模式**
顶芽长度时间序列呈现S形曲线,通常5月底至6月初开始生长,7月中旬完成。生长最快在6月。SAM2曲线紧密跟随手动曲线,但在早期生长阶段有高估趋势,后期有低估趋势。
**4. 物候学比较**
SAM2与手动测量在25%和50%生长完成时机的预测一致性较好(R2分别为0.79和0.72),但75%生长时机一致性中等(R2=0.57)。Bland-Altman分析显示误差分布均匀,但75%生长时机的随机误差更大(±7天 vs ±4–5天)。早期生长(50%生长在7月6日前)的预测更准确(RMSE 2.0天 vs 2.8天)。平滑处理显著改善了物候估计,减少了约2–3天的RMSE。
**总结讨论与结论**
讨论部分指出,本研究开发的半自动方法在多种背景、弯曲顶芽和不同社会地位树木下表现良好,平均每个序列仅需3分1秒,比手动方法快20倍。但该方法并非全自动,仍需每5帧提供提示框和手动识别阶段转换。总体长度测量精度高(R2=0.98),但物候追踪精度有限(75%生长时机R2=0.57),可通过掩膜修订改进。该方法可应用于基因型选择、针叶树物候追踪和大规模监测,如与TransX项目(种植监测超过85,000株幼苗)结合。未来工作可扩展至其他树种,并提高自动化程度(如文本提示)。研究结论翻译如下:
**结论**
本研究开发并评估了一种新型半自动方法,利用每日延时摄影和分割一切模型v2(SAM2;Meta AI Research)监测香脂冷杉幼树的精细尺度高度生长。在每个105个年度影像序列中,每5张图像提供引导提示,追踪休眠顶芽发育为成熟伸长的顶芽的过程。SAM2导出的顶芽长度与每张图像的手动标注参考值高度一致(R2=0.98,n=8309张图像)。平均而言,SAM2方法每个顶芽序列比手动参考方法快20倍。SAM2与手动估计在75%生长幅度时机的一致性中等(R2=0.57)。未来应用可通过在必要时纳入间歇性掩膜修订来提高物候精度。据研究人员所知,这是首个用于追踪精细尺度高度生长的半自动原位方法。该监测框架为林业研究人员和实践者建立物种和种源特异的高度生长物候曲线提供了及时的机会,支持气候适应性森林管理。