基于深度驱动闪光模拟与nnU-Net木材分割的侧视RGB图像果园树势评估及修剪木材生物量估算

《Computers and Electronics in Agriculture》：Assessing tree vigor in orchards using wood segmentation and depth-based flash simulation on side-view RGB images

　　

研究人员评估基于侧视RGB（red-green-blue）图像的果园树势（tree vigor）。研究人员利用无叶树分割估计总木材面积，并采用基于物理的闪光模拟促进前景树提取；木材分割被用于估计篱壁式（espalier）果园的修剪木材生物量（pruned wood biomass）。结果表明，修剪前后木材面积差异与田间实测修剪木材生物量相关，说明图像方法可用于果园树势的非破坏性、高通量表型分析。研究人员在涵盖多物种、树形、成像几何、相机类型及自然/受控光照的数据集上训练分割模型；闪光变换通常较标准RGB和RGB-深度（RGB-D）模型获得更好且更稳健的前景木材像素分割，尤其自然光下，并通过提高自然光与受控光图像一致性使单一PASSIV-F + ACTIV-F模型稳健处理两类图像。修剪前后木材投影面积差与实测修剪木材生物量相关，苹果和桃的R²分别为0.92和0.61。

论文解读：Khac-Lan Nguyen、Sylvain Jay、Morgane Roth、Frédéric Boudon、Evelyne Costes、Nathan Guilhot、Gilles Vercambre、Quentin Barra、Marie-Pia d’Argaignon和Marie Weiss在《Computers and Electronics in Agriculture》发表该研究。树势（tree vigor，反映树体营养生长能力及对生物/非生物胁迫抵抗或恢复潜力）是果树育种和果园管理的关键性状，与年生物量增长、树体结构及长期产量稳定性相关，并影响修剪、树形培养、砧木选择和种植密度。修剪去除前期生长积累的木质材料，即修剪木材生物量（pruned wood biomass，PWB），其数量可反映树势和生长动态。传统树势评估和修剪生物量估算依赖人工测量干周或直径、枝径、梢长以及收集称重剪除枝梢，费时费力、易受操作者影响，难以规模化。LiDAR可精确重建树冠和枝条结构，但系统昂贵、采集较慢、三维流程复杂；RGB图像成本低、分辨率高，结合立体视觉可提供三维信息。然而真实果园中光照变化、遮挡和复杂背景限制传统RGB/RGB-D处理，侧视图像中前景与背景植株重叠尤其影响感兴趣植株提取。既有深度学习研究多聚焦果实、树冠或树干等特定部位，且多在有限物种和果园中评估，尚未从分割结果估算木质生物量。因此，研究人员开发可跨物种、树形、成像几何、双目/单目相机及自然/受控光照提取无叶树全部前景木材像素的分割方法，并以篱壁式果园修剪前后木材面积变化与实测修剪木材生物量相关性作为应用示范，意义在于为果园树势相关性状提供非破坏、高通量（high-throughput phenotyping，HTP）表型手段。

关键技术方法（≤250字）：研究在法国南部7个实验果园开展，涵盖桃、杏、苹果，树龄2–15年，自由式、杯状和篱壁式树形，种植密度与行距不一；使用LITERAL、PHILOMENE和RGBcam三套RGB采集系统，获得2802个标注图像块用于训练，并从2065幅全尺寸图像中选20幅测试；采用IGEV-Stereo或Depth Pro进行深度估计，结合深度直方图峰检测估计前两行树距离；实施闪光模拟变换；以nnU-Net（自配置U-Net分割框架）分割木材；用YOLOv8检测中心树；以线性模型联系修剪前后木材投影面积差与修剪木材生物量；样本队列为2025年1月St Paul混合桃-苹果篱壁园36株桃和34株苹果；指标包括F₁分数、mAP_50-95、R²、RMSE和rRMSE。

结果：4.1 利用闪光模拟促进前景行提取（Facilitating foreground row extraction using flash simulation）：通过对比被动和主动成像系统图像，闪光模拟显著提高自然光图像中树结构可见性、对比度及前景-背景分离；在受控闪光图像中亦降低远处树木和天空等背景干扰，增强细枝对比并抑制地面、支撑线等非相关背景。4.2 木材分割性能（Wood segmentation performance）：4.2.1 图像块层面（Over patches）：通过比较9个nnU-Net模型，无深度输入时ACTIV图像块平均F₁为0.88，略高于PASSIV的0.84；闪光变换持续改善分割，PASSIV-F和ACTIV-F平均F₁约0.91和0.89且离散度更低；RGB-D模型表现不一；联合PASSIV和ACTIV训练时纯RGB模型性能稳定或略升，PASSIV-F + ACTIV-F稳健且异常值少；深度后处理可去除背景误分类木材像素。4.3 全尺寸图像（Over entire images）：通过无监督聚类从2065幅图像中选20幅标注评估，全尺寸趋势与图像块类似；ACTIV全尺寸平均F₁为0.82，低于ACTIV图像块的0.87；PASSIV图像上RGB-D和闪光变换通常改善分割，PASSIV-F离散度较低；深度后处理普遍提升，如PASSIV-F + ACTIV-F在ACTIV上平均F₁由0.80升至0.83；全尺寸掩膜空间一致性较好。4.4 篱壁式果园修剪木材生物量估算（Estimating pruned wood biomass in espalier orchards）：通过YOLOv8检测中心树并以PASSIV-F + ACTIV-F结合深度后处理分割木材，YOLO在测试集mAP_50-95为0.91；每幅图像平均处理72 s，其中木材分割56 s、前景行提取14 s（含立体深度估计13 s）、树检测和面积计算各1 s；修剪前后木材投影面积差与修剪木材生物量呈线性关系，苹果R²=0.92，桃R²=0.61，合并R²=0.89；限制在桃数值范围时苹果R²=0.77；交叉验证中苹果最佳R²=0.91、rRMSE=27%，桃测试最佳R²=0.57、rRMSE=57%，仅用桃训练桃测试时R²=0.19、rRMSE=79%；零截距模型总体略优，斜率更接近0.70且更稳定。

讨论部分总结：原文讨论指出，侧视RGB树图像分析困难在于背景树干扰前景木材提取和细枝可见性差；该研究训练集覆盖多物种、树形、采集几何、相机类型和光照条件，较为少见，使模型可识别从主干到可见细枝的木材像素。分割通过独立图像块F₁评估和全尺寸图像空间一致性评估；深度后处理可提高分割，但依赖深度估计精度，且不能改善前景细枝与背景细枝重叠时的分割。闪光模拟同时抑制背景并增强前景可见性，提高自然光和受控光图像一致性，使PASSIV-F + ACTIV-F单模型表现稳健；深度后处理在闪光变换基础上仍有小幅正向作用。修剪木材生物量估算中，苹果结果较好，桃较差的原因包括桃生物量均值较低、桃剪除枝径较细导致分割困难、YOLOv8中心树检测误差；零截距模型表明修剪前后面积估计误差差异较小。原文提出未来需改进细枝分割和树检测、扩充训练数据、在更多全尺寸标注图像上评估、比较单目与双目深度估计、利用分割估算干径/分枝拓扑/梢长，并与LiDAR比较。

研究结论部分翻译：在果园中，果树树势通常通过异速生长关系结合人工测量干周或直径、或枝梢直径与样本枝长度来评估。与树干一样，骨干枝和枝条在冬季无叶时可见，因此可利用侧视RGB成像结合双目或单目深度估计，在先前前景木材分割基础上估算这些树势相关性状。与人工测量相比，其优势是能够采样整株树而非少数枝条，同时提高测量通量，并估算新的基础性状。研究人员在近期构建的数据集上训练了多个图像分割模型，该数据集涵盖广泛物种、树形、成像几何、相机类型和光照条件。结果表明，所提出的闪光变换通常较标准RGB和RGB-深度模型获得更好、更稳健的前景木材像素分割，尤其在自然光下。此外，通过提高自然光与受控光图像一致性，该变换使单一高性能模型（PASSIV-F + ACTIV-F）能够稳健处理两类图像。随后木材分割被用于估计篱壁式果园修剪木材生物量。研究表明，修剪前后木材投影面积差与田间实测修剪木材生物量相关，苹果和桃的R²分别为0.92和0.61。这说明了基于图像的方法在果园树非破坏性、高通量表型分析中的潜力。未来研究应包括改进细枝分割和树检测。增加训练数据集的多样性和规模是本文提到的解决方案之一，并将是提高模型稳健性的关键。还可在更广泛的标注全尺寸图像上评估分割，以获得整个处理流程更现实的分割精度估计。由于单目深度估计在田间比立体视觉更易实施和部署，未来研究应使用比补充材料第2节更大、更多样的数据集检验两种方法的精度差异。该研究应表征其对木材分割以及修剪木材生物量估算的影响，其中相机标定对于获得公制单位估计可能很重要。利用分割结果估算各种果园中的其他结构性状（如干径、分枝拓扑或梢长）也可提供对树结构和修剪响应的更全面认识。最后，与LiDAR的比较研究将有助于量化成像与3D传感各自的优势，并可能形成结合两种模态的混合方法，以实现更准确和可扩展的结构表型分析。