基于高斯溅射的稀疏视角番茄砧木茎秆三维几何重建及其在自动化嫁接中的应用

《Plant Phenomics》：Sparse-view 3D tomato rootstock stem geometry recovery via Gaussian splatting for automated grafting

　　

： 基于二维引导的优化方法实现了从稀疏视角中恢复砧木茎秆的三维几何信息。研究人员开发了一种曲线与尺度模型（curve-and-scale model），用于表征茎秆中心线（centerline）及茎秆直径估计。多任务感知（multi-task perception）网络构建了用于精细化优化的二维主茎观测信息。高斯精细化（Gaussian refinement）降低了中心线与茎秆直径的误差。

一、研究背景与问题

番茄嫁接（tomato grafting）在设施园艺中被广泛用于提升抗病性、抗逆性与产量。随着标准化育苗生产的扩大，自动化嫁接对于降低劳动力需求、提升作业一致性愈发重要。成功的嫁接操作要求砧木与接穗的直径匹配、操作参考点的精确定位、茎秆姿态调整以及切面贴合，这些操作需要茎秆直径、主茎轴的三维位置以及局部茎秆方向等几何信息。因此，自动化嫁接的感知需求已超越幼苗检测与二维定位，转向公制三维茎秆几何重建。

现有二维幼苗感知研究主要从RGB图像中提取任务相关区域与关键点，但输出仍停留在图像平面观测，无法直接提供公制空间中的茎秆直径、主茎轴三维位置与局部方向。RGB-D与点云传感虽引入公制尺度，但直接测量易受深度缺失、噪声、边界不连续、叶片遮挡及茎秆周围稀疏采样等问题影响。骨架或中轴表示虽能描述细长茎秆的整体轴线，但对点云质量与空间覆盖敏感，且轴线本身无法提供嫁接匹配所需的茎秆直径。神经渲染与高斯溅射（Gaussian splatting）方法虽能重建精细植物外观与几何，但侧重于详细场景表示，未直接优化紧凑、任务特定的茎秆几何。综上，自动化嫁接需要从嫁接工作单元内可获得的稀疏观测中恢复连续主茎中心线与可靠茎秆直径估计，现有方法存在任务层面的空白。

二、研究内容与意义

针对上述问题，研究人员提出了一种二维引导的茎秆几何优化框架，用于恢复面向嫁接操作的三维主茎表示。该框架开发了紧凑的三维曲线与尺度表示，并结合曲线感知的高斯精细化。曲线编码连续的主茎中心线，共享径向尺度参数定义有效高斯宽度，作为代表性茎秆直径估计。该研究的主要贡献包括：将稀疏视角番茄砧木茎秆几何恢复问题形式化为二维引导的茎秆几何优化问题，减少对直接深度测量的依赖；开发曲线与尺度表示及曲线感知高斯精细化方法，恢复连续主茎中心线并获得代表性茎秆直径估计；开发多任务感知网络，在一次推理中同时预测幼苗掩膜与上下结构关键点；构建了关联的工作单元RGB-D与三维参考数据集，支持幼苗级训练测试划分及中心线恢复与茎秆直径估计的定量评估。

三、关键技术方法

研究人员构建了包含RGB-D数据集与三维参考数据集的实验体系。RGB-D数据集包含2899个幼苗组、12010个实例级样本，训练子集2174组、测试子集725组；三维参考数据集包含从测试组中选取的144株幼苗，通过多视角立体（MVS）平台重建。主要技术方法包括：基于YOLO11s的多任务感知网络，结合双向特征金字塔网络（BiFPN）与自适应空间特征融合（ASFF），同时预测幼苗掩膜与上下结构关键点；二维主茎观测提取方法，通过距离变换、骨架化、端点约束主路径选择、宽度一致性离群点去除及弯曲正则化曲线拟合获得；稀疏视角点云曲线与尺度初始化方法；曲线感知高斯溅射精细化方法，通过可微渲染比较预测响应图与二维主茎观测图，优化曲线控制点与共享径向尺度参数，并引入误差触发的节点插入与结构关键点重投影约束。

四、研究结果

多任务感知性能比较：多任务感知网络达到97.30%的框mAP、83.07%的掩膜mAP和88.20%的关键点mAP，关键点mAP较YOLO11s-Pose提升1.17个百分点，较RTMPose-l提升8.54个百分点。模型参数量13.88 M，GFLOPs 10.36，推理速度233.28 FPS，较顺序执行YOLO11s-Seg+Pose减少29.8%参数量并提升速度。

多任务感知消融研究：单独使用BiFPN提升框与掩膜mAP但关键点mAP下降3.94个百分点；单独使用ASFF将三项指标提升至97.10%、82.49%与86.81%；两者结合获得最佳联合精度97.30%、83.07%与88.20%。Grad-CAM++可视化表明BiFPN与ASFF在该多任务感知场景中发挥互补作用。

三维茎秆几何恢复性能比较：在144株测试幼苗上，与稀疏多视角RGB-D融合及Vid2Curve基线比较。所提方法获得最低的完整度误差（Comp）1.60 mm与直径误差0.19 mm，较RGB-D融合分别降低37.0%与69.4%。在1 mm严格阈值下，F1分数从11.1%提升至80.6%。配对聚类自助重采样显示，与RGB-D融合相比，Acc、Comp与直径误差的平均配对差异分别为1.07 mm、0.95 mm与0.43 mm；与Vid2Curve相比，Comp与直径误差差异分别为0.73 mm与0.12 mm，Acc差异置信区间包含零。操作点几何评估在u=0.45、0.50、0.55处保持亚毫米平均位置误差。受控视图移除分析显示，四视图条件较三视图条件降低Acc与Comp，五视图条件未产生一致额外提升。

三维恢复消融研究：去除点云初始化使Acc增至3.69 mm、Comp增至4.42 mm；去除高斯溅射使Comp增至2.97 mm、直径误差增至0.28 mm；去除节点插入使Acc增至0.94 mm；去除结构关键点重投影造成最大退化，Acc与Comp分别增至19.81 mm与19.96 mm，表明其作为全局约束的主导作用。

五、讨论与结论

研究结果表明，RGB-D导出的稀疏视角点云为初始化主茎模型提供有用公制信息，但不足以直接定义最终茎秆几何。所提方法利用稀疏RGB-D点云作为粗略公制初始化，通过提取的二维主茎观测的多视角投影误差精细化连续中心线与径向尺度变量。曲线附着的高斯表示提供连续可微的图像空间响应，其位置与法向方向扩展直接由这些变量决定，多视角投影残差可更新定义最终中心线与有效高斯宽度的低维变量。该误差模式表明，直接精细化曲线与尺度表示对从稀疏工作单元视角恢复主茎范围与获得代表性茎秆直径估计尤为有效。感知结果表明，所需图像证据可通过一个集成网络获得，集成的主要优势在于降低总参数量并提升实测推理吞吐量，但未减少理论计算量，且相对YOLO11s-Seg略微降低框与掩膜mAP。颈部消融进一步表明特征融合具有任务依赖性。

研究结论为：所提出的二维引导茎秆几何优化框架，结合曲线与尺度表示及曲线感知高斯精细化，能够从稀疏视角观测中恢复连续主茎中心线并获得代表性茎秆直径估计。该框架减少了对缺失、噪声与不连续深度观测的直接依赖，为中心线恢复与茎秆直径估计提供了有效的解决方案。优化的曲线与尺度模型支持基于弧长的操作参考点定位与局部茎秆方向推导，为自动化嫁接中的直径匹配与空间操作规划提供了所需的三维几何输入。