3DPotatoTwin：面向3D多传感器融合的配对马铃薯块茎数据集及其半自动标注流水线

本研究针对农业表型分析中3D重建质量与采集效率难以兼顾的瓶颈问题，开发了3DPotatoTwin配对马铃薯块茎数据集。该研究整合了传送带RGB-D点云、地面测量和室内SfM重建数据，通过半监督针引导配准流水线实现多传感器数据对齐（精度0.59±0.11 mm），为3D补全网络训练和表型算法评估提供基准，其方法对多作物表型多传感器融合具有推广价值。

　　

在精准农业快速发展的今天，对农作物进行高效精确的三维表型分析已成为育种家和农学家的重要需求。马铃薯作为全球第三大粮食作物，其块茎的形态特征直接关系到产量和品质。然而，现有的三维传感技术却面临着一个难以调和的矛盾：要么像RGB-D相机那样能够实现高通量扫描但重建质量较差，要么像运动恢复结构（Structure-from-Motion，SfM）摄影测量法那样可以获得高精度模型但效率低下。这种质量与效率的权衡严重制约了马铃薯表型分析在实际生产中的应用。

传统的二维图像分析方法虽然简便快捷，但只能获取宽度、高度等基本形态指标，难以准确估算体积、质量等关键参数。而三维扫描技术中，高精度桌面扫描仪价格昂贵（如Artec Micro II约22,500美元），手持式扫描仪（如Revopoint POP 2约400美元）虽然成本较低，但仍需要控制扫描环境且灵活性有限。这使得基于普通相机的SfM和深度传感器成为大多数研究的首选方案。

SfM方法通过多视角图像的特征点匹配和稠密重建，能够生成高质量的三维模型，但其数据处理速度缓慢，即使使用多相机系统也显得笨重。相反，RGB-D相机（如Intel RealSense）能够直接捕获深度图像并快速生成三维点云，非常适合在收割传送带等操作场景中使用。然而，这种方法只能重建马铃薯的可见表面，底部被遮挡的部分无法获取，导致模型不完整，对于不规则形状的马铃薯块茎尤其影响体积和质量估计的准确性。

为了克服这些挑战，东京大学田间表型组学实验室的研究团队开展了一项创新性研究，开发了名为3DPotatoTwin的配对马铃薯块茎数据集。该研究发表在《Plant Phenomics》期刊上，旨在填补农业表型分析中高质量三维数据集的空白。

研究人员在日本北海道札幌村收集了三个品种共339个马铃薯块茎样本，通过多传感器融合的方法获取了全面数据。研究采用了几个关键技术方法：首先，在传送带上设置RGB-D成像系统采集部分点云数据；其次，通过室内摄影棚的多相机同步采集系统获取高精度SfM重建数据；第三，开发了半自动化的三维对齐标注流水线，结合单针引导和颜色优化的迭代最近点（Iterative Closest Point，ICP）算法实现不同传感器数据的精确配准。

2.1. 田间条件和收割设备

研究在北海道札幌村（北纬42.610316°，东经143.156753°）的马铃薯农田进行，使用丰之木Top-1单行马铃薯收割机及其传送带系统。数据采集涵盖了Sayaka、Kitahime和Corolle三个品种，分别于2023年9月14日、15日、21日和22日进行，确保了样本在大小和形状上的多样性。

2.2. RGB-D相机采集部分低质量三维数据

研究团队开发了一套封闭式RGB-D成像系统，内部配备四条6000K色温的LED灯带，使用Intel RealSense D405相机以1280×720分辨率、30帧/秒采集数据。通过ROS2系统记录数据，并转换为PNG格式的RGB和深度图像。使用LabelMe软件对每个马铃薯区域进行标注，通过Python Open3D包结合相机内参生成三维点云。为标记样本，研究人员在土豆通过成像系统前插入了彩色图钉作为参考点。

2.3. 地面真实值测量

对339个不同大小和形状的马铃薯块茎进行了全面测量，包括使用数字卡尺测量三轴尺寸（长、宽、深）、记录重量、通过排水法测量体积，以及进行表面清洁和钻孔处理以备SfM重建使用。

2.4. SfM采集完整高质量三维数据

研究搭建了由三台Canon X7单反相机、自动转台和便携式摄影棚组成的成像系统。每个马铃薯被固定在转台上，通过Esper TriggerBox同步控制三台相机，在转台每旋转15度时采集图像。使用Metashape软件进行三维重建，通过CIELAB颜色空间过滤和CascadePSP深度学习分割网络优化掩码，最终生成高质量的水密网格模型。

2.5. 半自动化三维对齐标注流水线

该流水线包含三个主要步骤：参考针分割、基于最小交叉带面积误差的逐步粗匹配，以及交互式颜色优化ICP精匹配。针对RGB-D和SfM点云采用不同的针分割方法，通过HSV颜色空间迭代阈值处理确保准确分割。配准精度达到0.59±0.11毫米的均方根误差（Root Mean Square Error，RMSE）。

3.1. 配对三维数据集结构

3DPotatoTwin数据集包含三个子文件夹：RGB-D源数据和模型、SfM源数据和模型，以及配对变换矩阵与地面真实值数据。数据集提供了相机内参、源图像、点云数据和变换矩阵，方便研究人员开发和测试三维算法。

3.2. 数据集变异分析

数据集涵盖了广泛的形态特征变异，最长的块茎长度范围从4.92厘米到13.90厘米，体积从33.97立方厘米到457.89立方厘米，重量从36克到494克。不同品种表现出独特的形状特征：Kitahime具有较高的球形指数，而Corolle形状最不规则且表面光滑度变化最大。

3.3. 精度分析

将手动测量与SfM模型导出的形态特征进行比较发现，最长轴长度和体积具有高相关性（R2约0.88）。三维重建方法比手动测量更可靠，特别是在识别中间轴和短轴方面。研究的针引导点云对齐方法实现了1.04±0.29毫米的修改单向倒角距离（Root Mean Square Deviation，RMSD）和0.59±0.11毫米的RMSE，与最先进的多传感器融合方法相比具有竞争力。

研究结论表明，3DPotatoTwin数据集和半自动化标注流水线为农业表型分析提供了重要资源。该数据集不仅可用于训练三维补全网络，还能作为农业视觉系统的基准测试平台。配对数据集的建立使得从部分RGB-D点云重建高质量三维模型成为可能，例如基于该数据集训练的土豆形状补全网络实现了2.8毫米的平均补全精度和22.6毫升的体积估计RMSE，显著优于线性回归和基线模型。

讨论部分指出，虽然针引导方法在不规则形状物体上表现良好，但在球形几何体上仍存在挑战。未来工作将扩展到多尺度混合数据集，如结合低分辨率室外无人机扫描和高分辨率室内重建的西兰花数据集。方法学改进将结合深度学习和主动学习以减少人工干预，同时探索领域自适应技术，将该方法推广到不同环境中的应用。

这项研究的重要意义在于它首次提供了大规模、高质量的马铃薯块茎配对三维数据集，为解决农业表型分析中的传感器融合问题提供了实用方案。其方法不仅适用于马铃薯，还可推广到其他作物表型分析场景，甚至扩展到工业检测、物流自动化和基础设施监测等领域。通过整合高质量重建数据与低质量传感器数据，该研究为资源受限应用场景下的三维感知能力提升开辟了新途径。