基于低成本单目RGB技术的三维结构映射方法，用于园艺植物的语义场景重建

《Frontiers in Plant Science》：Low-cost monocular RGB-based 3D structural mapping for horticultural plants via semantic scene completion

　　

精准农业日益依赖冠层高度和冠层体积等详细结构信息，以增强作物健康监测和操作安全性。然而，基于昂贵的激光雷达（LiDAR）或RGB-D传感器的现有方法通常在不动态的、非结构化的园艺环境大规模部署中不切实际。此外，传统的二维分割和基于同步定位与建图（SLAM）的流程通常生成稀疏、几何不一致语义地图，不足以支持农业应用中可操作的结构分析。为克服这些局限，研究人员提出了一种通过语义场景补全（SSC）定制的面向园艺植物的单目三维结构建图框架。在推理时，所提模型以单张RGB图像作为输入，预测体素级（Voxel-wise）几何与语义，从中导出任务导向的结构图，包括冠层高度、冠层体积和障碍物感知可通行层。具体而言，研究人员首先引入深度感知解码器模块（Depth-Aware Decoder Module, DADM），在空域显式恢复深度并融合二维到三维特征，从而缓解深度模糊并减少对精确位姿的依赖。其次，设计归一化坐标空间（Normalized Coordinate Space, NCS）引导的几何编码器（NCS-Guided Geometry Encoder, NGE），将归一化深度注入体素位置嵌入（Positional Embeddings），使自注意力（Self-Attention）能在深度感知几何坐标系内执行全局关系建模。此外，利用全局编码器（Global Encoder）细化局部结构细节，同时占用头（Occupancy Head）产生最终的三维语义补全输出。研究人员使用RGB-D传感器构建了园艺三维语义场景数据集作为评估方法的基准，而部署模型保持仅RGB输入。在Semantic-KITTI数据集和该数据集上进行了广泛的定量与定性实验。在该数据集上，方法达到82.31%占用交并比（Occupancy IoU）、84.26%平均交并比（mIoU）和86.25%精确率（Precision）。除体素级评估外，人工田间测量进一步显示冠层高度平均绝对误差（MAE）值为0.019-0.026 m，冠层体积代理相对误差为8.4%-11.4%。这些结果证明了该方法在现实农业场景中的有效性，为作物监测和自主机器人操作提供了可操作的结构洞察。

研究背景与意义

精准农业正从地块级管理向植物级数据驱动操作转型，涉及冠层生长监测、变量速率田间实践和行间自主操作等任务。这些任务不仅需要识别作物与障碍物，还需产生可操作且空间一致的3D结构理解以供农学评估和机器人决策。然而，现有建图系统常无法提供冠层监测和机器人导航所需的密集且农学可解释的结构表示。受控农业环境中反光材料及光照变化使深度估计和结构重建复杂化；LiDAR和RGB-D传感器成本高、功耗大且部署复杂；传统单目SLAM或RGB-D SLAM产生稀疏表面中心地图且需精确位姿估计；集成2D语义分割与SLAM的方法因几何重建与语义推断独立进行导致几何错位与时域不稳定。为此，研究人员将低成本园艺结构感知表述为基于单目RGB的语义场景补全（Semantic Scene Completion, SSC）问题。SSC提供联合编码几何与语义的密集体素表示，能显式推理遮挡或未观察空间，特别适用于冠层遮挡普遍的园艺应用。现有SSC方法多在城市场景评估且依赖多传感器或精确位姿，难以直接应用于园艺环境，亦不产生农艺决策所需的任务级结构图。该研究旨在开发新型单目3D结构建图框架，以RGB仅推理实现密集体素语义占用重建及任务导向结构图导出，分离数据集构建的训练阶段与部署阶段，降低系统成本与复杂度。

主要关键技术方法

研究人员采用Gemini336L结构光相机在山西农业大学果树研究所采集9个农业序列（序列00–07训练，08测试），分辨率1280×720，帧率15 fps，体素分辨率0.01 m，构建遵循Semantic-KITTI协议的园艺SSC数据集（四类：Road, Tree, Plant, Other）。网络以EfficientNet-B7为图像骨干，输入1280×720 RGB图，特征通道64，经深度感知解码器模块（Depth-Aware Decoder Module, DADM）在归一化坐标空间（Normalized Coordinate Space, NCS）通过深度概率分布与3D转置卷积粗到细恢复深度，结合3D Bottleneck建模局部几何；经NCS引导几何编码器（NCS-Guided Geometry Encoder, NGE）将归一化深度注入体素位置嵌入，通过可变形Transformer编码器与多头自注意力（Multi-Head Self-Attention）在深度感知坐标系全局建模；再经全局编码器多尺度3D卷积细化与占用头（Occupancy Head, Occ-Head）输出256×256×32体素占用；损失函数联合深度估计损失?_d（λ_d=0.1）、交叉熵损失?_ce（λ_c=1.0）、几何与语义多类亲和损失?_scal^geo、?_scal^sem（λ_g=λ_s=1.0），AdamW优化器训练50轮（lr=1×10^-4，batch=4）。

研究结果

3.1 Datasets and experimental setup

研究人员在Semantic-KITTI与自建园艺数据集验证。Semantic-KITTI用序列08验证，其余标注序列训练，20类。园艺数据集含盆栽、行列走廊、混合高度、密叶、地面及设施背景，用Jawest Postshot离线估位姿，LabelCloud点云级标注，优先级Tree>Plant>Road>Other，双向滑动窗口20帧累积生成稠密体素真值。

3.1.1 Semantic-KITTI dataset

在Semantic-KITTI验证集，方法占用IoU达46.52±0.12%，超DISC 1.20个百分点（相对提升2.65%）；植被类IoU 28.21，超SGFormer 3.71、ScanSSC 3.01；地形类IoU 39.58，超H2GFormer 3.32；mIoU具竞争力，表明框架优先几何补全与植被结构一致性，适设施农业3D语义表示。

3.1.2 Horticultural dataset and data acquisition setup

在园艺数据集，方法达82.31%占用IoU、84.26% mIoU、86.25%精确率（Precision）；田间测量冠层高度MAE 0.019–0.026 m，冠层体积代理相对误差8.4%–11.4%，证明单目RGB推理在实际农业场景有效，可提供冠层高度分布、体素体积密度及障碍物感知可通行区等农学可解释结构层。

3.1.3 Environmental conditions, calibration and label generation

数据采集温度21.0–25.4°C，湿度23.0%–37.7%，光照1900–3300 lux；Gemini336L内参f_x=f_y=620.0，c_x=640.0，c_y=360.0；RGB与深度流SDK自动对齐，多帧点云累加注册至全局坐标生成PLY文件标注。

3.1.4 Implementation details and reproducibility

PyTorch实现，NVIDIA A6000训练；2D特征图空间分辨率32×32，提升为128×128×16体素；有效深度范围0.1–20 m离散为64区间；深度损失加权0.1防主导优化。

3.1.5 Evaluation metrics

指标含占用IoU、mIoU（每类IoU_c=TP_c/(TP_c+FP_c+FN_c)平均）、精确率（Precision=TP/(TP+FP)）、冠层高度与体积MAE、RMSE及相对误差。

3.2 Quantitative results

3.2.1 Comparison on semantic KITTI

与MonoScene、OccFormer、VoxFormer、SGFormer、H2GFormer、ScanSSC、PPMNet、DISC、MARE等比，占用IoU最优，植被与地形类IoU领先，证框架对农业相似场景结构重建优势。

讨论与结论翻译

研究人员将低成本园艺结构感知表述为单目RGB基语义场景补全（SSC）问题，从补全语义体素格导出农学可解释结构图（冠层高、体积代理、障碍物感知可通行性）。提出深度感知解码器模块（DADM）结合深度概率与NCS基体素细化显式重建深度感知体素表示，减单目深度模糊提几何一致性；提出NCS引导几何编码器（NGE）将归一化深度线索注入体素位置嵌入，使形变注意力与自注意力在深度感知坐标系几何语义推理；构建遵循Semantic-KITTI协议的园艺SSC数据集。设计将单目SSC从通用城市场景语义重建转向任务导向园艺结构建图，在网络设计、目标输出、数据集构建及田间结构验证区别于现有方法，通过深度感知先验与几何语义推理产可操作任务级地图，弥合城乡/室内SSC模型与现实园艺应用差距，解决单目深度模糊、弱位姿依赖及可解释结构输出需求。推理仅单RGB图输密集体素语义占用及任务图；RGB-D仅用于数据集构建与监督训练以生成体素级真值，训后模型学深度感知3D结构先验，部署无需深度、LiDAR或RGB-D。在Semantic-KITTI与本数据集实验证有效性，本数据集达82.31%占用IoU、84.26% mIoU、86.25%精确率，田间测冠层高MAE 0.019–0.026 m、体积代理相对误8.4%–11.4%，为作物监测与自主机器人操作供可操作结构洞察。论文发表于《Frontiers in Plant Science》。