《Smart Agricultural Technology》：A Two-Stage Fine-Tuning Strategy for 3D Object Segmentation from Multi-View Images
编辑推荐：
神经辐射场（Neural Radiance Fields, NeRF）已被广泛采用以从二维RGB图像重建高质量三维场景。然而，在这些重建场景中实现精确的三维目标分割仍具挑战性。现有的基于NeRF的分割方法要么依赖后处理（如SA3D），因缺乏密度场优化而产生噪声
神经辐射场（Neural Radiance Fields, NeRF）已被广泛采用以从二维RGB图像重建高质量三维场景。然而，在这些重建场景中实现精确的三维目标分割仍具挑战性。现有的基于NeRF的分割方法要么依赖后处理（如SA3D），因缺乏密度场优化而产生噪声点云；要么采用联合训练并引入额外分割头（如FruitNeRF），因学习目标冲突导致性能次优。在这项工作中，研究人员提出InvNeRF-Seg（Input-substitution NeRF for Segmentation），一种用于三维目标分割的两阶段微调策略，该策略完全保留原始NeRF架构与损失函数。研究人员首先在RGB图像上训练标准NeRF，随后使用格式化为类RGB输入的二维分割掩码对其进行微调，不引入任何架构修改或额外损失函数。这种输入替代方法重塑密度场以对齐目标区域，同时抑制背景密度。研究人员通过对密度与颜色多层感知机（MLP）、损失函数选择及训练策略的综合消融研究验证了InvNeRF-Seg。场密度分析揭示了一致的语义细化：目标区域密度增加而背景密度受抑。在合成水果数据集与真实世界大豆影像上的实验表明，与SA3D及FruitNeRF相比，InvNeRF-Seg产生了更清洁的三维分割点云，实现了更准确的下游目标计数。该方法在自采集大豆数据集上进一步验证，展示了其在真实农业场景中的适用性。代码详见https://github.com/ZJiangsan/InvNeRF-Seg。
论文解读文章如下：
研究背景方面，神经辐射场（Neural Radiance Fields, NeRF）在学习体积场景表示以实现逼真新视角合成方面取得显著成功，但在重建场景内进行目标级三维分割的研究相对有限。精确的三维分割对于机器人感知、增强现实、自动驾驶、医学成像及农业植物表型分析等下游应用至关重要。现有方法存在明显局限：经典深度学习如PointNet依赖繁重的点云标注；基于NeRF的方法中，SA3D等后处理方法通过将二维掩码反向投影进行分割，因无密度场优化导致点云噪声大且碎片化；FruitNeRF等联合训练方法在NeRF中耦合额外语义分支与损失函数，因RGB保真度与语义分离的冲突目标导致双任务次优。直接从零在二值掩码上训练NeRF会因缺乏平滑光度梯度而完全失效。为此，研究人员开展本研究，提出在不改变架构与损失的前提下，利用预训练几何知识通过输入替代微调实现密度场语义重塑的策略。
关键技术方法方面，研究人员采用Nerfacto模型（来自Nerfstudio）作为基础NeRF实现。研究使用的数据集包括公开的合成FruitNeRF数据集（苹果、桃子）及自采集的真实世界大豆植株数据集（iPhone 12 Pro拍摄，COLMAP估计位姿，AnyLabeling配MobileSAM生成掩码）。方法分为两阶段：第一阶段以MSE损失在多角度RGB图像上训练标准NeRF学习几何；第二阶段将二值掩码格式化为类RGB输入（前景[1,1,1]，背景[0,0,0]），在相同架构与MSE损失下微调预训练模型。评估指标包括渲染二维图像的峰值信噪比（Peak Signal-to-Noise Ratio, PSNR）、掩码交并比（Intersection over Union, IoU）及下游目标计数的DBSCAN聚类精度。对比基线为SA3D（权重与密度阈值变体）及FruitNeRF（二元交叉熵Binary Cross-Entropy, BCE与MSE损失）。
研究结果部分：
4.1. Dataset，研究人员使用合成FruitNeRF数据集（苹果、桃子）及自采集大豆数据集（单豆荚与双豆荚任务，149张清洗后图像），后者用于验证真实农业场景鲁棒性。
4.2. Implementation Details，NeRF配置中合成数据用默认远平面1000，大豆数据因目标小将隐藏维提至128且远平面缩至2；RGB训练4000轮，微调6000轮且学习率降百倍；SA3D实现权重阈值（τ=0.1）与密度阈值（σ≥70）两变体；所有方法统一DBSCAN聚类（eps=0.0065, min_samples=3）与KMeans分裂流程。
4.3. Evaluation Metrics，采用PSNR评估RGB渲染质量，IoU评估掩码渲染质量，以果实计数准确度评估三维点云质量，并用双尾t检验验显著性。
4.5. Results on Synthetic Datasets，渲染图与掩码质量上，InvNeRF-Seg与FruitNeRF的PSNR无显著差异，但InvNeRF-Seg的IoU显著更高（p<0.001）；三维点云质量上，InvNeRF-Seg产出洁净分离的水果状点云，FruitNeRF边界碎片多，SA3D严重噪声；目标计数上，苹果（GT=283）InvNeRF-Seg得282，FruitNeRF(BCE)294，SA3D(密度)1573，InvNeRF-Seg最接近真值。
4.6. Ablation Studies，从头训练掩码完全失败（IoU近零）；组件分析中密度与颜色多层感知机（MLP）全微调（InvNeRF-Seg）收敛最快且IoU最高，仅微调密度收敛慢但计数近优（281/283），仅微调颜色收敛快但过计数（294/283）；损失函数分析显示FruitNeRF用MSE与BCE相似，证明两阶段策略而非损失是优势主因；收敛分析曲线确认预训练几何提供关键起点，双MLP协同最优。
4.7. SA3D Variant Comparison，即便给予SA3D更有利的密度阈值变体，InvNeRF-Seg仍在下游计数显著优于两者，优势源于微调的密度场精炼而非提取策略。
4.8. Real-World Validation: Soybean Dataset，大豆单豆荚分割中InvNeRF-Seg的PSNR与FruitNeRF相当，掩码IoU显著更高（p<0.01），三维点云视觉更洁净少噪。
4.9. Extension to Multi-Instance Segmentation，双豆荚分离中InvNeRF-Seg虽略低于二值情况（边界有误分类点），但仍优于SA3D的噪声输出，证明向多实例扩展潜力。
4.10. Field Density Change Analysis，场密度分析显示微调后目标区密度沿采样射线峰值锐化增加，非目标区密度抑制近零，证实输入替代在无架构改动下语义重塑辐射场。
讨论部分总结，研究人员指出核心见解在于几何与语义应解耦：NeRF依赖RGB平滑梯度学几何，二值掩码硬跃迁无几何线索，过早联合学冲突；InvNeRF-Seg先RGB保几何完整再语义微调。其贡献非新架构而是训练策略，利用收敛NeRF性质以不变MSE与目标替代重塑场。机制源于体积渲染：MSE驱使累积权重匹配二值目标，致前景增密背景抑密，预训练必要因梯度锐化现存面而非从零发现几何；若前景背景同射线、掩码视不一致或采样体过大则失效。密度适应优于颜色因颜色MLP无法去背景贡献，唯密度场能集中权重。双MLP互补：密度重塑体积结构关键于点云，颜色快配掩码输出，全微调最优。点云质量比二维IoU更重要，二维指标不足评NeRF三维分割。体控关键：远平面需适配目标占比，过大致背景主导损失而前景梯度稀释，可依COLMAP稀疏点云设。依赖二维掩码是温和要求，升廉价二维标至几何一致三维场免人工三维注。基线与局限方面，选SA3D与FruitNeRF覆设计空间，加密度SA3D作更强体基线；局限含需准多视角RGB与掩码、多实例MSE致边界模糊、主验农业数据、真实验证规模小、点云用计数估因缺稠密三维真值、依赖高质量RGB NeRF与掩码输入。
结论部分翻译，研究人员提出InvNeRF-Seg，一种用于基于NeRF的三维目标分割的两步零改动微调策略，完全保留原网络架构与损失函数。通过系统消融研究证实：预训练几何至关重要——从零训练掩码完全失败；微调中密度与颜色多层感知机（MLP）须协同适应以求最优；两阶段法优于不论损失函数（MSE或BCE）的联合训练。InvNeRF-Seg一致产出比对比法更洁净的三维分割点云，以最小后处理调参实现准下游目标计数。场级分析揭示目标区密度增强与背景抑制，确认辐射场内有效语义细化。此外，该方法自然扩展自二值实例至多实例分割，证跨复杂度场景泛化性。此零改动模块化策略为桥接二维分割与三维语义重建提供实用架构不变框架。论文作者为Jiangsan Zhao, Jakob Geipel, Krzysztof Kusnierek, Xuean Cui，发表于《Smart Agricultural Technology》。
