IPENS：基于NeRF-SAM2融合的交互式无监督植物表型快速提取框架及其在水稻小麦精准育种中的应用

本研究针对植物物种多样性导致的标注依赖问题，提出了一种基于NeRF和SAM2融合的交互式无监督多目标点云提取框架IPENS。通过单轮图像交互即可在3分钟内实现籽粒级多目标点云提取，在水稻数据集上达到63.72%的mIoU，小麦数据集上达89.68%的mIoU。该技术为作物智能育种提供了高质量非侵入式表型提取解决方案。

　　

随着现代农业向智能化育种方向发展，植物表型分析技术面临着前所未有的挑战。传统表型测量方法主要依赖人工采样和侵入式检测，存在测量维度有限、通量低、样本不可复用等技术瓶颈。特别是在面对水稻、小麦等重要粮食作物时，其籽粒、穗部等微小器官的精确表型提取更是困难重重。由于植物物种的多样性，现有方法严重依赖大规模高精度人工标注数据，而对于籽粒级别的自遮挡目标，无监督方法往往效果不佳。

针对这些挑战，中国科学院合肥物质科学研究院的研究团队在《Plant Phenomics》上发表了一项创新性研究，提出了一种名为IPENS（Interactive Unsupervised Framework for Rapid Plant Phenotyping Extraction via NeRF-SAM2 Fusion）的交互式无监督多目标点云提取方法。该研究巧妙地将神经辐射场（NeRF）的3D重建能力与SAM2（Segment Anything Model 2）的2D分割传播能力相结合，实现了无需标注数据的作物器官精准表型提取。

研究人员采用了多模态多任务水稻（MMR）和小麦（MMW）数据集，通过标准化数据采集流程获取作物多视角图像序列。利用机器人臂控制Intel D435i相机进行360°环绕拍摄，采集1280×720分辨率视频并提取关键帧。通过COLMAP进行相机位姿估计，采用nerfacto进行3D重建生成作物点云。核心技术创新在于将SAM2生成的2D掩码通过掩码逆渲染（mask inverse rendering）提升到3D空间，并设计了多目标协同优化策略，实现了单次交互同步提取多个器官的3D点云。

在技术方法层面，研究团队开发了两种交互方案：人工提示和基于YOLOv11的自动提示方案；提出了"正-负-正"样本平衡策略优化分割精度；设计了基于形态学操作的残差处理算法（Algorithm 1）和基于结构相似性指数（SSIM）的快速后视帧检测算法（Algorithm 2）；建立了完整的表型参数计算体系，包括籽粒体素体积、叶片表面积、叶长叶宽等测量方法。

3.1.1. IPENS的有效性

通过在水稻和小麦数据集上的定量实验表明，IPENS在无需标注数据的情况下实现了优异的分割性能。水稻器官分割mIoU达到63.72%，其中籽粒61.48%、叶片69.54%、茎秆60.13%；小麦器官分割mIoU高达89.68%，其中穗部92.82%、叶片86.47%、茎秆89.76%。与主流深度学习方法对比显示，IPENS显著优于无监督方法CrossPoint，且在与交互式方法Agile3D的首次交互结果对比中表现更优。

3.1.2. 时间性能分析

IPENS在计算效率方面表现出色，通过轻量化参数设计和并行算法应用，相比SA3D实现了约3.3倍的加速。单器官分割时间约70秒，多目标分割时间与目标数量呈正相关。从数据采集到表型提取的完整流程仅需约3分钟，展现了高通量应用的潜力。

3.2.1. 水稻籽粒体素体积分析

基于体素体积计算算法，IPENS提取的水稻籽粒体素体积预测值与真实值相关性R²达到0.7697，RMSE为0.0025，验证了其在籽粒体积提取方面的准确性和有效性。

3.2.2. 小麦穗部体素体积分析

小麦穗部体素体积预测表现更为优异，R²高达0.9956，RMSE为0.0055，拟合结果与参考线几乎重合，表明该方法对小麦穗部具有高质量的分割能力。

3.2.3. 叶片表型分析

通过点云凸包面积计算、修复网格面积和细分网格面积三个处理阶段的对比，发现细分后的网格面积计算误差最小。水稻叶片表面积预测R²为0.84，RMSE为18.93；小麦叶片表面积预测R²达到1.00，RMSE仅为0.67。在叶长叶宽测量方面，水稻叶长叶宽预测R²分别为0.97和0.87，小麦达到0.99和0.92，所有测量误差均在毫米级别。

研究讨论部分深入分析了IPENS的性能特点和工作机制。良好的NeRF场构建能够衍生高质量点云，有利于后续分割质量的提升。SAM2在SA-V这一最大通用物体视频分割数据集上的预训练保证了其在各种任务和视觉场中的良好表现。模型的多目标分割能力受GPU显存限制，随着同时分割目标数量的增加会遇到内存不足问题，这为后续优化指明了方向。

该研究的重要意义在于首次将NeRF和SAM2模型引入农业表型领域，提出了交互式无监督提示框架，探索了其在水稻和小麦高通量生物量表型提取中的潜力。IPENS框架可无缝嵌入高通量表型平台，实现全自动化作物表型分析。虽然室外应用中NeRF重建仍易受光照和风扰影响，但研究团队正在开发的多相机同步曝光田间表型车辆将为解决这一问题提供技术路径。

这项研究为植物表型分析提供了一种全新的技术思路，打破了传统对作物标注数据的依赖，通过单轮提示方案实现了高质量的三维点云提取。其高效的无监督交互式提取流程在促进智能育种方面具有巨大潜力，为建立基因型-表型关联模型提供了高质量表型数据支持，将显著加速作物育种进程。