《Smart Agricultural Technology》：Neural Scene Reconstruction and 3D Spatial Analysis for High-Throughput Phytomorphology of Shoot and Root Structures in Complex Mixed-Species Systems
编辑推荐：
：本研究构建了一种低成本的三维（3D）神经场景重建流程，可从视频中重建相互缠绕的棉花-杂草冠层。基于参考物的尺度标定方案实现了真实世界形态学参数的测量。与传统的二维（2D）图像方法相比，三维重建衍生的测量参数具有更低的误差。提取的三维体积性状与物理干生物量具有
：本研究构建了一种低成本的三维（3D）神经场景重建流程，可从视频中重建相互缠绕的棉花-杂草冠层。基于参考物的尺度标定方案实现了真实世界形态学参数的测量。与传统的二维（2D）图像方法相比，三维重建衍生的测量参数具有更低的误差。提取的三维体积性状与物理干生物量具有相关性。点云颜色可在生长季早期追踪SPAD值。研究结果表明，该方法为复杂混合物种系统中作物与杂草的竞争动态及生物量评估提供了高通量、非破坏性的表型分析新途径。
论文解读：基于神经场景重建与三维空间分析的混合物种系统高通量植物形态学解析
研究背景与意义
在可持续农业集约化发展的背景下，多物种农业生态系统的优化至关重要，这涵盖从有意的间作、多样化覆盖作物混播，到竞争性的作物-杂草环境。理解作物-杂草的形态动态和生物量，对于推进杂草生态学、改进产量损失预测模型以及实现动态、可变速率、位点特异性杂草管理策略具有关键意义。诸如长芒苋（Palmer amaranth）和稗草（barnyardgrass）等杂草物种，通过激进的构型策略在争夺地上和地下资源时击败棉花等作物。然而，对这些复杂、缠绕的相互作用进行建模和管理的能力，从根本上受限于无法以非破坏性方式随时间对其进行测量。传统的人工表型鉴定虽然具有较高的真值保真度，但本质上是破坏性的、劳动密集型的，且无法扩展到整个生长季田间快速生长的混合种植或作物-杂草冠层的时空动态捕捉。
为克服人工测量的局限性，高通量表型分析平台被广泛采用，主要依赖二维（2D）RGB或多光谱成像。然而，2D流程在孤立的单株环境或均匀间距的行栽作物中表现优异，但在混合林分冠层中系统性失效。标准的俯视2D成像存在严重的叶片遮挡、重叠构型和物种缠绕问题。在密集的作物-杂草混合物中，优势的上层冠层叶片完全遮挡了较低的植被和下方的形态结构。因此，2D空间分析产生碎片化数据，从根本上低估了诸如体积生物量、真实叶表面积和复杂冠层结构等关键三维性状。
为应对2D成像的空间局限性，植物表型组学日益转向基于三维重建技术，主要依赖激光雷达（LiDAR）和运动恢复结构（SfM）摄影测量。虽然这些方法在标准农业环境中成功捕获了结构体积和冠层结构，但在应用于高度缠绕的混合物种冠层时面临严重限制。高分辨率LiDAR系统往往过于昂贵，缺乏可见颜色信息，并难以应对“阴影”效应，即密集的外层叶片阻挡激光脉冲穿透内部冠层。相反，SfM高度可及，但根本上依赖于图像间的几何像素匹配，难以重建薄、无纹理或高度复杂的几何结构。
神经渲染和新视角合成的最新进展为复杂空间分析提供了有前景的方法。神经辐射场（NeRF）和三维高斯泼溅（3DGS）等技术通过利用深度神经网络从二维多视图图像优化连续体积场景表示，绕过了传统几何像素匹配的局限性。与标准摄影测量不同，神经渲染擅长合成新视角、建模复杂的视角依赖光照，并且对于混合冠层而言，改善了部分遮挡和精细结构的重建。
研究内容与结论
本研究旨在展示将成熟的神经渲染框架应用于高度复杂的生物学问题的农学新颖性：多物种作物-杂草相互作用的联合地上和地下表型验证。具体而言，研究部署了一种可及、基于消费级RGB视频的工作流程，能够在无需专用深度传感器的情况下，在结构上分离并重建缠绕的混合物种冠层和清洗后的根系系统。研究实施了空间校准方案，解决了尺度模糊性，实现了准确的真实世界度量提取。随后，研究验证了数字提取的三维植物形态学性状和数字比色法的准确性，并与严格的破坏性真值测量进行了对比。最后，研究展示了该流程在捕捉显著生物学差异方面的实用性，通过评估不同杂草密度对目标作物结构的竞争性影响，并检验了三维结构性状是否比传统2D指标更紧密地与竞争性作物-杂草混合物中的生物量积累相关。
主要技术方法
研究采用了基于Nerfstudio框架的定制自动化神经渲染流程，评估了两种最先进的神经渲染架构：nerfacto（一种高度优化的NeRF架构）和splatfacto（3DGS）。模型训练最多30,000次迭代以确保最佳收敛。从连续视频扫描中，每个视频系统提取约350个基础图像帧作为训练数据集，并处理成包含四个渐进下采样级别的多尺度图像金字塔。相机位姿和内在参数使用COLMAP运动恢复结构流程计算。点云处理使用Open3D库和CloudCompare软件。实验于2024年在德克萨斯A&M大学Borlaug南方作物改良中心温室设施进行，采用目标-邻居设计，共18个处理，每个处理6个重复。使用Google Pixel 6a智能手机进行手持自由轨迹视频采集。
研究结果
重建保真度评估：研究使用PSNR、SSIM和LPIPS三种标准指标量化重建保真度和视觉准确性，这些指标在图像空间计算，量化从评估视点出发的渲染保真度，但不直接测量重建的3D几何精度。
尺度校准与形态学验证：通过基于参考物的尺度校准方案解决尺度模糊性，实现准确的真实世界度量提取。三维衍生的测量参数与传统2D图像方法相比具有更低的误差。
体积性状与生物量相关性：提取的三维体积性状与物理干生物量具有相关性，表明三维结构性状比传统2D指标更紧密地与竞争性作物-杂草混合物中的生物量积累相关。
生理性状追踪：点云颜色可在生长季早期追踪SPAD值，提供叶绿素含量的非破坏性代理指标，且受冠层阴影干扰较小。
讨论与结论
研究证明了基于消费级RGB视频的神经场景重建流程在复杂混合物种系统中进行高通量表型分析的可行性。该方法克服了传统2D成像的遮挡限制和LiDAR/SfM方法在精细结构重建方面的不足。通过整合多视角信息到连续体积表示中，神经场景重建减少了限制单视角表型的遮挡间隙。研究结果对混合种植场景中的高通量表型分析具有广泛应用，能够更精确地量化和表征作物-杂草相互作用，为精准杂草管理和可持续农业集约化提供了新的技术支撑。
