BN-NeRF: 一种使用手持设备的香蕉植物快速三维重建与表型分析框架

《Plant Phenomics》：BN-NeRF: A Fast 3D Reconstruction and Phenotyping Framework for Banana Plants Using Handheld Devices

　　

高保真三维重建和香蕉植物精确表型参数提取对于精准农业中的作物生长监测和产量估计至关重要。然而，传统方法遇到显著瓶颈：激光雷达（LiDAR）系统成本过高，难以广泛采用；传统摄影测量法通常无法处理香蕉叶片特有的复杂冠层结构、严重遮挡和弱纹理特征。为解决这些限制，研究人员提出了一种基于手机拍摄的多视角图像进行三维重建和自动表型分析的新框架。研究人员引入了BN-NeRF，一种基于Instant-NGP增强的神经辐射场（Neural Radiance Field, NeRF）方法。具体而言，研究人员集成了三项关键技术改进：（1）帧级几何校准（Frame-level Geometric Calibration, FGC），用于校正手持运动引起的相机位姿漂移；（2）稀疏几何锚定（Sparse Geometric Anchoring, SGA），利用稀疏点云显式约束深度和尺度；（3）薄叶先验（Thin-Leaf Prior, TLP）正则化，用于抑制伪影并提高叶片表面的几何精度。基于此重建，研究人员建立了一条完整的流水线，从隐式辐射场中恢复显式公制几何。通过结合网格拓扑分析与测地线算法，研究人员实现了关键形态参数的自动化和精确提取。在真实果园90株香蕉植物的数据集上进行了广泛实验。结果表明，BN-NeRF在保持与Instant-NGP相当的推理速度的同时，实现了卓越的渲染质量（峰值信噪比（PSNR）为32.4 dB，结构相似性（SSIM）为0.951，学习感知图像块相似性（LPIPS）为0.152）。此外，提取的表型参数在叶片级别和结构性状上与人工真实值表现出高度一致性。除性状特定回归性能外，评估还包括归一化完整性分析、基于校准立方体的尺度验证以及Bland–Altman一致性分析，支持BN-NeRF用于田间表型的测量可靠性。本研究证明，低成本的智能手机采集结合BN-NeRF可以支持香蕉植物的精确田间表型分析。此外，研究人员通过iPhone 13客户端和云工作站的重复端到端运行，对实现的移动-云系统进行了功能验证。

香蕉是全球第四大粮食作物，其精细表型参数如株高、叶面积指数、叶片形态和生长速率是精准农业中评估光合效率、监测健康状况和预测产量的关键农艺指标。然而，传统管理依赖人工测量，如卷尺和叶面积仪，不仅劳动密集、耗时、存在主观误差，且常涉及破坏性采样，无法满足现代育种和大规模栽培对高通量、非接触式数据采集的需求。同时，基于图像的显式几何匹配方法如运动恢复结构（Structure from Motion, SfM）和多视角立体视觉（Multi-View Stereo, MVS）在香蕉植物上因叶片弱纹理、严重自遮挡及野外微风引起的非刚性运动，常导致点云缺失、重建空洞或严重噪声。神经辐射场（Neural Radiance Field, NeRF）作为一种隐式神经表示技术，在处理复杂遮挡和光照变化方面展现出潜力，但直接应用于手持设备采集的香蕉植物面临三大挑战：位姿漂移与运动模糊、缺乏物理尺度、薄叶结构伪影。为此，研究人员开展研究，提出了BN-NeRF框架，旨在通过低成本手持设备实现快速重建和自动表型提取。实验在华南农业大学香蕉研究种植园采集的90株不同生长阶段的香蕉植物数据集上进行，涵盖了从小型到大型植株的形态多样性。结果表明，BN-NeRF在渲染质量和表型测量精度上显著优于现有NeRF变体和传统MVS方法，验证了低成本的智能手机采集结合BN-NeRF可支持香蕉植物的精确田间表型分析。该论文发表在《Plant Phenomics》。

研究人员为开展研究采用的主要关键技术方法包括：多视角视频采集（螺旋轨迹，三个仰角30°、45°、60°，每株约108帧），COLMAP初始化获得初始位姿和SfM稀疏点云；BN-NeRF核心基于Instant-NGP的多分辨率哈希编码，集成帧级几何校准（FGC）将位姿作为可优化参数联合优化以抑制手持抖动，稀疏几何锚定（SGA）利用SfM稀疏点的重投影深度作为不确定感知深度监督以恢复公制尺度和稳定弱纹理区域几何，薄叶先验（TLP）结合各向异性法线平滑项和空间稀疏项以保持叶片层状连续性并抑制非表面密度伪影；显式几何生成通过Marching Cubes等值面提取、校准立方体（蓝色立方体边长10.0 cm）相似变换恢复公制空间、RANSAC地面去除和统计离群滤波（SOR）；自动表型分析采用密度聚类（DBSCAN）分割，伪茎通过最小二乘圆柱拟合提取直径和高度，叶片通过主成分分析（PCA）确定主轴、等距切片（步长1.0 cm）后进行四次多项式曲线拟合及弧长积分计算长度，横向切片拟合计算宽度，球旋转算法（BPA）三角网格求和计算面积。样本来源为华南农业大学香蕉研究种植园，共90株香蕉植物。

研究结果总结如下：

在4.2.1新视角合成的视觉保真度分析中，通过比较BN-NeRF与SfM-MVS及六种NeRF基方法的可视化重建质量，发现传统SfM-MVS因香蕉叶片无纹理特征导致严重几何空洞，普通NeRF受野外微风位姿抖动影响出现“雾状”伪影和重影，而BN-NeRF通过联合帧级位姿精化和薄叶几何正则化策略有效校正了位姿漂移并抑制了表面噪声，恢复了清晰的叶片边缘和脉络纹理。

在4.2.2重建性能的定量评估中，通过计算PSNR、SSIM、LPIPS指标（见表1），BN-NeRF取得PSNR 32.4 dB、SSIM 0.951、LPIPS 0.152，优于所有对比方法，相比SfM-MVS（PSNR 28.4 dB）提升14.1%，LPIPS降低56.2%，相比Instant-NGP（31.6 dB/0.950/0.182）也有提升，验证了所提几何正则化策略对视觉噪声的有效抑制。

在4.2.3采集协议对归一化点云完整性的影响分析中，通过定义归一化完整性比率（CR），比较30°、45°、60°仰角下不同植株大小和冠层层次的点云完整性，发现45°螺旋轨迹在九个分层的平均CR最高（93.8%），平衡了顶部可见性和底部穿透能力，是最适合测量导向重建的采集策略。

在4.2.4点云去噪策略验证中，通过量化级联滤波前后点云密度变化（见表S1），去噪处理在小、中、大型植株上的点云减少率在31.7%–38.4%之间，平均约34.7%，表明算法稳定地去除了空中离群点和土壤背景噪声，同时保留了香蕉植株的核心拓扑结构。

在4.2.5度量一致性的几何导向代理验证中，通过将校准立方体（边长10.0 cm）从重建几何中分割并计算恢复边长与物理参考的相对尺度误差，24例验证子集的平均立方体尺度误差为1.5%，标准差0.3%，表明度量恢复流水线保持了低系统性偏差，且该误差低于一维性状MAPE，确认全局尺度未主导下游表型误差。

在4.2.6基于校准立方体的尺度恢复鲁棒性分析中，通过分析立方体位置、部分遮挡和田间光照变化对尺度误差的影响（见表S7），发现尺度误差在立方体位于图像中心时最低，边缘定位和中等遮挡（可见面积50%–70%）下误差增大至2.1%和2.4%，高光照下因分割精度下降误差升至2.8%，但所有标称条件下均低于预定义容忍阈值2.0%，指导了采集时应保持立方体位于中央至中间区域、可见面积>70%并避免镜面光照。

在4.3.1非刚性变形下叶片形态参数提取中，通过24株高精度验证子集的144片叶片的回归分析（图6），叶长获得R²=0.9647、RMSE=3.44 cm、MAPE=3.6%，叶宽R²=0.9470、RMSE=2.03 cm、MAPE=4.8%，叶面积R²=0.8962、MAPE=5.8%。数据点紧密围绕1:1参考线，表明基于中轴流形拟合和测地线积分的方法有效恢复了严重卷曲叶片的真实物理尺寸。

在4.3.2可展性假设验证与测地参数选择中，通过计算叶片表面高斯曲率K并定义可展性比率（面积占比满足|K|<阈值），将叶片分为准可展组和非可展主导组（图S16），发现准可展组叶长MAPE 3.2%、叶宽MAPE 4.2%，而非可展组增至4.8%和6.6%，表明测地表型策略在主导层状区域最可靠，误差主要源于卷曲尖端、撕裂边缘和局部扭曲。同时通过扫描切片步长（0.5–5.0 cm）和多项式阶数（2–6），确定步长1.0 cm和四次多项式为最佳折衷（表S8）。

在4.3.3植物结构参数几何拟合鲁棒性中，通过24株的回归分析（图7），伪茎直径R²=0.9130、RMSE=0.67 cm、MAPE=4.4%，误差源于成熟香蕉伪茎横截面非理想圆形；伪茎高度R²=0.9815、RMSE=1.25 cm、MAPE=2.4%，高精度归因于RANSAC地面拟合建立了精确Z=0参考基准。

在4.3.4误差源分析中，通过分析保留的难例大残差，发现主要来源包括采集期间间歇性阵风引起的叶尖位移（虽位姿精化模块有效校正全局重影，但叶尖高频抖动仍引入局部点云噪声），以及巨大卷曲叶片人工测量的固有误差（算法结果可能更接近真实物理尺寸）。

在4.3.5表型测量一致性分析中，通过Bland–Altman一致性分析（图S15），计算各性状的平均偏差和95%一致性界限（LoA），叶长平均偏差0.34 cm（LoA -6.40至7.08 cm），叶宽平均偏差0.12 cm（LoA -3.86至4.10 cm），叶面积平均偏差-27.4 cm²（LoA -239.2至184.4 cm²），伪茎直径平均偏差0.14 cm（LoA -1.17至1.45 cm），伪茎高度平均偏差0.05 cm（LoA -2.40至2.50 cm），所有性状平均偏差相对于量级较小，表明框架与人工测量具有实际可接受的一致性。

在4.4模块有效性与消融研究中，通过层次化消融实验，比较基线Instant-NGP与移除FGC、SGA、TLP后的变体（表3），移除FGC导致PSNR从32.4 dB降至31.9 dB，出现可见重影；移除SGA使PSNR降至32.1 dB，LPIPS升至0.169，叶片表面出现几何塌陷；移除TLP使PSNR降至32.3 dB，LPIPS升至0.160，叶片增厚和边缘碎化。三个模块互补贡献：FGC稳定手持采集下位姿敏感重建，SGA改进弱约束区域的度量和几何一致性，TLP正则化层状叶片几何以支持测量导向重建。此外，通过几何测量策略有效性分析（图S11），验证了流形拟合作为几何低通滤波器抑制过度估计，测地线积分实现等距不变性纠正欧氏距离负偏，最小二乘圆柱拟合剔除统计边界方法中的离群噪声。

讨论部分总结了隐式神经表示在非结构化农业场景中的优势机制：从“特征匹配”到“连续回归”的范式转变，使NeRF能通过神经网络归纳偏好在弱纹理区域进行合理几何推理和补全；以及通过内嵌动态位姿优化（FGC）实现了对轻度田间运动的鲁棒性，但强风下仍退化。在自动表型分析和数字孪生的农学意义方面，BN-NeRF提供了数据客观性和可重复性，解决了非刚性叶片变形引起的系统性低估问题，并通过提供显式3D几何和公制性状估计，为植物数字孪生工作流提供了前端支持，可服务于生长监测、冠层管理和预测建模。局限性包括：风扰动仍然限制户外应用（当风速超过1.5 m/s时表现下降，>3.3 m/s时频繁失败），当前框架聚焦单株重建而非果园尺度，且本质上是静态的，未来需向4D时空建模扩展，以及计算资源仍依赖消费级GPU。研究结论部分（Section 6）翻译如下：本研究提出了BN-NeRF，一种专门用于使用手持消费级设备对香蕉植物进行快速三维重建和自动表型分析的新框架。为克服田间采集中的相机抖动、开放果园环境中的深度模糊以及香蕉叶片典型的薄层结构等挑战，研究人员将帧级几何校准（FGC）、稀疏几何锚定（SGA）和薄叶先验（TLP）策略集成到Instant-NGP架构中。实验结果表明，BN-NeRF显著优于当前最先进的神经渲染方法，实现了卓越的视觉保真度（PSNR = 32.4 dB），并有效消除了重影和背景漂浮伪影。此外，通过将隐式辐射场转换为具有物理尺度的显式几何，该框架实现了高精度表型分析。除渲染质量外，评估还通过归一化完整性分析、基于校准立方体的尺度验证和性状水平一致性分析验证了测量导向可靠性。提取的表型性状（包括叶长、叶宽、叶面积、伪茎直径和伪茎高度）与手动真实值测量结果表现出持续的一致性，如4.3节报告的性状特定回归、MAPE和Bland–Altman分析所支持。总之，本研究弥合了低成本快速数据采集与高精度数字农业之间的差距，为田间作物监测提供了一种稳健且非破坏性的工具。未来工作将集中在三个方向：提高在更强风致非刚性变形下的鲁棒性，将当前单株工作流扩展到果园尺度分层映射，以及将时间条件重建集成到4D表型框架中以实现动态生长分析和模型更新。