《Frontiers in Plant Science》：HSI-SC-NeRF: NeRF-based hyperspectral 3D reconstruction using a stationary camera for agricultural applications
编辑推荐：
引言： 高光谱成像（HSI）与三维重建技术的进步，使得对农产品品质和植物表型的精准表征成为可能，这两项技术对推动农业可持续发展和育种计划至关重要。然而，将这两种模态进行规模化整合仍面临挑战，因为传统方法涉及复杂硬件配置，与自动化表型分析系统不兼容。神经辐射场（
引言： 高光谱成像（HSI）与三维重建技术的进步，使得对农产品品质和植物表型的精准表征成为可能，这两项技术对推动农业可持续发展和育种计划至关重要。然而，将这两种模态进行规模化整合仍面临挑战，因为传统方法涉及复杂硬件配置，与自动化表型分析系统不兼容。神经辐射场（NeRF）领域的最新进展提供了计算高效的三维重建方案，但通常需要移动相机设置，这限制了其在标准室内农业环境中的通量和可重复性。为应对这些挑战，研究人员提出了HSI-SC-NeRF，一种面向农产品采后检测的固定相机多通道NeRF高吞吐量高光谱三维重建框架。
方法： 多视角高光谱数据通过固定相机采集，物体在定制特氟龙成像腔室内旋转，腔室提供漫射、均匀照明。相机位姿通过使用ArUco基准标记作为持久特征的运动恢复结构（SfM）进行估计，随后通过模拟位姿变换从物体坐标系转换到相机坐标系，从而能够在固定相机数据上进行标准NeRF训练。多通道NeRF公式通过复合光谱损失联合优化所有高光谱波段的重建，并辅以两阶段训练协议，将几何初始化与辐射度精化解耦，以提高光谱保真度。
结果： 在代表性样本上，重建结果与独立参考重建实现了良好的几何一致性；在多种农业样本上，该方法在可见光和近红外光谱范围内实现了强光谱保真度，支持其在自动化农业工作流程中的应用。
讨论： 完整的204波段重建还支持探索文献报道的波长波段，有助于在高速生产环境中部署更快的多光谱相机进行重新部署。
论文解读文章
一、研究背景与问题
高吞吐量、精准的植物表型与农产品品质表征对于保障粮食安全、提升营养品质和促进农业可持续发展具有关键意义。整合空间与光谱信息的先进成像技术能够实现形态与生化性状的同步分析，加速育种进程并改善供应链监测。高光谱成像（HSI）可捕获可见光至近红外光谱范围内（400–1000 nm）数百个窄光谱波段的反射率，对叶绿素含量、水分胁迫和组织成分等生理指标高度敏感，在农业领域具有重要价值。
然而，传统HSI方法通常生成高光谱数据的二维假彩色图像，难以将光谱信息准确归属到三维植物结构或形态上。如图1所示，表面曲率和自遮挡可导致缺陷区域从一个视角可见而从另一视角部分或完全隐藏，造成单视角分析中的漏检和严重程度估计偏差。这一局限性推动了将高光谱数据与基于运动恢复结构（SfM）和多视角立体（MVS）等技术以及激光雷达（LiDAR）等主动深度感知方法相结合的研究。但这些方法需要专用硬件、运维成本高、标定流程复杂，限制了其在高通量农业工作流程中的可扩展性。
神经辐射场（NeRF）提供了一种基于图像的替代方案，可直接从多视角图像中将三维场景重建为辐射度和密度的连续体函数，无需专用深度传感器或结构光硬件。标准三通道RGB公式可扩展为多通道输出（每个高光谱波段预测一个辐射度值），从而能够同时恢复每个空间点的几何与全光谱反射率。然而，传统NeRF实现要求相机围绕静止物体移动，这与农业环境中物体通常在传送带或基座上旋转而非被相机阵列包围的现实相冲突。多相机阵列和LiDAR扫描仪可提供等效视角覆盖，但成本高昂且操作复杂。高光谱相机比RGB相机体积更大，围绕静止物体自由移动在机械上不切实际。因此，固定相机NeRF方法通过消除相机运动的机械瓶颈，可提高表型分析和采后检测流程的可扩展性与通量。
二、研究内容与主要贡献
针对上述挑战，研究人员提出了HSI-SC-NeRF，一种用于农业成像的固定相机高光谱NeRF框架，消除了移动相机硬件的需求。该框架将此前固定相机RGB管线扩展至高光谱成像，新增了多通道辐射度头、复合光谱损失和两阶段辐射度训练协议。物体在定制特氟龙成像腔室内的电动转台上旋转，腔室提供漫射、均匀照明，相机在整个采集过程中保持静止。转台和参考容器上粘贴的ArUco基准标记被COLMAP用于从采集图像中估计相机位姿。然而，该配置产生的是物体坐标系位姿而非相机坐标系位姿，与标准NeRF训练的静态场景假设相冲突。研究人员随后使用模拟位姿变换将物体的旋转重铸为等效的移动相机轨迹，使标准NeRF训练能够在固定相机数据上进行。多通道NeRF使用复合光谱损失训练，该损失结合了逐波段强度误差和光谱形状差异项。训练遵循两阶段协议，将初始几何训练与逐通道辐射度精化分离。
三、关键技术方法
研究人员采用的主要技术方法包括：其一，基于ArUco基准标记的位姿估计与模拟位姿变换，通过将物体坐标系位姿转换至相机坐标系，使固定相机数据适配标准NeRF训练；其二，多通道NeRF公式，采用波长不变的标量体积密度与204通道光谱辐射度预测头的架构变体；其三，复合光谱损失函数，包含逐波段均方误差项与基于余弦相似度的光谱角度损失项；其四，两阶段训练协议，先在全帧输入上进行几何初始化预训练，再在前景感兴趣区域（ROI）掩码监督下进行辐射度精化微调；其五，基于白参考（WR）的光谱标定流程，通过自动中心掩码生成、70百分位空间偏差滤波和沿光谱轴的一维移动平均平滑，实现波段归一化与反射率裁剪。数据集包含三类农产品样本：玉米穗（n=1）、梨（n=1）和苹果（n=1），每类各采集一个样本，每样本64帧、204波段、光谱范围397–1003 nm。
四、研究结果
4.1 空间重建精度评估。 在代表性农产品样本上，将固定相机NeRF重建点云与独立移动相机RGB NeRF参考重建进行刚性配准后，计算精度和召回率指标。结果表明重建点云与参考重建在几何上高度一致，验证了固定相机采集策略配合模拟位姿变换能够获得可靠的三维几何。
4.2 光谱保真度评估。 在留出视图上，研究人员使用光谱角映射器（SAM）、光谱均方根误差（RMSE）、峰值信噪比（PSNR）和结构相似性指数（SSIM）等指标，在全部204波段上直接计算重建质量。结果如表1所示：玉米样本的SAM为0.0292±0.0046 rad、RMSE为0.0305±0.0114、SSIM为0.8882±0.0562、PSNR为29.14±2.55 dB；梨样本的SAM为0.0458±0.0128 rad、RMSE为0.0324±0.0075、SSIM为0.8326±0.306、PSNR为27.47±3.20 dB；苹果样本的SAM为0.0642±0.0381 rad、RMSE为0.0438±0.0242、SSIM为0.7423±0.1158、PSNR为24.49±5.85 dB。三种样本在可见光和近红外范围内均实现了强光谱保真度。
4.3 损失权重消融实验。 研究人员对两个高光谱特定损失项的权重（λhsi和λang）进行了系统消融，确定了最优配置为（0.25, 0.75），即光谱角度损失权重高于逐波段强度损失权重，表明光谱形状一致性对重建质量贡献更大。
4.4 两阶段训练协议影响分析。 通过对比分析，研究人员验证了两阶段训练协议的有效性：预训练阶段在全帧输入上建立稳定的几何初始化与粗光谱对齐，微调阶段在前景ROI掩码监督下集中优化辐射度精化，同时禁用相机优化器以隔离高光谱监督的效果，避免位姿漂移干扰辐射度优化。
4.5 定性波段相关可视化。 研究人员展示了不同波长下重建点云的定性可视化结果，以及从重建点云中提取的逐区域反射光谱曲线。这些可视化表明，完整的204波段重建支持探索文献报道的波长波段，例如与叶绿素含量、水分状态和成熟度相关的特征波段，为下游应用提供了潜力。
五、讨论与结论
完整的204波段重建使得研究人员能够探索文献报道的波长波段，有助于在高速生产环境中部署更快的多光谱相机进行重新部署。该框架在自动化农业工作流程中展现出适用性，其固定相机设计消除了移动相机硬件的机械瓶颈，提高了表型分析和采后检测流程的可扩展性与通量。
研究结论表明，HSI-SC-NeRF在代表性样本上实现了与独立参考重建的紧密几何一致性；在多种农业样本上，该方法在可见光和近红外光谱范围内实现了强光谱保真度。该多通道NeRF公式对于图形学界也具有独立的研究价值，可作为捕获物理上有意义的光谱辐射度数据的方法。研究的局限性包括：数据集规模较小（每类仅一个样本）、波长相关密度变体（σ(λ)）的消融留待未来工作、以及采集速度可通过更快的转台旋转和缩短帧间隔在生产环境中进一步提升。未来方向包括在更大规模数据集上的验证、波长相关密度的消融研究，以及向多光谱相机部署的迁移。
