基于无人机RGB图像与LiDAR融合的作物生长参数三维高光谱模拟重建研究

《Computers and Electronics in Agriculture》：UAV-borne RGB image and LiDAR fusion for reconstruction of 3D simulated hyperspectral data for crop growth parameter estimation

本文创新性地提出一种融合无人机RGB图像与激光雷达（LiDAR）的三维高光谱数据重建系统，通过改进光谱重建网络（MST++）和专用叶绿素响应波段数据集，在500–850 nm波段实现36通道高光谱重建（SAM<0.03）。该系统成功整合点云几何信息与光谱数据，实现对玉米株高（PH）、叶面积指数（LAI）和叶绿素含量（LCC/CCC）的同步精准监测（R2t达0.98/0.97/0.95），为作物多参数协同感知提供了低成本、高精度的田间解决方案。

　　

Highlight

本研究通过多传感器融合与深度学习算法创新，实现了田间环境下三维几何数据与高分辨率光谱信息的同步采集。基于成熟的彩色点云数据结构，结合RGB相机与激光雷达传感器，融合RGB图像与点云数据。改进的光谱重建网络结合专用叶绿素响应敏感波段数据集，从RGB图像中重建出500–850 nm波段范围内36通道的高光谱图像，显著降低了光谱信息采集设备的成本。实验表明，重建高光谱数据与原始高光谱数据的SAM值小于0.03。最终利用光谱和点云数据估算作物生长参数，对株高和叶面积指数的分析精度R²_t分别达到0.98和0.97，叶绿素含量分析能力与使用无人机高光谱相机的研究相当，建立的估算模型R²_t达到0.66。通过数据融合可准确估算玉米冠层叶绿素含量，R²_t达到0.95。

硬件架构

系统硬件结构包括计算机、LiDAR模块、RGB相机模块、电源模块、三轴稳定器、遥控设备和无人机平台。计算机配置ROS系统，用于协同控制LiDAR和RGB相机完成数据采集，生成并存储彩色点云。内置算法实现传感器数据实时融合与三维重建。

LiDAR与相机联合标定

采用无需特定标定物的像素级高分辨率LiDAR与相机联合标定算法，通过提取环境中的角边缘信息建立两者间的刚性变换关系，将LiDAR数据转换至相机坐标系，实现精准数据对齐。该方法仅需在实验室完成一次联合标定即可适应多种场景。

实验田间设计

田间试验于2023年7月至8月在河北省衡水市旱作农业研究所进行，试验田面积0.4公顷，设置6个氮肥施用梯度以最大化玉米生长差异。通过四次不同生育期的数据采集，获取株高、叶面积指数和叶绿素含量的动态变化数据。

地面数据统计结果

地面数据统计显示，株高和叶面积指数随玉米生长而增加，叶绿素含量在抽雄期前增长并在抽丝期保持稳定。拔节期至抽雄期所有生长参数均呈现显著增长趋势。

点云畸变校正结果

通过趋势面拟合和残差分析对点云数据进行畸变校正，消除地形起伏对点云几何精度的影响，提升株高和叶面积指数提取的准确性。校正后的点云数据更真实反映作物三维结构。

补充点云的影响分析

在建立叶面积指数PLSR模型时，发现未补充下部点云直接使用凸包计算体积面积比参数会导致模型显著偏离。通过补充下部点云优化体积计算后，模型决定系数R²从0.61提升至0.97，显著改善估测精度。

结论

本研究通过多传感器融合与深度学习算法，实现了田间环境下LiDAR与光谱信息的同步采集及三维高光谱数据重建。系统具备高效同步检测作物株高、叶面积指数和叶绿素含量的能力，为作物多生长参数协同监测提供了创新性技术方案。