《AgriEngineering》:Practical Evaluation of UAV Flight Altitude for Rice Growth-Stage Classification Using NDVI Images and Convolutional Neural Networks
编辑推荐:
日本农业劳动力减少和老龄化,增加了支持作物管理的省力技术的需求。在本研究中,研究人员使用搭载多光谱传感器(multispectral sensor)的无人机(UAV)获取稻田归一化差值植被指数(NDVI)图像,并使用卷积神经网络(CNN)对水稻生长阶段进行分类
日本农业劳动力减少和老龄化,增加了支持作物管理的省力技术的需求。在本研究中,研究人员使用搭载多光谱传感器(multispectral sensor)的无人机(UAV)获取稻田归一化差值植被指数(NDVI)图像,并使用卷积神经网络(CNN)对水稻生长阶段进行分类。对于基于UAV的实际监测,飞行高度是重要因素,因为它影响图像分辨率和田间覆盖范围。因此,本研究评估了UAV飞行高度对基于CNN的生长阶段分类的影响,使用在地面以上30、60和100 m高度获取的NDVI图像。评估了两类高度图像:通过对30 m图像降采样生成的模拟高度图像(simulated-altitude images),以及在各飞行高度获取的实际高度图像(actual-altitude images)。当使用模拟高度图像训练和测试CNN时,测试精度在60 m为85.1%,在100 m为83.6%。当使用实际高度图像训练CNN时,测试精度在60 m为86.5%,在100 m为87.8%。60和100 m的实际高度图像仅在25个观测日期中的8个可用。此外,当仅使用模拟高度图像训练的模型应用于实际高度图像时,100 m的精度降至0.5%,表明模拟高空图像与实际高空图像之间存在强域偏移(domain shift)。这些结果表明,当训练数据包括在实际作业高度获取的图像时,较高高度的UAV图像可支持水稻生长阶段分类;而降采样图像不应被视为实际高空图像的完全替代。由于数据集在生长阶段间不平衡,抽穗期仅由一个观测日期代表,且实际高度数据集仅限于选定观测日期,结果应谨慎解释。
日本农业部门面临劳动力减少和老龄化带来的严重挑战。作物管理需要劳动力、田间经验和及时决策,因此需要省力技术以支持老年农民、兼业农民和农业新进入者。信息与通信技术,包括遥感和人工智能,有望降低劳动需求并支持农业决策。精准农业(precision agriculture)旨在通过观测田块内空间变异并对特定区域实施适当管理来改善作物管理。在日本水稻生产中,单个稻田块往往较小,但同一田块内生长条件也可能变化,因此高分辨率观测有助于识别生长不足区域并支持施肥等定点管理。归一化差值植被指数(NDVI,normalized difference vegetation index)可由红光和近红外反射率计算,广泛用于植被状况指标。搭载于无人机(UAV,unmanned aerial vehicle)的多光谱传感器可获取稻田高分辨率NDVI图像,适合田块尺度水稻监测。卫星遥感可观测广域,但其空间和时间分辨率可能不足以详细管理小而分散的稻田。UAV遥感的优势在于可在天气和飞行条件允许时灵活获取高分辨率图像。然而,UAV监测存在操作权衡:较低飞行高度提供更高空间分辨率,但覆盖面积较小且飞行时间较长;较高飞行高度可增加可观测田块面积,但降低图像分辨率,可能影响分类精度。既往研究已利用卫星、合成孔径雷达(SAR)和UAV遥感进行水稻监测,包括生长阶段分类、抽穗期估计、产量估计和物候监测,但较少研究考察UAV飞行高度及由此产生的图像分辨率变化如何影响基于CNN的水稻生长阶段分类,尤其缺少模拟高度图像与实际高空图像比较。前期研究主要使用30 m图像并通过人工图像处理生成低分辨率图像,未充分评估模拟高度图像与实际较高飞行高度图像之间的差异。实际高空图像可能包含光学、光照、运动模糊、观测几何、图像配准和辐射响应等差异,简单降采样无法再现。基于此研究空白,本研究提出:当UAV飞行高度从30 m增加到60 m和100 m时,使用NDVI图像的CNN水稻生长阶段分类能否保持实用分类精度?研究人员使用UAV搭载多光谱传感器获取稻田NDVI图像,并比较不同飞行高度的分类精度。结果显示,当训练数据包括实际作业高度图像时,60 m和100 m测试精度分别为86.5%和87.8%;仅用模拟高度图像训练的模型应用于实际高度图像时,100 m精度降至0.5%,表明强域偏移。结论表明,较高高度UAV图像在训练数据包含实际高度图像时可支持水稻生长阶段分类,而降采样图像不应被视为实际高空图像的完全替代。该研究对实际UAV水稻监测中提高飞行高度、扩大覆盖范围并减少时间序列缺失具有实用意义,但受数据集生长阶段不平衡和实际高度数据有限等限制,结果需谨慎解释。
关键技术方法概括:样本队列来源于宇都宫大学农学院农场,10个稻田块中使用3块,田块约0.8 ha(50 m × 160 m),水稻品种为“Yudai 21”,主要观测北侧第三块田,2018年共25个观测日期。研究人员使用“Phantom 3 Standard”无人机和“Sequoia”多光谱传感器,在30、60、100 m高度按航点飞行获取红光和近红外图像;经晕影校正、图像配准、畸变校正、DN到反射率转换和NDVI计算;将NDVI图像中心600 × 450像素区域划分为12 × 9个50 × 50像素不重叠小块,输入CNN进行生长阶段分类,采用80/20留出验证。模拟高度图像由30 m图像降采样至60 m和100 m;实际高度图像在相应高度获取,缺失时以模拟高度图像补充。
结果部分,预实验使用2018年30 m NDVI图像,CNN训练和测试精度分别为88.1%和89.3%,低于前期研究中的93.1%和93.8%,该预实验用于确认NDVI图像处理、小块生成和CNN实现能产生合理分类性能。使用模拟高度图像的实验:模拟高度数据集仅来自成熟期8个观测日期,共25,920个小块,按80/20分为20,736个训练和5,184个测试小块;测试精度在60 m为85.1%,在100 m为83.6%,略低于30 m预实验。将仅用模拟高度图像训练的CNN应用于实际高度图像时,分类精度大幅下降,100 m仅0.5%,表明模拟高度图像与实际高度图像之间存在强域偏移。使用实际高度图像并辅以模拟高度图像的实验:60 m和100 m实际高度图像仅8个观测日期可用,其余日期用模拟高度图像补充;总数据集为81,000个小块,其中25,920个来自实际高度图像,55,080个来自模拟高度图像,随机分为64,800个训练和16,200个测试小块;使用实际高度图像训练时,测试精度在60 m为86.5%,在100 m为87.8%。将实际高度图像训练模型应用于模拟高度图像时,仍获得高精度。两种迁移方向呈不对称关系:模拟高度训练模型到实际高度图像表现差,尤其100 m;实际高度训练模型到模拟高度图像表现好,提示实际高度图像包含更广图像变异性。基线比较使用2017年30 m NDVI数据集,CNN使用50 × 50 NDVI图像小块获得训练和测试精度93.1%和93.8%,优于使用平均NDVI值的DNN(58.4%和57.9%)及使用展平NDVI像素值的DNN(62.9%和66.6%),说明NDVI图像空间信息对生长阶段分类重要。类别不平衡方面,2017年30 m数据平衡精度为83.10%,分蘖期和成熟期F1-score较高,孕穗期召回率为53.30%,抽穗期仅一个观测日期,整体精度可能受多数类影响。
讨论部分总结:前期研究中60 m降采样图像精度最高,但并非实际飞行高度获取;本研究获取30、60和100 m实际高度图像并生成模拟高度图像。模拟高度训练模型应用于实际高度图像时精度低,而实际高度训练模型应用于模拟高度图像时精度高,且60 m和100 m分类精度差异较小。实际作业中不同操作者、UAV、传感器或飞行计划获取的图像通常因分辨率差异不能直接混用,但若模型用实际高度图像训练,不同飞行高度图像仍可用于水稻生长阶段分类,有助于减少时间序列监测缺失数据。研究人员指出,30 m飞行可覆盖约1 ha,100 m飞行覆盖面积约为(10/3)
2,接近十倍;若需测量株数或穗数等详细性状,可能需要更低飞行高度,而生长阶段分类可在较高高度扩大观测面积同时保持分类精度。数据集类别不平衡,抽穗期仅一个观测日期,成熟期日期较多,整体精度可能不能充分反映少数阶段性能;2017年30 m类别指标仅作为支持证据。降采样30 m图像不能等同于实际60 m或100 m图像,因为实际高度变化还会引入光学响应、图像模糊、视角、光照、配准误差和辐射响应差异。基线比较支持CNN利用NDVI空间模式,但未来需在相同多高度条件下比较SVM、随机森林、浅层CNN和NDVI阈值等方法。100 m实际高度图像精度0.5%表明强域偏移,并不必然说明100 m图像不适合生长阶段分类,而是说明仅用模拟高度图像训练的模型可能失败,因此训练数据集应包含实际高度图像。不对称关系可能源于实际高度图像包含更广图像变异性,使模型更稳健;100 m实际高度补充模型87.8%高于模拟高度模型83.6%,但该差异不能解释为实际100 m图像本身更易分类,因为未评估统计显著性。实际高度训练数据要求增加初始数据集构建成本,但一旦具备,较高高度飞行可减少飞行次数并扩大覆盖。必要预处理包括辐射定标、晕影校正、波段配准、畸变校正、DN到反射率转换、NDVI计算和图像质量检查。研究结论翻译:本研究评估了UAV飞行高度对基于NDVI图像的CNN水稻生长阶段分类的影响。结果表明,在本研究实验条件下,当CNN使用在较高飞行高度获取的实际高度图像训练时,生长阶段分类精度得以保持。具体而言,使用实际高度图像的测试精度在60 m为86.5%,在100 m为87.8%。这些结果表明,当训练数据在分类所用实际飞行高度采集时,UAV飞行高度可以提高,以用于实际水稻生长阶段监测。然而,结果也表明,由30 m图像降采样生成的模拟高度图像并不完全等同于实际高空图像。当仅用模拟高度图像训练的模型应用于实际高度图像时,分类精度大幅下降,尤其在100 m。这说明降采样可再现空间分辨率降低,但不能完全再现其他高度相关因素,如光学响应、运动模糊、光照条件、观测几何、图像配准误差和辐射响应。因此,模拟高度图像可用于初步评估,但不应被视为实际高度图像的完全替代。本研究结论应在实验条件限制内解释:数据集来自有限田块、单一水稻品种和单一生长季;验证基于小块级留出,可能高估泛化性能,因为同一UAV图像或观测日期的小块可能空间相关;数据集在生长阶段间不平衡,且无法从现有实验记录重建所有高度实验的完整类别指标。未来工作应从patch级、单田评估转向多田块和多生长季验证,使用完整实际高度数据集,包括多个水稻品种、所有主要生长阶段、各高度重复飞行和定量图像质量控制;应采用原图级、留一飞行、田块级和独立生长季验证等更严格策略;应记录所有高度条件下的小块预测输出,并报告精确率、召回率、F1-score、平衡精度和混淆矩阵;还应在相同多高度实验条件下将CNN与SVM、随机森林、浅层CNN和NDVI阈值等简单基线方法比较。未来还应通过收集不同田块、年份、地区、品种、飞行高度、传感器和操作者的数据构建多域UAV图像数据集,并需要域协调、分辨率转换、辐射归一化和域适应方法,以开发更准确、稳健且可迁移的生长阶段分类模型。