基于窗口自适应空谱注意力Transformer的玉米生长状态监测多光谱图像重建研究

本研究针对多光谱成像设备成本高、波段固定等问题，提出了一种基于窗口自适应空谱注意力Transformer(WASSAT)的方法，从RGB图像重建多光谱图像用于玉米生长状态监测。结果表明，重建的10波段多光谱图像与原始图像高度相似，反射率相关性超过0.99，叶绿素预测模型RC2达0.76，RMSEC为3.63 mg/L，为低成本田间玉米生长检测提供了技术支持。

　　

在精准农业领域，多光谱图像分析已成为检测作物生长状态的有效手段。通过测量作物在不同波长光下的反射特性，可以获取丰富的作物生长监测、生理参数测量、营养状况评估和健康状况评价等信息，从而为精确作物管理提供科学指导。然而，多光谱图像采集设备的制造工艺和技术复杂性使得数据采集成本高昂。此外，商业多光谱相机的波段是固定的，无法随着检测目标的变化而改变。与多光谱相机相比，RGB相机价格较低，但同样无法覆盖重要的敏感波段，难以满足作物生长检测的精度要求。因此，基于RGB图像重建多光谱图像的需求日益增长。

虽然存在许多从RGB图像重建多光谱图像的技术，但大多数早期重建方法侧重于寻找最佳线性模型。基于学习的方法比基于模型的解决方案更高效、更准确，可以提高映射保真度。随着深度学习的发展，光谱重建不再考虑通过物理成像过程寻找最优线性模型。深度学习技术将光谱重建视为变量之间的直接映射问题，这一进步使得从RGB图像更准确地重建多光谱图像成为可能。

为了应对这一挑战，研究人员在《Computers and Electronics in Agriculture》上发表了一项创新研究，开发了一种基于窗口自适应空谱注意力Transformer（WASSAT）的方法，用于从玉米RGB图像重建多光谱图像。该研究首先获取了玉米的RGB和高光谱图像，并从高光谱图像中提取了经典和优选波段组合的反射率数据。然后构建了一个transformer模型，在四种注意力模式（空间、光谱、空谱和窗口自适应空谱注意力）下评估和比较了5波段和10波段组合的重建效果。

研究人员主要采用了以下几种关键技术方法：使用Specim V10E IQ线扫描高光谱成像相机采集RGB和高光谱图像；通过窗口自适应空间光谱注意力Transformer（WASSAT）进行多光谱图像重建；采用连续投影算法（SPA）筛选敏感波段；使用偏最小二乘回归（PLSR）建立叶绿素含量预测模型；通过平均相对绝对误差（MRAE）、峰值信噪比（PSNR）、均方根误差（RMSE）、光谱角制图（SAM）和结构相似性指数（SSIM）等多种指标评估重建质量。

3.1. 不同洪水水平下的叶绿素含量

研究人员测量了V3和V7阶段三个不同洪水水平下玉米的叶绿素含量。研究发现洪水水平与叶绿素含量呈负相关，表明较低的洪水水平与较高的叶绿素含量相关。通过Kennard-Stone（K-S）方法将样本集划分为校准集和验证集，确保了数据选择的代表性。

3.2. 敏感波段选择结果

通过连续投影算法（SPA）筛选敏感波段，在V3阶段筛选出10个波段（426、458、519、554、622、678、711、768、859和920 nm），在V7阶段筛选出9个波段（481、566、654、684、699、717、759、865和914 nm）。这些波段几乎均匀分布在423-920 nm之间，覆盖了叶绿素吸收峰、绿峰、红谷、红边和氮吸收波段。

3.3. 多光谱图像重建训练比较

使用空间注意力、光谱注意力和空谱注意力（窗口大小为8）模式训练玉米RGB图像，重建5波段和10波段多光谱图像。结果表明，空谱注意力模型在从RGB图像重建多光谱图像方面表现出更好的性能，具有更低的MRAE、RMSE和SAM值，以及更高的PSNR和SSIM值。

3.4. 窗口自适应空谱注意力与固定窗口空谱注意力的比较

评估了8×8、16×16、32×32和64×64像素窗口大小对多光谱图像重建的影响。结果表明，16×16大小的窗口在5波段和10波段重建中效果最好。与窗口固定注意力模型相比，窗口自适应注意力模型表现更好，略微的下降证实了高维重建的内在困难，而自适应窗口最有效地缓解了这种困难。

3.5. 重建结果

3.5.1. 重建图像比较

使用WASSAT模型将田间采集的玉米RGB图像重建为5波段和10波段多光谱图像。重建成功捕获了可见范围之外的光谱信息，包括红边和近红外波段。

3.5.2. 重建光谱比较

提取了重建后的平均反射率，发现重建图像与原始反射率之间的反射率误差较小，整体相关系数超过0.999，表明重建值与原始反射率高度一致。

3.5.3. 重建多光谱图像的建模结果

将5波段和10波段重建反射率及原始反射率与叶绿素含量结合建立PLSR模型。结果表明，基于重建光谱的模型在准确性和误差方面表现不如基于原始光谱构建的模型。尽管重建的5波段光谱图像与原始图像误差较低，但其包含的信息不足以进行全面分析。相比之下，重建的10波段光谱图像提供了更多关于叶绿素吸收光能的详细信息。

3.5.4. 玉米V7阶段多光谱图像重建结果

在玉米V7阶段，筛选出9个对叶绿素含量敏感的光谱波段。与V3阶段检测到的10个敏感波段相比，这些波段主要集中在红边区域。尽管在红边区域到近红外区域出现了差异，但建立的叶绿素含量预测模型优于原始5波段模型。

3.6. 田间应用潜力

通过比较实际叶绿素分布图和洪水胁迫分布图，发现洪水胁迫与玉米生长中叶绿素含量之间存在明显相关性。在没有洪水胁迫的地区，叶绿素含量高于经历过洪水胁迫的地区。基于重建光谱构建的玉米生长评价模型能够准确预测胁迫环境下的生长参数，为田间玉米的精确管理提供科学指导。

研究结论和讨论部分强调，WASSAT在5波段和10波段目标的Transformer框架内获得了最佳重建精度。与其他方法相比，WASSAT的光谱空间注意力和窗口自适应设计明确捕获了非相邻光谱带之间的依赖性，同时有效抑制了土壤和阴影背景的影响，从而成功保持了叶绿素敏感的光谱保真度。

该研究的重要意义在于为使用人工智能进行农业方法可行性验证迈出了关键一步。通过将RGB图像转换为多光谱图像，该模型为精确作物监测提供了一种经济高效的解决方案，实现了精确的生长评估和胁迫检测。尽管该模型主要在地面图像上进行测试，但其在降低成本方面的直接优势是显而易见的，因为只需要提前训练光谱重建模型。此外，对于不同的生长阶段，只需要更改训练集即可。

未来的工作将侧重于提高模型在不同平台上的可扩展性和效率，增强其在关键波段的光谱保真度，并将其应用扩展到其他作物物种和生态条件，使其成为农业监测中更加通用和实用的工具。除了Transformer、CNN、U-Net和基于GAN的模型之外，最近的基于扩散的研究集中在高光谱恢复和超分辨率上。这些模型作为一个强大的生成先验具有重大前景，在保留精细光谱和空间结构方面显示出巨大成果。