基于窗口自适应空谱注意力Transformer的玉米多光谱图像重建与叶绿素监测研究

本研究针对多光谱成像设备成本高、波段固定等问题，开发了一种基于窗口自适应空谱注意力Transformer（WASSAT）的方法，从RGB图像重建玉米多光谱图像。结果表明，重建的10波段图像与原始图像反射率相关性超过0.99，叶绿素预测模型RV2达0.64，RMSEV为2.94 mg/L。该方法为低成本田间作物生长监测提供了有效技术方案。

　　

在现代农业监测领域，多光谱成像技术因其能够捕捉作物在不同波长下的反射特性，已成为评估作物生长状态、测量生理参数和营养状况的重要手段。通过分析这些光谱信息，农民和研究人员可以科学指导精准作物管理，提高农业生产效率。然而，多光谱图像获取设备制造工艺复杂、技术门槛高，导致数据采集成本昂贵。此外，商业多光谱相机的波段通常是固定的，无法根据不同检测目标灵活调整，而低成本RGB相机又难以覆盖重要的敏感波段，无法满足作物生长检测的精度要求。这种矛盾催生了基于RGB图像重建多光谱图像的技术需求。

早期研究多采用寻找最优线性模型的方法进行光谱重建，但随着深度学习技术的发展，光谱重建不再局限于考虑物理成像过程的线性模型，而是将问题转化为变量间的直接映射。卷积神经网络（CNN）在图像处理方面表现出色，但其在长程依赖和非局部自相似性方面存在不足。注意力机制的出现弥补了这些缺陷，尤其是Transformer模型在计算机视觉领域的应用，通过多头自注意力（MSA）模块显著提升了性能。《Computers and Electronics in Agriculture》发表的一项研究，针对上述问题开展了深入探索。

为了降低玉米生长状态监测成本并充分利用多光谱成像的优势，研究人员设计了一种基于窗口自适应空谱注意力Transformer（WASSAT）的新方法。该方法主要涉及以下几个关键技术：首先，使用Specim V10E IQ线扫描高光谱成像相机同时采集RGB和高光谱图像，覆盖400-1000 nm范围；其次，通过连续投影算法（SPA）筛选敏感波段；接着，构建包含空间注意力、光谱注意力及空谱注意力等多种模式的Transformer模型进行图像重建；最后，采用偏最小二乘回归（PLSR）建立叶绿素预测模型，并通过平均相对绝对误差（MRAE）、峰值信噪比（PSNR）、光谱角制图（SAM）等指标评估重建质量。研究样本来自中国河北和美国伊利诺伊州的田间与温室试验，涵盖了不同施肥水平和洪水胁迫条件下的玉米植株。

3.1. 不同洪水水平下的叶绿素含量

研究发现，洪水水平与叶绿素含量呈负相关关系。在V3阶段，三个洪水水平的叶绿素含量范围分别为27.69-50.33 mg/L、21.62-47.05 mg/L和17.49-44.07 mg/L；在V7阶段，相应范围为29.83-65.53 mg/L、29.96-59.88 mg/L和27.56-62.44 mg/L。通过Kennard-Stone方法划分校准集和验证集，确保了模型建立的有效性。

3.2. 敏感波段选择结果

研究通过SPA算法筛选出V3阶段的10个敏感波段（426, 458, 519, 554, 622, 678, 711, 768, 859, 920 nm）和V7阶段的9个敏感波段（481, 566, 654, 684, 699, 717, 759, 865, 914 nm）。这些波段覆盖了叶绿素吸收峰、绿峰、红谷、红边和氮吸收波段，在不同生长阶段表现出不同的敏感性分布。

3.3. 多光谱图像重建训练比较

空谱注意力模型在5波段和10波段重建中都表现出最佳性能（5波段：MRAE 0.16, PSNR 32.70 dB; 10波段：MRAE 0.16, PSNR 32.43 dB），优于单一的空间注意力或光谱注意力模型。这表明同时利用空间和光谱信息能够更准确地重建多光谱图像。

3.4. 窗口自适应与固定窗口空谱注意力的比较

研究发现16×16像素窗口大小在5波段和10波段重建中效果最好，但窗口自适应注意力模型表现更优（5波段：MRAE 0.14, PSNR 33.86 dB; 10波段：MRAE 0.15, PSNR 33.39 dB）。自适应窗口能够根据图像内容动态调整，更好地捕捉目标像素。

3.5. 重建结果

3.5.1. 重建图像比较

RGB图像成功重建为5波段和10波段多光谱图像，涵盖了从蓝光到近红外的广泛光谱范围，清晰捕捉了玉米冠层的结构和光谱变化。

3.5.2. 重建光谱比较

重建反射率与原始反射率在蓝、绿、红和红边波段误差较小，在近红外波段误差较大，但总体相关系数超过0.999，表明重建光谱与原始光谱高度一致。

3.5.3. 重建多光谱图像的建模结果

基于重建10波段光谱建立的叶绿素预测模型表现良好（R_C² = 0.76, R_V² = 0.64），虽然略逊于原始数据模型，但显著优于RGB三波段模型，证明重建光谱包含丰富的叶绿素吸收信息。

3.5.4. V7阶段玉米多光谱图像重建结果

在V7阶段，重建9波段图像的精度略有下降（MRAE 0.16, PSNR 33.12），但建立的叶绿素预测模型仍优于原始5波段模型，表明WASSAT能够适应不同生长阶段的波段变化。

3.6. 田间应用潜力

通过对比实际叶绿素分布图与洪水胁迫分布图，发现洪水胁迫与叶绿素含量明显相关。基于重建光谱建立的玉米生长评价模型能够准确预测胁迫环境下的生长参数，为田间玉米精准管理提供科学指导。

研究结论表明，基于Transformer模型的窗口自适应空谱注意力方法能够有效从RGB图像重建多光谱图像，为作物生长状态监测提供低成本解决方案。与HSCNN、HSGAN和Restormer等其他架构相比，WASSAT在重建精度和计算效率方面都表现出明显优势，在5波段和10波段重建中都取得了最佳性能（FLOPs仅48-49 G）。

讨论部分指出，WASSAT的成功主要归因于其空谱注意力和窗口自适应设计，能够显式地捕捉非相邻光谱波段间的依赖关系，同时有效抑制土壤和阴影背景的影响，保持叶绿素敏感光谱的保真度。然而，该模型目前主要针对近地 imagery，在无人机或卫星数据中的应用可能面临异质性增加和大气效应等挑战。未来的研究方向包括提高模型的可扩展性和效率，增强关键波段的光谱保真度，以及扩展应用到其他作物种类和生态条件。

这项研究的重要意义在于成功将先进的深度学习技术应用于农业遥感领域，通过低成本RGB图像重建高价值多光谱图像，为精准农业提供了切实可行的技术方案。通过这种方法，农民和研究人员能够以更低的成本获取作物生长状态的关键信息，实现科学精准的作物管理，最终提高农业生产效率和可持续性。