基于窗口自适应空谱注意力Transformer的玉米多光谱图像重建与生长监测研究

本研究针对多光谱成像设备成本高、波段固定的问题，提出了一种基于窗口自适应空谱注意力Transformer（WASSAT）的创新方法，成功从RGB图像重建高质量多光谱图像。研究结果表明，重建的10波段图像与原始图像反射率相关性超过0.99，建立的叶绿素预测模型RC2达0.76，RMSEC为3.63 mg/L，为低成本田间作物生长监测提供了有效的技术解决方案。

　　

在精准农业领域，多光谱成像技术已成为监测作物生长状态的重要手段。通过测量作物在不同波长光下的反射特性，可以获取丰富的作物生长信息，为精准作物管理提供科学指导。然而，多光谱图像采集设备制造工艺复杂、技术门槛高，导致数据获取成本昂贵。相比之下，RGB相机价格低廉但无法覆盖重要的敏感波段，难以满足作物生长检测的精度要求。这种矛盾促使研究者探索基于RGB图像重建多光谱图像的新方法。

传统的光谱重建方法主要侧重于寻找最优线性模型，而基于深度学习的方法将光谱重建视为变量间的直接映射问题，大大提高了重建精度。卷积神经网络（CNN）通过关注局部窗口特征，在图像处理方面表现出色。但随着注意力机制的出现，弥补了长程依赖和非局部自相似性方面的不足。Transformer模型基于多头自注意力（MSA）模块，在计算机视觉领域展现出优异性能。

本研究发表在《Computers and Electronics in Agriculture》上，研究人员开发了一种基于窗口自适应空谱注意力Transformer（WASSAT）的创新框架，用于从RGB图像重建多光谱图像。研究团队在河北、美国伊利诺伊州等多个实验点收集了玉米的RGB和高光谱图像数据，涵盖了不同施肥水平和淹水胁迫条件。通过Successive Projections Algorithm（SPA）筛选敏感波段，采用窗口自适应机制动态调整注意力范围，结合U型编码器-解码器结构，实现了高质量的多光谱图像重建。

关键技术方法包括：使用Specim V10E IQ线扫描高光谱成像相机采集400-1000nm范围内的204个波段数据；通过Kennard-Stone（K-S）方法划分样本集；采用空间-光谱注意力块（S-SAB）构建Transformer框架；使用平均相对绝对误差（MRAE）作为损失函数；通过偏最小二乘回归（PLSR）建立叶绿素含量预测模型。

3.1. 不同淹水水平下的叶绿素含量

研究发现，淹水水平与叶绿素含量呈负相关关系。在V3阶段，三个淹水水平的叶绿素含量范围分别为27.69-50.33 mg/L、21.62-47.05 mg/L和17.49-44.07 mg/L；在V7阶段，相应范围的叶绿素含量为29.83-65.53 mg/L、29.96-59.88 mg/L和27.56-62.44 mg/L。通过K-S方法划分的校准集和验证集在叶绿素含量分布上没有显著差异，有利于建立有效的预测模型。

3.2. 敏感波段筛选结果

研究筛选出了对叶绿素含量敏感的波段。在V3阶段，筛选出10个波段：426、458、519、554、622、678、711、768、859和920nm；在V7阶段，筛选出9个波段：481、566、654、684、699、717、759、865和914nm。这些波段几乎均匀分布在423-920nm之间，覆盖了叶绿素吸收峰、绿峰、红谷、红边和氮吸收波段。

3.3. 多光谱图像重建训练比较

空间注意力、光谱注意力和空谱注意力三种机制在重建5波段和10波段多光谱图像方面表现出不同性能。空谱注意力模型在多项指标上表现最佳：5波段重建的MRAE为0.16，RMSE为0.03，PSNR为32.70dB，SAM为0.07rad，SSIM为0.93；10波段重建的相应指标为0.16、0.04、32.43dB、0.08rad和0.91。

3.4. 窗口自适应与固定窗口空谱注意力比较

研究发现，16×16像素窗口尺寸在5波段和10波段重建中效果最好。窗口自适应注意力模型的表现优于固定窗口模型：5波段重建的MRAE为0.14，RMSE为0.03，PSNR为33.86dB，SAM为0.06rad，SSIM为0.95；10波段重建的相应指标为0.15、0.03、33.39dB、0.07rad和0.94。

3.5. 重建结果

3.5.1. 重建图像比较

从单张RGB图像成功重建出5波段和10波段多光谱图像。5波段重建包含450、550、670、720和780nm波段，10波段重建覆盖426-920nm的更广光谱范围，成功捕获了红边和近红外波段的信息。

3.5.2. 重建光谱比较

重建的5波段和10波段反射率曲线与原始反射率曲线高度一致，在蓝、绿、红和红边波段反射率误差较小，在近红外波段误差较大，但总体相关系数超过0.999。

3.5.3. 重建多光谱图像的建模结果

基于重建光谱建立的PLSR模型在预测叶绿素含量方面表现出色。10波段重建光谱建立的模型性能最佳：R_C²为0.76，R_V²为0.64，RMSE_C和RMSE_V分别为3.63mg/L和2.94mg/L。

3.5.4. V7阶段玉米多光谱图像重建结果

在玉米V7阶段，9波段多光谱图像重建的MRAE、RMSE和PSNR分别为0.16、0.03和33.12。虽然可见光区域外的更多波段降低了光谱重建精度，但建立的叶绿素含量预测模型仍优于原始5波段模型。

3.6. 田间应用潜力

通过比较实际叶绿素分布图与淹水胁迫分布图，发现淹水胁迫与玉米叶绿素含量之间存在明显相关性。在无淹水胁迫区域，叶绿素含量高于经历淹水胁迫的区域。随着淹水量的增加，玉米叶绿素含量降低，生长状态恶化。基于重建光谱构建的玉米生长评价模型能够准确预测胁迫环境下的生长参数。

研究结论表明，基于Transformer模型的WASSAT方法能够有效地从玉米冠层RGB图像重建高质量多光谱图像，用于评估作物生长状态。与空间注意力和光谱注意力相比，空谱注意力机制整合了空间和光谱特征，实现了最佳的光谱图像重建效果。窗口自适应机制能够更有效地获取空间中的敏感信息。

在讨论部分，研究团队将WASSAT与HSCNN、HSGAN和Restormer等其他架构进行了比较。WASSAT在5波段和10波段重建方面都取得了最好的重建质量，同时保持了最低的计算成本（约48-49 GFLOPs），在准确性和效率方面都具有明显优势。

该研究的局限性在于模型主要在地面影像上进行测试，可能难以应对无人机或卫星数据增加的异质性和大气效应。其复杂的Transformer架构也增加了计算成本，限制了在实时应用中的使用。此外，在近红外（NIR）区域的较低精度可能会影响后期生长阶段作物性状的监测。

未来工作将重点提高模型在不同平台上的可扩展性和效率，增强关键波段的光谱保真度，并扩展其在其他作物物种和生态条件中的应用，使其成为农业监测中更加多功能和实用的工具。

这项研究代表了利用人工智能进行农业方法可行性验证的关键一步。通过将RGB图像转换为多光谱图像，该模型为精确作物监测提供了一种经济高效的解决方案，实现了精准的生长评估和胁迫检测，为现代农业的可持续发展提供了重要的技术支持。