基于无人机的枣园监测中RGB–多光谱图像配准与生成式光谱重建

《Computers and Electronics in Agriculture》：RGB–multispectral image registration and generative spectral reconstruction for UAV-based jujube orchard monitoring

　　

- 一种局部单应性策略建立了RGB与多光谱之间的空间对应关系。
- 一种内点分布准则提高了局部配准的鲁棒性。
- 真实的跨传感器数据对实现了从独立获取的影像进行重建。
- 一个统一的基准比较了回归、对抗和扩散范式。
- 重建的光谱支持果园监测的植被指数估计。

**引言**

枣是新疆的一种重要经济作物，其收获期果园在果实成熟度、品质、坐果密度和果实大小方面通常表现出显著的空间变异性，这给采收决策和产量评估带来了复杂性。传统的人工巡检和抽样方法耗时费力且空间覆盖有限，而基于无人机（UAV）的遥感技术能够实现空间连续果园信息的高效获取（Zhao, Peng et al., 2023）。特别是归一化植被指数（NDVI）和归一化红边差异指数（NDRE）提供了与冠层生物量、与产量相关的性状、叶绿素变化和果实成熟相关的互补信息，因此可以支持收获期果园监测（Ojo et al., 2021, Islam, 2024）。然而，这些指数需要红边（RE）和近红外（NIR）信息，而常规RGB相机无法直接获取。虽然专用的多光谱传感器可以提供这些波段，但它们需要额外的光谱成像硬件。因此，从广泛可用的RGB影像中重建多光谱信息为将常规RGB成像扩展到光谱果园监测提供了一种潜在手段，同时减少了对专用多光谱采集的依赖。

光谱成像系统在其空间与光谱采集机制上存在显著差异。点扫描和线扫描高光谱系统顺序获取空间信息并提供密集的光谱测量，而基于帧的光谱扫描系统则在不同波长下顺序获取二维图像。快照系统在一次曝光或短采集间隔内获取多个光谱波段，而多光谱相机阵列通常使用多个独立的光学通道获取离散波段。所有光学成像系统都受光照条件影响；然而，顺序扫描还需要控制传感器与目标之间的相对运动，并可能在数据立方体构建过程中累积与光照相关的不一致。这些要求增加了采集复杂度，限制了常规扫描高光谱系统在不规则农业环境中快速部署的适用性（Lu et al., 2020, Huang et al., 2022, Lantin et al., 2023）。无人机搭载的多光谱相机阵列提供了更高的现场效率，但仍然依赖于专用的光谱传感器和多个光学通道（Ndour et al., 2025）。这些实际约束促使研究从RGB影像进行计算光谱重建。

基于深度学习的光谱重建因此受到了越来越多的关注。代表性方法包括基于CNN的模型，如HSCNN+（Shi et al., 2018），CNN–Transformer架构如MST++（Cai et al., 2022），以及更新的基于Mamba的方法如GMSR-Net和SSRMamba（B. Li et al., 2025, Wang et al., 2025）。基于Transformer的架构也被扩展到相关的空谱重建和融合任务中。Cao等人提出了一种无监督多级空谱融合Transformer，通过空间融合和光谱特征交叉注意力逐步整合低空间分辨率高光谱和高空间分辨率多光谱图像中的层次特征（Cao et al., 2024）。随后，Cao等人开发了一种跨域感知深度展开Transformer，将物理可解释的数据保真度优化与跨域空谱特征学习相结合（Cao et al., 2025）。尽管在架构上取得了这些进展，但监督式的RGB到光谱重建从根本上依赖于RGB输入与光谱目标之间可靠的像素级空间对应关系。

在农业应用中，这种对应关系通常使用高光谱成像系统建立。Xu等人（2025）获取了枣的高光谱图像，并从高光谱数据中提取R、G、B通道生成相应的伪RGB图像，而Long等人（2026）利用相机光谱响应信息，从实测荔枝高光谱数据中生成了像素对齐的RGB图像。Liu等人（2026）采用具有内置配准功能的高光谱相机获取配准的RGB–光谱对用于玉米重建。尽管这些研究使用了不同的重建模型和采集策略，但其训练数据天然是对齐的或高度空间一致的。因此，它们基本避免了RGB和多光谱图像由独立光学传感器获取时遇到的跨传感器对应问题。此外，高光谱衍生的伪RGB图像无法完全重现操作RGB相机的传感器响应、颜色特性、噪声、光照变异性、压缩特性和图像形成过程。Fu等人（2025）进一步表明，噪声特性、采集设备和图像形成流程的变化会显著降低光谱重建性能，表明相机域一致性是一个重要的实际问题。

生成式图像模型提供了一种将RGB到光谱映射作为条件图像生成的替代范式。Arevalo-Ramirez等人（2025）研究了不同自然光照条件下基于条件生成对抗网络的多光谱重建，并表明成像环境的变化显著影响了重建性能。在一个相关的农业跨模态任务中，Tulu等人（2026）使用Pix2PixGAN和CycleGAN将无人机RGB影像转换为合成热影像用于作物水分胁迫评估，展示了生成式图像翻译从操作RGB数据推断传感器依赖信息的潜力。重要的是，他们的RGB和热成图在模型训练前已经过空间对齐，再次说明了跨模态对应关系对监督式图像翻译的重要性。然而，当RGB和多光谱目标在相同复杂田间条件下独立获取时，传统光谱回归模型与生成方法之间的系统性比较仍然有限。

另一个挑战来自操作RGB–多光谱成像中使用的独立光学通道。在本研究中使用的DJI Mavic 3 M上，RGB和多光谱图像以近同步方式获取，最大限度地减少了时间场景变化。然而，RGB和多光谱相机具有空间分离的成像中心、不同的空间分辨率、镜头特性和成像响应。因此，所得图像对在像素级别上并非天然对齐。因此，实际科学问题超出了在天然对齐的RGB–光谱数据集上提高重建精度的范围：需要确定在真实田间条件下独立获取输入和目标时，能否建立可靠的RGB到多光谱映射。

在这种场景下，光谱重建同时受到相机依赖的成像特性和跨传感器空间不对齐的影响。为了研究这些挑战，本研究使用真实枣园独立获取的RGB–多光谱图像对，解决三个问题：(1) 相机依赖的RGB成像特性如何影响光谱重建；(2) 如何在独立获取的RGB和多光谱影像之间建立可靠的像素级空间对应关系；以及(3) 代表性重建范式在如此操作跨传感器条件下表现如何。本研究中收集的多光谱影像用于构建配对训练数据并提供参考光谱目标。预期应用是在模型建立后，从常规RGB影像中低成本恢复多光谱信息。

本文的主要贡献如下：

(1) 使用来自真实枣园独立获取的RGB和多光谱图像，而非从高光谱数据合成的天然对齐伪RGB图像，研究了RGB到多光谱重建。受控噪声和色偏扰动在严重退化条件下导致PSNR下降1.22–4.71 dB，表明相机域一致性对实际重建的重要性。

(2) 开发了一种集成ALIKED、DISK、LightGlue和内点分布准则的局部单应性配准方法。与评估的全局配准方法相比，该方法取得了更好的配准指标，保留了更多内点，并保持了更大的有效视场。从其他条件相同的RGB–多光谱对中移除配准后，PSNR降低了2.02–5.67 dB，证实了可靠空间对应关系的重要性。

(3) 在相同协议下评估了六个代表性的CNN–Transformer、基于GAN和基于扩散的模型。ControlNet取得了最佳的整体性能，PSNR为31.20 dB，SSIM为0.7127，RMSE为0.03094，SAM为4.3723°。生成模型之间的比较进一步表明，RGB信息注入和显式空间约束强烈影响重建性能。重建的波段还用于计算NDVI和NDRE以进行果园监测。

**各章节摘要**

**材料与方法**

在本实验中，数据使用DJI Mavic 3 M无人机在新疆维吾尔自治区新疆生产建设兵团第十四师昆玉市二二四团采集。

**结果与讨论**

为了对所提出的RGB到多光谱重建框架进行系统评估，结果根据影响实际重建性能的主要因素进行组织。首先，通过受控的配准与非配准实验量化RGB–多光谱空间不对齐的影响。其次，评估所提出的局部单应性配准方法与代表性全局配准流程。第三，重建性能

**结论**

本研究在复杂的枣园环境中，使用无人机独立获取的真实RGB和多光谱影像，研究了RGB到多光谱重建。配准数据与非配准数据之间的受控比较表明，空间不对齐使PSNR降低了2.02–5.67 dB，证实了可靠的RGB–多光谱对应关系的重要性。为解决这一问题，开发了一种局部单应性配准方法，达到了平均内点重投影残差

**致谢**

新疆生产建设兵团农业科技重点研发计划（No. NYHXGG2023AA402）
轻简高效枣生产关键集成示范技术（No. 2025B02011-3）
石河子大学高层次人才计划项目（No. RCZK202438）
新疆红枣产业技术体系项目（No. XJLGCYJSTX02-11）

**CRediT作者贡献声明**

徐亚磊：撰写–初稿，软件，方法学，形式化分析，数据整理，概念化。
李敬斌：项目管理，调查，资金获取，概念化。
张志远：撰写–审阅与编辑，监督，概念化。
杨宏伟：撰写–审阅与编辑。
李扬：撰写–审阅与编辑。
丁惠哲：数据整理。

**利益冲突声明**

作者声明他们不存在已知的可能影响本文所述工作的竞争经济利益或个人关系。

徐亚磊 | 李敬斌 | 张志远 | 杨宏伟 | 李扬 | 丁惠哲