《Expert Systems with Applications》：Drone-based RGB to thermal image translation: a novel approach for non-destructive crop monitoring
编辑推荐：
基于无人机的成像技术是一种非侵入性方法，在监测植物健康状况、胁迫水平及土壤水分方面发挥着关键作用。由于环境噪声、作物密度及光照变化等因素的影响，将RGB图像精确变换为热红外图是一项具有挑战性的任务。现有的RGB至热红外变换方法通常依赖于隐式卷积表示，难以充分提
基于无人机的成像技术是一种非侵入性方法，在监测植物健康状况、胁迫水平及土壤水分方面发挥着关键作用。由于环境噪声、作物密度及光照变化等因素的影响，将RGB图像精确变换为热红外图是一项具有挑战性的任务。现有的RGB至热红外变换方法通常依赖于隐式卷积表示，难以充分提取作物定向结构、土壤背景变化及多尺度空间变异性，导致其在农业环境中的泛化能力受限。为应对上述局限性，研究人员提出了一种新型的RGB至热红外图变换方法（DTBQW-2BCLIFT），该方法将双树四元数小波变换（Dual-Tree Biquaternion Wavelet Transform, DTBQWT）与一种基于持续学习知情特征迁移（Continual Learning with Informed Feature Transfer, 2-BCLIFT）的新型双分支卷积注意力层框架相结合。无人机RGB图像被分解为18个特征图，以捕捉多分辨率空间及方向频率信息。随后，DTBQWT系数与原始RGB图像被融合输入至2-BCLIFT。与传统的深度学习方法不同，所提出的2-BCLIFT模型针对田间尺度变异进行了专门优化，并在加拿大爱德华王子岛四个不同农业田块采集的无人机影像上进行了评估，涵盖马铃薯作物种植及多种环境条件。这使得所提出的模型能够有效泛化至不同田块。研究人员采用均方根误差（RMSE）、峰值信噪比（PSNR）、结构相似性指数（SSIM）及逐像素准确率等多项指标，将所提出的模型与U-Net、Pix2Pix-GAN、Sparse GAN、Thermal-GAN、Modified Pix2Pix及Cycle GAN进行了对比评估。结果表明，所提出的DTBQW-2BCLIFT模型提供了非常适合实际农业应用的性能，与现有最先进方法相比具有优势。该方法可与无人机结合，通过冠层温度变化检测水分胁迫及养分缺乏的早期迹象。
随着全球粮食需求的显著增长及资源限制，迫切需要采用融入更智能高效技术的智慧农业系统以提升生产模型。这些模型应利用无人机和卫星进行智能监测。此外，气候变化可能影响全球不同国家的农产品产量，因此改进作物管理实践对于实现所需产量至关重要。准确且智能的监测是提升产量质量的最有效策略之一。文献中已提出多种持续监测田块的方法，包括基于产量估计的方法、作物监测与分类方法、土地覆盖制图方法以及干旱与涝渍胁迫检测方法。然而，这些方法通常成本高昂、劳动密集且易出错，受限于较小的农田面积，且需要特定农业程序的专业知识。
近年来，高分辨率热红外成像系统已成为有效监测作物表现的有前景工具。该技术利用电磁波谱中的热红外区域来量化植物辐射的能量。热图像可通过搭载于无人机或卫星上的热传感器远程获取。基于热红外区域的无人机系统技术可在特定条件下提高数据准确性，实现大规模时空变异测量。农业专家和农民主要利用热成像相机监测植物生长、作物水分胁迫及环境条件，即时提供有关作物和田块状态的关键信息，如识别受病害或水分影响的区域，从而实现及时检测与干预。相较于RGB图像，热成像系统在作物监测中更为有效，因其通常不受光照条件变化的影响，在低能见度条件下仍保持高效。
然而，高分辨率热相机价格昂贵，限制了其在田间的部署，尤其对无法负担昂贵设备的农民而言。因此，设计智能且低成本的RGB至热红外图像变换方法以支持农民监测作物状况和优化农业实践的需求日益增长。现有基于生成对抗网络（GAN）的方法及传统卷积神经网络（CNN）架构已被用于RGB至热红外图像变换，但存在目标检测不准确、适用性有限等问题。大多数模型仅在有限数据集上进行测试，未涵盖从多地点采集的各种环境条件，留下了关于模型泛化性和鲁棒性的未解问题。
为此，研究人员提出了DTBQW-2-BCLIFT模型，该模型整合双树四元数小波变换（DT-BQWT）与基于持续学习知情特征迁移（2-BCLIFT）的新型双分支卷积注意力层框架。DT-BQWT技术允许对RGB图像进行整体处理而无需分割RGB通道，通过三级分解提取总计18个方向子带以分析空间及频率域细节，这些特征图随后与原始RGB图像融合输入2-BCLIFT深度学习模型。与完全依赖静态训练的现有模型不同，所提出的2-BCLIFT架构引入教师-学生学习模型与复合蒸馏损失，使模型能够随时间演化并在测试新田块数据时保留先前学习到的特征。
研究的具体目标为：（i）开发基于RGB-热红外影像的智能作物监测与数据采集系统；（ii）设计基于DT-BQWT的图像处理技术以提取多尺度、定向及相位不变特征；（iii）设计名为2-BCLIFT的深度学习模型，融入注意力机制并基于持续学习进行热红外图像预测。该模型结合残差和卷积传输块以增强跨层特征传播和时间一致性，确保高效的热红外图像变换。
研究人员使用eBee X无人机搭载senseFly Duet T热成像相机进行数据采集，该相机集成FLIR辐射热红外传感器（640×512像素，13毫米镜头）及senseFly S.O.D.A.摄影测量相机（1英寸CMOS传感器，10.6毫米镜头）。研究在加拿大爱德华王子岛（PEI）的四个实验田块进行为期三年（2021-2023）的数据采集，涵盖广泛的环境条件和作物类型。数据集包含20,258对地理定位图像，采集高度为100米，前向和旁向重叠度均为75%。数据在早晚不同时间段采集以获取更宽的热动态范围。
所提出的DTBQW-2-BCLIFT模型主要包含以下技术方法：首先，采用双树四元数小波变换（DT-BQWT）进行多尺度分解。DT-BQWT具有近移位不变性、18个方向的方向选择性，以及四元数形式对多通道RGB信息的联合表示能力。通过三级分解获得18个特征图，捕捉多分辨率空间及方向频率信息。其次，设计双分支卷积注意力层框架（2-BCLIFT）。第一分支处理原始RGB图像，第二分支处理DT-BQWT提取的特征，通过通道-空间注意力机制动态生成权重α和β进行自适应融合。随后通过第二分支将融合表示与堆叠的RGB-DTBQWT特征再次融合。第三，采用基于教师-学生策略的持续学习框架（CLIFT）。当新任务训练开始时，前一任务中表现最佳的模型被指定为教师模型，作为学生模型的初始化基础。训练过程中教师模型保持冻结，其内部参数不再更新。复合蒸馏损失结合感知损失（基于预训练VGG19模型的特征表示）和Smooth L1损失，使学生模型在学习新数据的同时保留先前知识。
实验结果表明，将DT-BQWT系数与原始RGB融合至2-BCLIFT比仅融合RGB图像具有更高的变换准确率，PSNR在四块田地上提高了0.21%。与U-Net、Pix2Pix-GAN、Sparse GAN、Thermal-GAN、Modified Pix2Pix和Cycle GAN等基准模型相比，DTBQW-2-BCLIFT在所有七个评估指标（UQI、MSE、PSNR、SAM、SSIM、SCCI、VIF）上均表现最优。具体而言，该模型在田地1-4上分别实现了36.11、36.10、31.44和36.10的最高PSNR值，以及最低MSE（田地1和4分别为119和120）和最高SSIM（田地1和4分别为0.957和0.950）。与现代架构Swin Transformer和条件去噪扩散概率模型（CDDPM）的比较也显示，DTBQW-2-BCLIFT在所有田地上保持了更稳定优越的性能。
消融研究表明，与离散小波变换（DWT）和双树复小波变换（DTCWT）相比，DT-BQWT在所有四块田地上均实现了最高和最一致的性能，这归因于其基于四元数的多通道结构特性。分解层数实验证实三级分解（18个子带）为最优配置，能够平衡精细纹理和大尺度模式。
视觉评估显示，DTBQW-2-BCLIFT成功将RGB图像变换为更可信的热红外图像，在目标边缘保持和热梯度重建方面表现卓越，明显优于其他模型。热图可视化进一步证实了该模型在低残差区域的优越性能。
讨论部分指出，分解层数的选择对提升模型准确率至关重要。三级分解提供的多尺度、方向敏感表示显著改善了模型学习RGB与热红外域之间复杂映射的能力。热图可视化增强了温度分布的可解释性。研究所提出的模型虽然训练时间略长于基准方法，但由于其线性复杂度特征，在实际农业监测约束下仍具可部署性。当前数据的局限性在于仅来自PEI地区的马铃薯作物，未来工作将扩展至多种作物类别，并通过域泛化和迁移协议进行严格评估。此外，模型设计用于增量批量适应而非严格实时更新，当新无人机影像可用时，通过知识蒸馏进行更新同时保留先前学习表示，适用于实际精准农业工作流中的可变采集间隔。
研究结论：利用热成像监测作物健康、植物胁迫和土壤水分对准确农业实践至关重要，但热像机成本高昂。研究人员设计了融合DT-BQWT与2-BCLIFT建模框架的混合模型用于RGB至热红外图像变换。该模型在四块真实田地上进行了训练和评估，证明了其在可变农业环境中的适应性和一致性。与多种最先进模型的比较结果表明，所提出的DTBQW-2-BCLIFT模型表现卓越，在所有四块田地上均优于所有基准模型。预测的图像与真实热红外图像在形状和纹理上高度相似。未来研究方向包括在加拿大其他地区的数据集上评估模型，并通过多光谱影像扩展应用领域。
