FTP-Stitch：基于特征对齐与飞行轨迹保留的快速无人机热红外遥感图像拼接技术

《Computers and Electronics in Agriculture》：FTP-Stitch: rapid UAV thermal infrared remote sensing image stitching based on feature alignment and flight trajectory preservation

　　

摘要

在农业遥感中，热红外图像拼接常常面临纹理低、温度漂移以及几何分辨率低等问题。此外，农业应用对实时响应性要求极高，因此亟需开发高效且稳健的拼接方法。为解决这些难题，我们提出了FTP-Stitch方法，这是一种基于特征对齐并在相似变换约束下保持飞行轨迹的快速高效热红外图像拼接方法。具体而言，我们在MegaStitch所采用的相似变换模型基础上，引入了飞行轨迹保持项，该项利用无人机先前的GNSS飞行路径为每幅图像提供稳定的像素位移估计，从而准确保持其在物理空间中的相对位置。随后，通过共同优化特征对齐项和飞行轨迹保持项，我们在相似变换约束下构建了最小二乘优化模型，以求解相应的变换矩阵。为验证该方法的有效性，我们在涵盖不同作物类型、飞行高度及环境条件的热红外遥感数据集上进行了大量实验，从对齐精度、视觉自然度以及拼接效率等方面对拼接结果进行了主观与客观评估。实验结果表明，与现有的先进热红外图像拼接方法相比，所提方法相比OP-GSP可使平均均方根误差降低19.7%，相比MegaStitch可降低35.1%，同时拼接时间相比OP-GSP可减少78.0%。此外，该方法在几何对齐和视觉质量方面也表现出更优异的性能，为农业无人机遥感中的大规模热红外图像快速拼接提供了有效解决方案。

引言

近年来，随着农业自动化水平的不断提升，无人机技术已被广泛应用于农业监测，成为现代农业中的重要工具（Guebsi等人，2024；Hafeez等人，2023）。与传统地面测量及卫星遥感相比，无人机能够更灵活地获取大范围农田的高分辨率影像，这使农民和研究人员能够实时监测作物生长状况及其他关键农学信息，为精准农业的进一步发展提供了有力技术支持。

与传统可见光影像不同，热红外影像能够捕捉地面物体发出的热辐射变化，这一特性使得热红外成像成为农业监测的宝贵工具。通过为无人机配备热红外传感器，可以有效地捕捉作物的热辐射，从而反映冠层温度的变化。这一技术可在农业和林业领域得到广泛应用，比如评估土壤水分平衡、检测水分胁迫（Messina和Modica，2020；Weiss等人，2020；Zarco-Tejada等人，2012）、识别作物倒伏情况（Liu等人，2018），进而推动精准农业的发展。此外，热红外遥感还被广泛应用于城市热环境研究（Feng等人，2019；Weng，2009）以及实时地面语义分割任务中（Masouleh和Shah-Hosseini，2019）。通过将多幅图像拼接成全景图，可以全面了解整个田地的状况，帮助研究人员更全面地评估作物状态。

然而，与可见光影像相比，热红外图像的拼接面临着更大的挑战，包括风力和温度漂移的影响（Kelly等人，2019）、较低的几何分辨率以及整体较差的成像质量（Boesch，2017；Sledz等人，2018；Webster等人，2018），这些问题都会导致特征提取和匹配困难，进而使最终的全景图中出现明显误差，精度下降。近年来，已有许多改进方法被提出用于解决大规模热红外图像拼接的难题（Gerchow等人，2025；Malbéteau等人，2021；Yang和Lee，2019）。尽管这些方法在提升精度或效率方面取得了一定进展，但仍然存在局限性。一方面，一些基于网格变形的方法，如OP-GSP（Cui等人，2021），利用无人机的定位和定向系统数据来估算相邻图像之间的重叠程度，并为局部匹配对赋予权重，从而优化全局保缝模型中的局部对齐项。但这些方法往往会产生较大的计算开销和较长的处理时间，难以应用于实时场景。在农业应用中，快速决策至关重要，尤其是在需要及时进行精准灌溉或病虫害防治等干预措施时（Evett等人，2020；Zhu等人，2024）。另一方面，像MegaStitch（Zarei等人，2022）这样的快速全局拼接方法，将拼接任务定义为在相似变换约束下的全局重投影误差最小化问题，因此在效率方面具有优势。不过，由于局部对齐失败，这些方法往往会出现严重的全局伪影和结构不一致性问题。

因此，农业无人机遥感中的一个关键技术瓶颈在于如何在保持良好对齐质量的同时大幅提升拼接速度。

为应对上述挑战，本文提出了一种基于特征对齐并在相似变换约束下保持飞行轨迹的快速无人机热红外图像拼接方法。我们在MegaStitch所使用的相似变换模型基础上，利用无人机先前的GNSS飞行轨迹数据将地理坐标转换为像素位移估计值，同时构建了飞行轨迹保持项，为每幅图像的平移分量施加额外约束，从而精确保持其在物理空间中的相对位置。最终，我们将重投影误差与飞行轨迹保持项共同整合为在相似变换约束下的全局线性最小二乘问题。这种方法能够在保持整体结构完整性的同时，最小化拼接过程中的累积误差，从而生成高质量的全景图像。在真实世界的热红外数据集上进行的实验表明，所提方法在各项客观指标和主观评价方面均优于多种现有的先进拼接方法。

本研究的主要贡献如下：

(1) 我们设计了一种基于地理坐标的飞行轨迹保持项，该项利用无人机的飞行路径和GNSS数据有效约束图像在物理空间中的位移，确保拼接结果能够真实反映实际的飞行轨迹，保持图像序列的空间位置一致性。

(2) 我们提出了FTP-Stitch方法，这是一种基于特征对齐与飞行轨迹保持联合优化的拼接方法。通过将变换空间限制在相似变换范围内，并引入飞行轨迹保持项作为强先验约束，该方法显著降低了参数复杂度，实现了快速且稳健的全局对齐。

(3) 通过在不同作物类型、飞行高度及环境条件下收集的热红外图像数据集上进行的大量实验，我们证明所提方法不仅能够实现高质量的图像拼接，还能将整体拼接效率提升约80%，优于现有的典型热红外图像拼接技术。

本文的其余结构如下：第2节回顾了图像拼接领域的相关研究；第3节首先介绍MegaStitch及其局限性，然后详细阐述我们提出的基于特征对齐与飞行轨迹保持的联合优化策略；第4节介绍了实验中使用的热红外数据集；第5节将所提方法与现有的拼接技术进行比较，并分析其各组成部分的有效性；最后，第6节对全文进行总结，并探讨未来的研究方向。

章节要点

相关研究

本节首先回顾传统图像拼接领域的研究进展，随后重点讨论无人机遥感图像拼接所面临的独特挑战及最新研究成果。该综述总结了该领域的研发趋势、主要研究方向以及尚未解决的难题。

提出的方法

在本节中，我们首先分析了基于全局相似变换进行图像对齐的MegaStitch（Zarei等人，2022）算法及其固有的局限性，然后详细介绍了我们所提出的方法，包括基于地理坐标的飞行轨迹保持项以及本文提出的快速拼接模型。

数据集

本节介绍了用于验证我们所提出的大规模图像拼接方法稳健性的无人机热红外遥感数据集。该数据集涵盖了多种作物类型、不同的气象条件、拍摄时段以及飞行高度。如图2所示，该数据集主要由两个子集组成：内蒙古农田数据集和新疆枣园数据集。

实验环境与模型配置

所有实验均在高性能计算服务器上完成，该服务器配备了Intel(R) Xeon(R) Silver 4210 CPU @ 2.20GHz（40核）、四块GeForce RTX 2080 Ti显卡、128GB内存以及4TB SSD存储设备，操作系统为Ubuntu 16.04.7 LTS。

所提出的拼接方法是用Python 3.8实现的。在特征提取阶段，我们采用了SURF + RANSAC算法，以确保在热红外图像典型的低纹理条件下仍能实现快速且稳健的特征检测与匹配。

结论

在本文中，我们提出了FTP-Stitch方法，这是一种新颖且高效的大规模无人机热红外图像拼接方法，它能够在相似变换约束下实现特征对齐与飞行轨迹保持的联合优化。该方法旨在显著提升基于无人机的热红外遥感图像拼接的速度与质量。

具体而言，所提方法利用无人机先前的GNSS飞行路径信息将地理坐标转化为

CRediT作者贡献说明

林炯：撰写——初稿、验证、方法论、形式分析、数据整理、概念构思。周佳璐：撰写——审阅与编辑、验证、项目管理、数据整理。王佩琳：撰写——审阅与编辑、验证、软件相关工作、数据整理。王嘉源：撰写——审阅与编辑、验证、形式分析、数据整理。杨淑琴：撰写——审阅与编辑、验证、监督、资源协调、形式分析。陈俊英：撰写——审阅与

利益冲突声明

作者声明不存在任何可能影响本文研究成果的已知财务利益关系或个人关系。

致谢

本研究得到了陕西省自然科学基础研究计划（编号：2024JC-YBMS-150）以及陕西省区域科技创新体系建设项目（编号：2025ZY-QYCXYL-06）的支持。

林炯|周佳璐|王佩琳|王嘉源|杨淑琴|陈俊英|张志涛|宁继峰