基于多模态大语言模型的农田遥感多粒度图文检索

《Engineering Applications of Artificial Intelligence》：Multi-grained image-text retrieval in farmland remote sensing via multimodal large language models

　　

摘要 低空农田遥感(FRS)已成为精准农业监测的重要工具。然而，现有的FRS方法主要是为预定义类别的分割而设计的，语义理解能力不足，无法支持灵活的自然语言查询。为了解决这一局限性，我们引入了一项基于人工智能的任务——FRS跨模态检索，旨在利用文本描述从大规模遥感图像中检索目标农田区域。为支持该任务，我们构建了首个农田遥感跨模态检索(FRS-CMR)数据集，包含67,806个通过多模态大语言模型和专家优化生成的图文对。基于FRS-CMR，我们提出了面向农田的多粒度检索(FarmMGR)框架以实现图文对齐。FarmMGR联合利用全局场景语义和局部区域级线索，以捕捉大规模景观模式和细粒度农田特征。为进一步提高语义对齐，我们设计了基于原型的语义对齐(PBSA)以缓解软正样本问题，全局语义层次特征融合(GSHFI)以自适应融合全局与局部表示，以及实例级语义关系建模(ISRM)以捕捉农田实例间的关系依赖性。此外，内存增强的跨模态对比学习(MECCL)扩大了负样本池并提高了表示区分能力。在FRS-CMR上的大量实验表明，FarmMGR达到了28.57%的平均召回率，优于现有的图文检索方法，证明了其在语言驱动的农田遥感检索中的有效性。

引言 随着低空经济(LAE)的快速发展，无人机(UAV)在农业中的应用日益广泛，为精准与智能农业提供了新的技术途径(Hongyan Zhu et al., 2024; Guo et al., 2025; Herwitz et al., 2004)。低空经济的发展降低了农业无人机的成本，同时显著提高了作业效率，为大规模获取高分辨率遥感(RS)农田数据创造了前所未有的条件(Zhou, 2025; Zhang et al., 2021)。然而，海量低空RS数据也带来了新的挑战：如何从复杂多变的农田场景中快速准确地提取关键信息，以及如何有效利用多模态数据进行综合智能农田监测，是亟待解决的问题。

现有的传统FRS图像分割方法可提供土地利用掩膜和地块边界(Wang et al., 2021; Lu et al., 2022)。然而，这些方法通常是类别驱动和任务特定的：依赖预定义类别和密集标注，因此对基于灵活自然语言的区域检索支持有限。如图1所示，在实际的农田遥感场景中，用户可能需要根据可观察的视觉与空间描述来检索区域，例如"与农田相邻的红顶房屋，周围有不均匀的黄色植被区域"、"一条蜿蜒的河流将绿色和棕色地块分开，沿岸有建筑物"或"一条狭窄的白色道路将稀疏分布的深绿色田地分开"。这些查询涉及视觉属性、田地外观、人造结构和空间关系，仅使用传统分割掩膜难以表达。这一差距促使了FRS跨模态检索的提出，即将FRS图像与自然语言描述进行对齐，以检索与视觉语义查询匹配的区域。与固定类别的分割相比，这种检索范式提供了一种更灵活的方式来访问、搜索和组织大规模FRS数据，作为下游农田监测与分析的检索导向基础，有助于低空经济时代的农业数字化(Liakos et al., 2018; Xuenan Zhang et al., 2024)。

为弥合这一差距，FRS中的跨模态图文检索通过建立视觉观察与自然语言描述之间的语义对齐，提供了一个有前景的解决方案。该范式使用户能够通过灵活的文本查询检索农田场景，支持实际监测任务，如定位具有特定植被外观、田地布局、人造结构或空间关系的区域(Chlingaryan et al., 2018)。它促进了从单纯的"看到"到"理解与交互"的转变，从而通过自然语言查询实现智能农田信息服务。因此，开发FRS的跨模态检索为大规模农田遥感数据的灵活访问、组织和分析提供了检索导向的基础。

遗憾的是，尽管潜力巨大，但FRS中的跨模态检索在以往研究中很少被涉及。当前研究面临两个主要挑战：

1. 缺乏特定任务的检索数据集。大多数现有FRS数据集是为分割任务设计的，标注主要集中在田地边界或对象类别上。相比之下，检索任务需要富含细粒度语义和多层次描述信息的丰富图文对。

2. FRS跨模态检索的复杂性高。由于作物类型多样、田地形状不规则以及时空变化，文本描述通常涉及多个可观察属性，如植被外观、田地形状、人造结构、光谱颜色和空间关系。这些因素使语义理解和跨模态对齐变得复杂。

鉴于上述分析，我们使用多模态大语言模型(MLLM)结合专家标注，构建了首个农田遥感跨模态检索数据集(FRS-CMR)。FRS-CMR提供了面向检索的图文对，涵盖可观察的农田语义，包括光谱颜色、植被覆盖、田地形状、人造结构和空间关系。基于FRS-CMR，我们提出了面向农田的多粒度检索(FarmMGR)框架，以解决农田遥感图文检索的任务特定挑战。为应对不规则田地几何形状和复杂空间布局，我们引入了具有全局语义层次特征融合(GSHFI)的层次跨模态表示学习，以联合捕捉全局场景上下文和局部地块级细节。为缓解高度相似的相邻农田区域引起的软正样本问题，我们提出了基于原型的语义对齐(PBSA)进行原型级语义聚类和对齐。为处理有限且模糊的负样本，我们设计了带有动量编码器和动态内存库的内存增强跨模态对比学习(MECCL)。为捕捉多属性和多关系的文本语义，我们引入了实例级语义关系建模(ISRM)来建模图文实例间的语义依赖性。这些组件共同改善了细粒度视觉语义对齐，增强了模型在复杂遥感场景中区分视觉相似农田区域的能力。

我们的贡献总结如下：

- 我们构建了FRS-CMR，即首个面向FRS的跨模态检索数据集，涵盖多种地理区域、田地形状、环境背景和视觉语义属性，为农田图文检索奠定了基础。
- 我们提出了FarmMGR，一个多粒度检索框架，通过层次跨模态表示学习、基于原型的语义对齐、实例级语义关系建模以及带有动态内存库的动量编码，系统地解决了FRS跨模态对齐中的多样性、不规则田地几何形状和多属性语义挑战。
- 大量实验表明，FarmMGR优于现有方法，实现了更高的检索准确率和更强的区分视觉相似农田样本的鲁棒性。

本文其余部分组织如下。第2节回顾相关工作。第3节介绍FRS-CMR数据集的构建。第4节提出FarmMGR框架。第5节描述实验设置和基线方法。第6节报告主要实验结果，包括与最先进方法的比较、消融研究和定性分析。第7节讨论局限性与未来工作。最后，第8节总结全文。

2 相关工作

2.1 农田遥感

现有农田提取方法通常可分为传统图像分析方法和基于深度学习的方法。传统方法通常依赖手工构建的光谱、几何和纹理特征，并采用阈值处理、边缘检测和区域生长等技术来界定农田区域。这些方法在标注数据或计算资源有限的场景中仍然实用。例如，Lu等人(2021)整合了……

3 数据集

FRS-CMR数据集的图像数据源自Haiyang Wu等人(2025)提出的FIT数据集，该数据集支持多模态语义分割任务，包含22,602个与文本描述配对的图像。FRS-CMR中的图像继承了FIT数据集的优点，涵盖了多种地理、气候和农业条件。如图2所示，图像采集自不同的省级区域，突出了数据集的空间多样性。此类……

4 方法论

我们全面描述了FarmMGR。如图5所示，FarmMGR专为复杂农田遥感场景中的细粒度图文检索而设计。由于农田语义既涉及整体场景布局，也涉及局部对象，如作物田、道路、建筑物、林带和裸地，有效的检索需要多层次的跨模态理解。因此，FarmMGR联合建模了三种互补的粒度，包括全局场景级、局部……

5 实验设置

5.1 数据集

FRS-CMR数据集按8:1:1的比例划分为训练集、验证集和测试集。训练集包含18,081张图像和54,243个对应文本，验证集和测试集分别包含2,260/2,261张图像和6,780/6,783个文本。这种均衡的划分在所有数据集中保持了始终一致的图文比例，减轻了数据偏差并提高了模型在跨模态检索中的泛化能力。

5.2 评估指标

遵循先前的跨模态检索研究(Wu et al., 2024; Ma……

6 实验结果

6.1 与最先进方法的比较

如表1所示，我们在FRS-CMR数据集上将FarmMGR与20种现有方法进行比较。FarmMGR表现出高度竞争力，并在大多数评估指标上取得了最佳结果。

对于FarmMGR，我们报告了五次独立运行的均值±标准差，这为评估所提出框架的稳定性和鲁棒性提供了更可靠的评价。在传统的深度学习方法中，OSA(Vision Transformer/Bert)实现了最强的基线性能。

7 局限性与未来工作

尽管FarmMGR取得了有效结果，但本研究仍存在若干局限性。首先，我们的实验主要在离线FRS-CMR基准上进行，而完整的实际部署需要整合无人机平台、数据传输、计算设备、检索接口和农业决策工作流。其次，当前数据集主要描述视觉上可观察的语义，包括颜色、植被覆盖率、田地形状、人造结构和空间……

8 结论

本文介绍了FRS-CMR，即首个用于跨模态检索的农田遥感数据集，并提出了FarmMGR框架，该框架有效解决了农业场景中的多模态对齐挑战。FarmMGR达到了28.57%的平均召回率(mR)，优于现有方法。全面的消融研究考察了每个模块和参数配置的影响，为模型的内部机制和可解释性提供了见解。此外，可视化分析……

CRediT作者贡献声明

Kejian Yu: 资源获取、项目管理、调查研究、形式化分析、数据整理。
Wentao Ma: 撰写—原稿、可视化、监督指导、数据整理。
Shichao Jin: 撰写—审阅与编辑。
Lu Liu: 撰写—审阅与编辑。
Yuwei Wang: 撰写—审阅与编辑。
Weiwei Wang: 撰写—审阅与编辑。
Longzhe Quan: 撰写—审阅与编辑。
Lichuan Gu: 撰写—审阅与编辑。

利益冲突声明

作者声明，他们没有已知的竞争性财务利益或个人关系，这些关系可能已影响本文所报告的工作。

致谢

本工作部分由以下项目资助：国家自然科学基金(批准号62601013)；安徽省自然科学基金(批准号1308085MF217和2508085QF250)；安徽省教育厅自然科学研究项目(批准号2024AH050451)；安徽省智能配电网运行与控制重点实验室开放项目(批准号SYS-KFKT-202511)；以及部分由……

Kejian Yu|Wentao Ma|Shichao Jin|Lu Liu|Yuwei Wang|Weiwei Wang|Longzhe Quan|Lichuan Gu
安徽农业大学人工智能学院，安徽合肥230036，中国