CLIVeg：用于植物学感知地球观测表征的对比式图像 - 植被对齐

《Neurocomputing》：CLIVeg: Contrastive image-vegetation alignment for botany-aware earth observation representations

　　

我们提出CLIVeg，一个轻量级多模态框架，通过将高分辨率RGB正射影像与实地植被调查进行对齐，生成具有植物学感知能力的图像嵌入。

- 来自冻结EO视觉编码器的嵌入通过小型投影适配器进行精炼，避免了端到端重新训练。
- 一种正则化的Sigmoid对比学习目标保留了原始EO嵌入的几何结构，以避免灾难性遗忘，同时注入植被驱动的语义信息。
- 跨植物、蝴蝶和土壤营养群组的实验评估了在不同间接可观测性水平下生态迁移的效果。
- CLIVeg在提高地上生物多样性预测方面效果最为明显，而土壤结果表明了基于RGB的地下信息迁移的局限性。

引言

植物是陆地生态系统的核心，塑造初级生产力并支持各生态层级的生物多样性[1], [2]。它们整合了土壤条件、微气候和干扰历史，使植物群落成为生态系统功能的天然指示器[3], [4], [5]。实地植被调查通过专家整理的群落组成描述来捕捉这些信息，但成本高且空间稀疏。相比之下，地球观测（EO）影像提供了密集的空间覆盖，但仅间接反映生态过程和物种组合。这种富含但稀疏的生态观测与密集但语义有限的EO数据之间的不匹配，仍然是面向生物多样性的遥感的主要瓶颈。

近年来，EO基础模型和自监督编码器的进展在标准基准测试中表现出强大的可迁移性[6], [7], [8], [9]，推动了将预训练嵌入或表示作为即插即用特征用于下游任务的实践[10]。然而，这些表示通常是为通用EO目标（如土地覆盖分类）优化的，缺乏与植物学组成或群落级语义的显式对齐。因此，纯图像派生的嵌入可能无法捕捉物种分布建模所需的关键领域特定模式，尤其是在生态标签有限或采集成本高昂的数据稀缺场景下[11]。核心挑战在于如何在无需昂贵端到端重新训练的情况下，使冻结的EO模型能够编码生态知识。

我们通过CLIVeg（Contrastive Learning for Image–Vegetation alignment，图像-植被对齐的对比学习）来解决这一挑战，这是一个轻量级多模态框架，将高分辨率RGB正射影像与实地植被调查映射到共享的潜空间中。在图像分支中，CLIVeg保持预训练的EO视觉编码器冻结（DOFA [12]、FLAIR [13]和DINOv3 [14]，以下简称EO骨干网络），并训练轻量级投影适配器，将图像嵌入和植被调查嵌入映射到共享的潜空间。植被分支由VEGETA表示，这是一个处理高维植物群落描述符的表格编码器。为避免将图像空间过度特化于植被模态，我们引入了一个几何保持正则化器，以保留原始EO骨干网络的邻域结构。由于EO影像丰富，而实地调查稀疏且成本高，我们在对齐过程中使用植被分支作为生态监督，并保留增强后的图像嵌入用于下游预测。

我们在法国阿尔卑斯地区将此框架作为区域概念验证进行应用。山地系统是宝贵的生态试验场，因为海拔驱动的土壤、气候和植被变化在短距离内创造了异质性栖息地[3], [15]。在此区域背景下，我们在三个水平（不同程度的可见性）和方法设置（分类/回归任务）下评估了增强后图像嵌入的生态可迁移性：植物存在预测，直接评估是否可以从影像中恢复植物学信号；蝴蝶发生预测，通过寄主植物和栖息地结构等植被介导的依赖性来估计地上迁移效果；以及土壤营养群丰度预测，这是一个边界案例，因为土壤生物多样性大多是隐藏的、复杂的和小尺度的，尽管高分辨率RGB正射影像可能通过地上栖息地代理指标捕捉间接的地下信号。为使评估贴近生态实践，嵌入由简单且便于实践者使用的模型（如随机森林）处理，确保性能提升来源于表示质量而非特定于任务的架构复杂度。因此，我们的工作做出了三项贡献：

- 我们引入了CLIVeg，一个用于植物学感知EO表示学习的轻量级框架。CLIVeg通过图像-调查对齐、轻量级投影适配器和几何保持正则化，将植被知识注入冻结的EO骨干网络，避免了端到端重新训练。
- 对EO骨干网络用于生态预测的对照比较。我们在相同的对齐和下游协议下评估了DOFA、FLAIR和DINOv3，隔离了骨干网络选择如何影响植物学感知表示质量。
- 在区域试验场中任务级生态迁移的证据。CLIVeg增强的图像嵌入在植物和蝴蝶预测方面优于原始和监督基线，而土壤营养群预测则凸显了仅用图像建模地下生物多样性的局限性。

相关工作

自监督方法和基础模型方法已迅速重塑了EO表示学习[10], [16]。通过利用大规模无标签影像和传感器多样性，预训练的EO编码器为许多任务提供了可迁移的表示，通常优于从头训练的流水线[12], [13], [14]。然而，大多数EO预训练目标和基准测试是为传统遥感任务设计的，如土地覆盖制图、城市分析或变化检测。

框架概述

CLIVeg是一个用于植物学感知EO表示学习的轻量级多模态框架。它通过对比学习将高分辨率航空RGB正射影像与实地植被调查进行对齐，在训练过程中使用植被分支作为生态监督。EO视觉骨干网络和植被编码器保持冻结，仅优化轻量级投影适配器。如图1所示。

更具体地说，RGB正射影像被编码为图像嵌入，使用的是……

CLIVeg训练设置

CLIVeg采用空间交叉验证进行训练，以避免空间自相关导致的泄漏[39]。研究区域被划分为5km×5km的网格单元（ETRS89/LAEA，EPSG:3035），每个调查点被分配到其对应的网格单元。折叠在网格单元级别定义，在每个验证折叠周围额外设置一个网格单元缓冲带，以确保训练样本与验证样本相距至少5公里。为提高效率，我们报告单个折叠（k=1）的结果，该设置保留了……

下游生态迁移

我们首先在附录A.2中评估了CLIVeg对EO骨干网络、学习率和正则化强度的敏感性。该诊断显示骨干网络相关的行为差异，lr=10?3成为最可靠的默认值，λ=1提供了最高的Avg mAP@10和最低的DB指数。因此，我们使用此设置来评估CLIVeg在三个下游任务中的表现。

图3报告了在跨种子和重复折叠平均后各单元的位点间性能中位数。它总结了……的结果。

植被调查作为EO表示的生态监督

CLIVeg表明，实地植被调查可以作为生态监督，将冻结的EO图像表示向生物多样性相关语义进行适应。CLIVeg无需训练新的基础模型或端到端微调大型视觉骨干网络，而是通过轻量级对比图像-植被对齐来注入植物学信息。这对于生态应用很有用，因为在生态应用中，植被调查信息丰富但空间稀疏，而航空影像则是密集的。

结论

我们介绍了CLIVeg，一个轻量级框架，通过将高分辨率RGB正射影像与实地植被调查对齐，将植物学知识注入冻结的EO图像表示中。CLIVeg并未训练新的基础模型，而是提供了一种参数高效的策略，使现有EO嵌入向生物多样性相关语义进行适应。据我们所知，这项工作是将植物群落组成作为直接指导用于此适应过程的第一步，同时保持……

CRediT作者贡献声明

Selene Cerna：写作 – 审阅与编辑，写作 – 初稿，可视化，验证，资源，方法论，调查研究，形式分析，数据整理，概念化。Sara Si-Moussi：监督，数据整理，概念化。Hadrien Hendrikx：写作 – 审阅与编辑，写作 – 初稿，验证，方法论，调查研究，概念化。Wilfried Thuiller：写作 – 审阅与编辑，监督，项目管理，资金获取。

可重复性声明

关于架构、损失函数和训练策略的所有细节均在第4节中提供，更多信息见附录。用于重现实验的代码将在发表时发布。本研究使用的植被、蝴蝶和土壤数据集可在Zenodo上获取，DOI：https://doi.org/10.5281/zenodo.2478,640。

生成式AI和AI辅助技术在写作过程中的声明

在准备本文过程中，作者使用了ChatGPT，通过语言编辑和措辞调整来改善稿件的清晰度和可读性。使用该工具后，作者对内容进行了审阅和编辑，并对提交稿件的内容承担全部责任。

资助

本工作由欧盟共同资助（Natura Connect，编号101060429；OBSGESSION，编号101134954），法国国家研究局通过MIAI@Grenoble Alpes研究所资助（ANR-19-P3IA-0003），通过France 2030资助的PEPR Dynabiod，以及法国生物多样性办公室（OFB）资助。内容仅代表项目所有者的观点。

利益冲突声明

作者声明他们不存在可能影响本文研究结果的已知竞争性财务利益或个人关系。

Selene Cerna是格勒诺布尔阿尔卑斯大学和阿尔卑斯生态学实验室的博士后研究人员。她拥有计算机科学博士学位，研究方向是利用地球观测基础模型、计算机视觉、遥感和eDNA数据进行生物多样性建模。她特别关注开发深度学习方法来支持生物多样性监测和保护。

Selene Cerna | Sara Si-Moussi | Hadrien Hendrikx | Wilfried Thuiller | Vincent Miele