将多模态数据转化为决策资产：基于跨模态对齐的生态数据视觉-语言模型

《Environmental Modelling & Software》：Transforming multimodal data into decision assets: A vision-language Model for ecological data using cross-modal alignment

　　

环境监测在复杂的牧场生态系统中依赖人类评估来应对环境变化。当地社区知识对于指导使用牧场生态系统的牧区系统中的畜群移动决策至关重要。目前，基于人类的侦察考虑牧场位置、季节和植物组成等因素，基于传统知识做出决策。然而，气候变化影响使牧场监测更加复杂，降低了植被可用性、物种组成、可及性和季节性放牧模式的可预测性。为了解决这一问题，需要自动化牧场评估以支持可持续管理。研究人员提出了一种新型人类增强的生态评估框架，通过多模态混合专家（Mixture of Experts, MoE）架构和双向交叉注意力机制，将当地社区知识形式化为可扩展的、知识感知的AI系统。该模型由来自撒哈拉以南非洲牧场的多模态数据集驱动，该数据集主要通过移动应用程序收集，利益相关者在此编码决策参数。该架构通过将视觉特征锚定在季节性元数据中来帮助消解歧义，季节性语言引导模型优先考虑特定地点的物候模式，而非无差异的光谱绿度。通过采用MoE层来管理生态数据变异性，研究的学习模型利用社区知识覆盖误导性的视觉线索，并在牧场质量分类中优于单模态和标准融合基线。这些结果表明，通过以人为中心的先验路由数据可以改善牧场监测。

论文解读：基于跨模态对齐的视觉-语言模型将多模态数据转化为决策资产

气候变化和严重干旱对牧场生态系统及依赖畜牧业的社区生计构成直接威胁。传统牧场监测依赖人类侦察，牧民根据牧场位置、季节和植物组成等传统知识做出决策。然而，气候变化降低了植被可用性、物种组成、可及性和季节性放牧模式的可预测性，使牧场监测更加复杂。现有遥感方法虽能评估大尺度植被生产力，但无法直接建模牧民引导的牧场质量（Good、Medium、Poor三级有序标签）。牧场图像在旱季和雨季之间呈现显著差异，且包含灌木、金合欢、入侵物种、有毒植物等复杂组成，导致视觉特征与生态功能之间缺乏确定性映射。因此，有必要将社区知识与AI技术结合，建立上下文感知的自动化评估框架。

研究人员提出了一种新型人类增强生态评估框架，通过多模态混合专家（Mixture of Experts, MoE）架构和双向交叉注意力机制，将当地社区知识形式化为可扩展、知识感知的AI系统。模型输入来自撒哈拉以南非洲牧场的多模态数据集，主要通过移动应用程序采集。实验结果表明，该模型在牧场质量分类中优于单模态和标准融合基线，验证了通过人类中心先验路由数据可改善牧场监测。论文发表在《Environmental Modelling》。

主要关键技术方法：研究使用了肯尼亚北部Marsabit County的Ngurnit（2325条）和Sololo（1756条）两个站点的4081条图像-元数据-标签记录。方法包括：①知识公式化，将专家知识分解为顶部覆盖、地面覆盖、物种效用和结构完整性四个原始量，并映射到量化序数尺度；②二元否决规则，检测到有毒或高密度入侵物种时直接判定为Poor；③双编码器架构，采用Swin作为视觉编码器、BERT作为文本编码器；④双向交叉注意力融合，使视觉特征与文本语义相互引导；⑤稀疏MoE融合模块，通过模态感知路由器激活top-2专家；⑥训练策略包括MixGen图像-文本混合、类别加权、模态随机丢弃及辅助分类头。

实验设置与结果如下：

4.1 数据集描述：数据集包含来自两个站点的4081条样本，类别分布为Good 883条、Medium 1727条、Poor 1471条，存在类别不平衡。

4.2 实现细节：采用Swin和BERT作为编码器，图像调整为224×224，使用MixGen增强，AdamW优化，差分学习率。

4.3 评估指标：采用准确率、平衡准确率（BAcc）、Macro-Precision和Macro-F₁，并使用McNemar配对检验及Holm校正。

4.4 基线方法：包括纯图像（Swin）、纯文本（BERT）、早期融合和晚期融合。

4.5 实验结果：在测试集上，所提模型在两个随机种子上的平均准确率达90.8%，Macro-F₁为89.6%，显著优于纯图像模型（Macro-F₁ 70.8%）和纯文本模型（Macro-F₁ 83.5%）。与早期融合和晚期融合