《Machine Learning with Applications》：Parameter-efficient remote sensing image scene classification via mixture of recursive cross-attention and cross-modal semantic initialization
编辑推荐：
本文介绍了用于地理编码的混合递归注意力（MiRAGE），一种统一的参数高效遥感（RS）图像场景分类方法。MiRAGE使用低秩适应（LoRA）适配对比语言-图像预训练（CLIP）-视觉变换器（ViT）主干。因此，它降低了微调成本并解决了在样本有限的RS数据集上的
本文介绍了用于地理编码的混合递归注意力（MiRAGE），一种统一的参数高效遥感（RS）图像场景分类方法。MiRAGE使用低秩适应（LoRA）适配对比语言-图像预训练（CLIP）-视觉变换器（ViT）主干。因此，它降低了微调成本并解决了在样本有限的RS数据集上的过拟合问题。MiRAGE采用双头架构，包括全局递归头（GRH）和空间递归头（SRH）。这两个头独立处理全局上下文线索和局部空间纹理。一个共享的混合递归（MoR）路由器控制两个头，动态确定依赖于输入图像的递归深度。这使得计算图具有自适应性。一个对称的KL散度一致性损失正则化两个头的预测，鼓励一致性同时保留其互补表示。研究人员进一步提出了一种跨模态语义初始化（CMSI）策略，该策略使用带有类特定提示的CLIP文本嵌入来初始化特定的网络权重。这使得MiRAGE能够将从大规模多模态数据集学习到的语义先验迁移到下游RS图像场景分类。研究人员将MiRAGE与92种现有方法在三个数据集的不同训练-测试划分上进行比较。MiRAGE根据四种不同的排名方案均排名第一。消融研究表明，LoRA、MoR和CMSI对MiRAGE的性能均有贡献。进一步评估表明，自适应路由相对于固定最大深度推理减少了递归计算。然而，实测的MiRAGE延迟仍高于基线CLIP。实验还提供了MiRAGE跨数据集迁移能力的证据。进一步检查包括激活图和嵌入的可视化，以及MoR的详细检查。
遥感图像场景分类是地球观测中的基础任务，对于城市规划、环境监测和灾害管理至关重要。该任务面临独特挑战：同一类别内的场景可能呈现多样化的结构布局，导致较高的类内方差；不同类别之间也可能共享重叠的光谱和空间特征，产生显著的类间相似性。随着高空间分辨率（HSR）影像的普及，该任务已从手工描述符转向深度学习范式。视觉变换器（ViT）凭借自注意力机制建模长距离依赖的能力，成为卷积神经网络（CNN）的有力替代方案。然而，现有的基于变换器的方法在样本有限的遥感数据集上训练时，往往面临高计算复杂度和过拟合问题。另一个局限性在于当前方法使用静态架构，对每幅图像施加统一的计算量，无论场景视觉上简单还是复杂。近期出现的混合递归（MoR）机制通过动态深度分配实现了自适应递归计算，但将其应用于遥感场景分类的研究尚不多见。此外，对比语言-图像预训练（CLIP）等视觉-语言模型（VLM）的兴起表明，在海量多模态数据上预训练的大模型能够提供可迁移到下游任务的鲁棒语义先验。然而，如何在不进行全量微调的情况下有效适配这些大模型用于遥感场景分类，仍是一个开放挑战。同时，弥合视觉特征与语义语言潜在表示之间的差距也尚待解决。
针对上述研究空白，研究人员提出了用于地理编码的混合递归注意力（MiRAGE），这是一种参数高效的统一方法，能够以输入依赖的方式自适应分配计算，并同时利用CLIP的视觉和语言表示。MiRAGE采用双头递归框架，包含全局递归头（GRH）和空间递归头（SRH）。GRH从类标记中建模全局语义信息，SRH从块标记中捕获局部空间信息。两个头均基于低秩适应（LoRA）适配的CLIP ViT主干提取特征。LoRA通过减少可训练参数数量降低了训练成本，并缓解了过拟合。共享的MoR路由器根据输入图像自适应分配轻量级递归头内的递归步数，从而相对于固定最大深度推理减少计算量。SRH通过块标记上的递归交叉注意力进一步细化其表示。这种统一设计使MiRAGE能够适应每幅输入图像的计算量，并同时利用全局语义和局部空间信息。此外，研究人员还引入对称KL散度一致性损失来正则化GRH和SRH的预测，鼓励两个分支之间的共识同时保留其互补表示。实验在三个基准数据集上进行，采用七种训练-测试划分，MiRAGE在四种不同排名方案下均位列第一。消融研究验证了LoRA、MoR和CMSI各自的有效性。
研究人员在这项研究中使用了多项关键技术。首先，采用LoRA对CLIP ViT-L/14@336的视觉编码器进行参数高效微调，仅更新约2.07%的主干参数。其次，构建了双头递归架构：GRH使用残差MLP逐步细化类标记，SRH使用多头交叉注意力（MHCA）在块标记上进行类别条件搜索。第三，设计共享MoR路由器，通过多层感知机（MLP）将全局和空间特征映射为递归深度，并用可微分的软掩码在训练时进行梯度传播。第四，提出了跨模态语义初始化（CMSI），利用CLIP文本编码器生成的类特定和分支特定的提示嵌入来初始化分类层的语义锚点矩阵。第五，采用对称KL散度一致性损失促进双头预测的一致性。实验使用了三个公开数据集：UC Merced（UCM）、Aerial Image Dataset（AID）和NWPU-RESISC45（NWPU），分别包含21、30和45个类别，样本数为2100、10000和31500。训练比例设置分别为UCM的0.8/0.5，AID的0.5/0.2，NWPU的0.8/0.2/0.1。
在实验结果方面，MiRAGE与92种现有方法进行了比较，在406个成对比较场景中，四种排名方案（胜率排名、Elo排名、Borda排名、平均排名得分排名）均获得第一。在控制相同CLIP ViT-L/14@336主干的条件下，MiRAGE在三个选定设置中的平均准确率均高于线性探针、全量微调、LoRA-CLIP和CoOp基线。消融研究表明，LoRA、MoR和CMSI均对性能有贡献。具体地，S1到S4方案逐步添加LoRA、MoR和CMSI，准确率逐步提升或标准差降低。双头架构和KL损失也有助于性能提升。进一步实验表明，自适应路由在推理时选择的平均递归深度随训练样本增加而减小，但MiRAGE的实测延迟仍高于基线CLIP，因为主干推理占据主导。MoR分析发现，路由深度与类语义相似性之间存在正相关（Pearson r=0.73，p<0.001），表明语义模糊的类别需要更多的递归细化。可视化分析显示，SRH逐步聚焦于局部判别结构，GRH则响应更广泛的上下文证据，二者呈现互补行为。t-SNE可视化表明学习到的特征具有清晰的语义结构和类间间隔。跨数据集实验在AID和NWPU共有的22个类别上进行，MiRAGE展示了优于零样本CLIP基线的迁移能力。
总结讨论部分，MiRAGE通过参数高效适配和自适应递归计算，有效应对了遥感场景分类中的类内方差和类间相似性挑战。其双头架构和跨模态语义初始化充分利用了CLIP的多模态先验，在多个基准上取得了领先性能。研究结论指出：MiRAGE在三个数据集和七个评估设置下，在92种方法中排名第一；消融实验验证了各组件贡献；可视化分析提供了分支互补性的定性证据；MoR分析表明递归深度与类语义相似性相关；CMSI在初始化策略中平均准确率最高；跨数据集实验证明了AID与NWPU之间的迁移能力。局限性包括依赖大型CLIP主干、跨数据集验证仅限两个数据集及22个共享类别，且某些组件在特定设置下增益较小。未来工作拟引入混合专家架构。
