DenseRS-CLIP：通过基于注意力解耦的双分支蒸馏技术提升遥感CLIP的密集特征表示能力

《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》：DenseRS-CLIP: Enhancing Dense Feature Representation of Remote Sensing CLIP Via Attention-Decoupled Dual-Branch Distillation

　　

摘要：

现有的遥感视觉语言基础模型主要遵循CLIP风格的全球图像-文本对齐范式。虽然这种范式在图像级语义理解方面非常有效，但其生成的补丁级表示在密集预测任务中缺乏足够的判别能力且存在空间一致性问题。为了解决这个问题，我们提出了DenseRS-CLIP，这是一个基于区域结构的两阶段适配框架，用于增强遥感CLIP模型的密集表示能力。在第一阶段，我们进行双重粒度的图像-文本对比预训练，以获得具有强大全局语义对齐能力的领域适应性CLIP模型。在第二阶段，我们引入了一个注意力解耦的双分支蒸馏框架，该框架重新利用现有的边界框和掩码生成的定位注释来构建ROI级别的蒸馏信号，而无需额外的区域-文本描述。具体来说，密集特征被分解为内容和上下文两个分支。内容分支通过带有区域相关性约束的区域结构语义蒸馏进行优化，这提高了局部语义的判别能力并抑制了区域间特征的均质化。上下文分支则通过DINOv3引导的拓扑蒸馏进行优化，该算法使补丁级的自相似结构对齐，从而提高空间一致性和边界感知能力。在涵盖区域分类、视觉定位和参考图像分割的七个基准测试中对DenseRS-CLIP进行了验证，结果显示它在性能上优于现有的遥感VLFM模型及其控制的蒸馏变体。这些结果验证了弱定位、分支特定蒸馏方法在密集遥感视觉语言表示学习中的有效性。代码和模型权重可在以下链接获取：https://github.com/MitsuiChen14/DenseRS-CLIP。