综述：从对象到场景：基于场景知识增强的遥感视觉定位与地理空间理解

这篇综述创新性地提出了知识增强视觉定位模型（KEVG），通过深度知识融合（DKF）模块和查询区域对齐（QRA）模块，将场景知识（如空间关系、区域功能和潜在活动）融入多尺度视觉特征，在遥感视觉定位（RSVG）任务中实现了82.31%的Pr@0.5精度，显著提升了复杂场景下的语义推理能力。

　　

从对象到场景：知识增强的遥感视觉定位突破

引言
遥感视觉定位（RSVG）作为连接视觉数据与自然语言的关键技术，在灾害响应、城市规划等领域具有重要应用价值。传统方法受限于浅层跨模态交互和语义模糊性，难以处理涉及隐含信息的复杂查询。针对这一挑战，武汉大学团队构建了Luojia-VG数据集，并提出知识增强视觉定位（KEVG）框架，开创性地将高阶场景知识引入视觉定位任务。

数据集创新：Luojia-VG的构建
Luojia-VG包含40,903组图像-表达-知识三元组，其核心突破在于：

1. 知识维度扩展：通过GPT-4生成的场景知识涵盖对象关系（如"停机坪相邻航站楼"）、区域功能（如"货运跑道"）和潜在活动（如"车辆移动"）三类语义信息
2. 查询复杂度提升：采用"知识关联"策略设计表达，如将"运河"描述为"主要运输水道"，平均长度达10词，较DIOR-RSVG（7.47词）更具挑战性
3. 多源数据融合：整合DIOR-RSVG的定位标注和LuoJiaHOG的场景知识，覆盖24类目标，其中"车辆"样本达7161例，而"墓地"仅231例

方法论突破：KEVG模型架构
深度知识融合（DKF）模块
采用Swin-L和BERT分别提取视觉与知识特征，通过m轮跨注意力迭代融合：

1. 特征对齐：计算视觉特征F_i^t∈R^Nt×dt与知识特征F_k^t的注意力权重，采用W_q/W_k/W_v投影矩阵
2. 多尺度融合：在{192,384,768,1536}四个尺度上逐步融合，使mIoU提升9.57%

查询区域对齐（QRA）模块

1. 相似度筛选：计算查询F_q与图像区域的余弦相似度，保留Top15%特征
2. 监督优化：采用MSE损失对齐筛选特征与GT全局特征F_GT^global，在DIOR-RSVG上使Pr@0.5提升6.02%

性能验证与突破
在DIOR-RSVG和Luojia-VG测试集上：

1. 精度指标：Pr@0.5分别达82.31%和83.29%，超越LLM基模型LHRS-Bot（77.59%）和EarthGPT（75.62%）
2. 推理能力：对"集会场所"等需功能推理的查询，准确率较基线提升37.51%
3. 计算效率：Swin-L骨干下实现18FPS，在精度与速度间取得平衡

应用前景与局限
当前模型在密集小目标（如<10%图像面积的车辆）定位仍存在约12.7%的误差。未来方向包括：

1. 轻量化设计：通过知识蒸馏压缩模型参数量（当前168.3M）
2. 多模态扩展：支持SAR等新型遥感数据输入
3. 实时系统开发：优化LLM解码器（LLAMA-2）的推理延迟

这项研究为地理空间智能领域提供了新的技术范式，其知识注入方法和多粒度对齐机制对医疗影像分析等跨模态理解任务具有重要借鉴意义。