《Journal of Visual Communication and Image Representation》：ONIR: Object-Noted Tagging for Aerial Image Captioning generation
编辑推荐：
针对高分辨率遥感影像智能解译中专家标注成本高、现有模型难以兼顾描述精度与计算效率的瓶颈，研究人员提出了一种大语言模型（LLM）高效的航空图像描述框架ONIR（Object-Noted Tagging for Aerial Image Captioning）。该
针对高分辨率遥感影像智能解译中专家标注成本高、现有模型难以兼顾描述精度与计算效率的瓶颈，研究人员提出了一种大语言模型（LLM）高效的航空图像描述框架ONIR（Object-Noted Tagging for Aerial Image Captioning）。该框架首先利用GPT-4O从RSSCN7、DLRSD、iSAID、LoveDA及WHU等带分割标注的遥感数据集中生成12473组伪图像-描述对，通过词性标注与命名实体识别筛选物理实体与空间属性词汇，构建含3961个独特词元的洁净语料库，并提取多标签语义标签集。随后采用两阶段低秩自适应（LoRA）策略对紧凑型LLM进行微调：第一阶段基于大规模伪描述数据学习通用遥感语义，第二阶段在UCM-Captions与Sydney Captions等人工标注数据集上优化风格与上下文对齐。模型架构采用冻结的CLIP ViT-L/14作为视觉编码器提取全局图像嵌入与多标签语义标签，通过两层多层感知机（MLP）桥接模块将视觉特征投影至LLM嵌入空间，同时将预测标签融入文本提示模板，由LLM自注意力机制实现跨模态联合推理。实验结果表明，参数量仅1–3B的ONIR在UCM与Sydney基准数据集上的BLEU-4、METEOR及ROUGE-L指标均优于参数量达7–13B的大型视觉语言模型（VLM），其中2B版本在Sydney数据集上BLEU-4达79.83%，较13B的RSGPT提升17.6个百分点。引入的显式语义标签使模型具备可解释性，用户可直接验证目标识别结果，同时通过LLM-as-a-Judge（LLM-J）语义评估验证了标签引导对缓解幻觉的有效性。该研究为边缘端遥感场景理解提供了高效可控的解决方案，发表于《Journal of Visual Communication and Image Representation》。
论文解读
研究背景与意义
高分辨率遥感影像在灾害应急、城市规划等关键领域的应用规模持续扩大，但海量数据与 actionable intelligence 之间的鸿沟日益凸显，核心制约在于专家标注成本过高。自动化图像描述是弥合这一鸿沟的关键技术，可将复杂航空场景转化为简洁文本，但遥感领域的特殊性带来了三重挑战：一是航空影像包含跑道、储油罐等域特定对象与复杂空间布局，现有模型难以捕捉专业词汇且缺乏可解释性，呈现黑盒特性；二是性能与效率的两难困境——7–13B参数的大型视觉语言模型（Vision-Language Model, VLM）计算开销难以在无人机等边缘平台部署，而轻量化架构又缺乏现代大语言模型的表达能力；三是数据瓶颈，遥感领域分割数据集相对充足，但带句子级描述的大规模数据集极度稀缺，限制了场景理解模型的训练。早期CNN-RNN架构受限于特征提取能力难以泛化至高分辨率遥感影像，Transformer模型虽改善了视觉-语言对齐，但需要大量域特定预训练。当前主流预训练视觉编码器结合大语言模型（Large Language Model, LLM）的范式同样面临权衡：BLIP-2、MiniGPT-V2等大模型描述精准但计算成本过高，而基于标签引导的高效流水线虽效率高却牺牲了保真度，难以捕捉精细视觉关系。因此，亟需一种能在资源高效架构下实现大模型描述丰富度的框架，这正是本研究的核心出发点。
关键技术方法
研究人员构建了包含12473组样本的伪描述数据集，数据来源于RSSCN7、DLRSD、iSAID、LoveDA及WHU等带分割、多边形或土地覆盖标注的遥感数据集，严格排除下游评估基准UCM-Captions与Sydney Captions的样本以避免数据泄漏。采用GPT-4O基于结构化空间提示生成伪描述，经词频分析与噪声过滤后，通过词性标注与命名实体识别提取名词与形容词类实体词汇，筛选出现频次≥50的术语构建最终标签集。模型采用LLM无关架构，以冻结CLIP ViT-L/14为视觉骨干，通过附加线性分类头实现多标签分类，阈值τ=0.5推断最终标签集；设计双层MLP桥接模块将1024维视觉特征投影至LLM嵌入空间；选用1–3B参数紧凑型LLM，采用低秩自适应（Low-Rank Adaptation, LoRA）进行参数高效微调，秩设为8，仅增加0.1%可训练参数，训练目标融合语言建模交叉熵损失与多标签分类二元交叉熵损失，权重因子α=1.0。训练采用两阶段策略：先在12000组伪描述数据上进行语义预训练，再在下游数据集上进行指令微调，对比视觉前缀（仅训练MLP）与部分解冻顶层30%参数结合LoRA两种策略。评估采用BLEU、METEOR、ROUGE-L等传统指标，并引入LLM-as-a-Judge（LLM-J）语义评估，以GPT-4O为评判者对目标覆盖度、语义正确性与流畅性进行0–100分打分。
研究结果
6.1 实验结果概览
ONIR在LLM高效的遥感描述任务中达到新的最优性能，参数量仅为对比模型的1/4甚至1/7。在UCM Captions数据集上，3B参数版本的BLEU-4达79.61%，ROUGE-L达88.01%，超越7B参数的SkyEyeGPT；在Sydney Captions数据集上，2B参数版本BLEU-4达79.83%，较13B参数的RSGPT提升17.6个百分点，证明标签引导与直接视觉接地结合可有效打破模型规模与描述保真度的权衡。
6.2 域特定复杂语义处理能力
消融实验显示标签引导对语义捕获至关重要。无标签引导时，LLaMA 3.2在UCM数据集BLEU-4仅61.15%，加入标签后提升至79.61%；在Sydney数据集上，无标签引导BLEU-4仅43.03%，加入后跃升至75.88%。显式语义标签作为聚焦机制，强制语言模型基于场景显著元素生成描述，有效抑制无关内容与语义错误。
6.3 CLIP骨干网络选择性能分析
对比ViT-B/32与ViT-L/14两种CLIP骨干的多标签分类性能，ViT-L/14的mAP@10达67.11%，较ViT-B/32提升7.82个百分点，尽管参数量增至428.5M、GPU内存占用约6.5GB，但其更强的特征表征能力对复杂航空场景理解至关重要，因此被选为默认视觉编码器。
6.4 高效适配带来的高性能
部分解冻顶层参数结合LoRA的策略显著优于仅训练MLP的视觉前缀基线。在LLaMA 3.2上，该策略使UCM数据集BLEU-4提升10.95个百分点，Sydney数据集提升10.46个百分点，StableLM Zephyr上最高提升17.68个百分点，证明仅投影视觉特征不足以应对遥感复杂语义，需对LLM本身进行适配。LLM-J评估暴露了传统指标的局限性：StableLM Zephyr在UCM数据集BLEU-4达74.40%，但LLM-J仅61.34分，反映其存在指标博弈现象，生成内容语义空洞，凸显了语义评估的必要性。LLaMA 3.2（3B）综合表现最优，UCM与Sydney数据集LLM-J分别达75.71与71.62分；Gemma-2（2B）在Sydney数据集表现突出，BLEU-4达79.83%。
讨论与结论
消融研究与定性分析进一步验证了方法的鲁棒性。微调策略消融表明，仅冻结LLM的训练方式性能显著落后，部分解冻结合LoRA是实现深度视觉-语言对齐的关键。鲁棒性测试显示，标签脱落噪声（模拟高阈值）下，模型在脱落率≤0.3时性能保留近100%，表现出强抗信息缺失能力；而标签替换噪声（模拟低阈值）下，BLEU-4在替换率0.5时降至基线的63.66%，表明虚假标签会诱发幻觉，但也证明误差可追溯，克服了传统VLM的黑盒缺陷。零样本测试在DIOR-RSVG数据集上进行，模型能生成流畅相关的描述，但对高速公路等场景可能基于语义先验推断不存在的车辆，这种可追踪的幻觉为未来优化指明了方向。量化分析显示，INT4量化可将GPU内存降至2.75GB，但推理速度下降，边缘部署仍需硬件协同设计。
研究结论表明，ONIR作为一种LLM高效、标签引导的框架，成功解决了遥感描述中精度与效率的权衡问题，通过显式语义标签实现了视觉输入与文本输出的可追溯关联，为资源受限平台的遥感场景理解提供了实用方案。未来研究将聚焦于模型压缩技术（量化感知训练、结构剪枝、知识蒸馏）以提升边缘部署效率，并探索采用RemoteCLIP等域特定视觉编码器进一步增强语义对齐能力。该研究发表于《Journal of Visual Communication and Image Representation》，为航空图像描述的轻量化与可解释性发展提供了重要参考。
