
-
生物通官微
陪你抓住生命科技
跳动的脉搏
基于QLoRA微调的乌尔都语和阿拉伯语多语言图像字幕生成与跨语言语义一致性研究
《Scientific Reports》:Benchmarking large vision language models for multilingual image caption generation in low resource settings
【字体: 大 中 小 】 时间:2026年09月22日 来源:Scientific Reports 4.9
编辑推荐:
为乌尔都语和阿拉伯语等低资源、从右到左书写的语言生成图片描述这一问题,在多模态学习领域中尚未得到充分探索。现有的字幕生成系统大多针对英语开发,导致多语言视觉理解方面存在巨大差距。本文提出了一种多语言图像字幕生成系统,能够为单张图片生成语义对齐的乌尔都语和阿拉伯语描述。所提出的
为乌尔都语和阿拉伯语等低资源、从右到左书写的语言生成图片描述这一问题,在多模态学习领域中尚未得到充分探索。现有的字幕生成系统大多针对英语开发,导致多语言视觉理解方面存在巨大差距。本文提出了一种多语言图像字幕生成系统,能够为单张图片生成语义对齐的乌尔都语和阿拉伯语描述。所提出的框架通过采用视觉-语言(Vis-Lng)流水线生成双语字幕描述,在推理阶段无需借助中转翻译步骤;其底层的英汉双语训练数据本身即为翻译衍生而来(见第3节)。本文介绍的ZARWA-v1语料库通过将英语源字幕翻译为乌尔都语和阿拉伯语构建而成。我们使用零样本、LoRA和QLoRA微调设置,对多种具备多语言能力的多模态模型进行了全面评估,包括Qwen2.5-VL、Pangea、PALO、mBLIP、PaliGemma2和LLaVA-OV,并同时以三个以英语为中心的视觉-语言模型(Florence-2、InstructBLIP、BLIP-2)作为基线。采用LoRA和QLoRA进行的微调过程进一步提升了两种语言的字幕质量,其中Qwen2.5-VL在使用QLoRA微调时表现最佳,乌尔都语的BLEU-4分数达到48.5,阿拉伯语达到50.1。评估采用了BLEU、ROUGE-L、METEOR、chrF、BERTScore、LASER和LaBSE等一组自动评估指标,并基于5项标准进行人工评估。结果表明,QLoRA微调能够以显著降低的计算资源实现与完整LoRA适配相当甚至更优的性能。跨语言语义一致性分析进一步证实,所有微调后的模型所生成的乌尔都语和阿拉伯语字幕均保持语义对齐。
生物通微信公众号