《Journal of Visual Communication and Image Representation》:Benchmarking Vietnamese image captioning: A spatially-aware transformer and the HDUCap dataset
编辑推荐:
摘要越南语图像描述生成研究仍处于起步阶段,面临两大实际挑战:一是缺乏带有多个参考描述的原生数据集;二是现有模型在越南语语境中表达物体间空间关系的能力有限。本研究针对这两个挑战做出了两项关键贡献。首先,提出了HDUCap,这是一个大规模越南语图像描述数据集,包含多样化的真实场景
摘要 越南语图像描述生成研究仍处于起步阶段,面临两大实际挑战:一是缺乏带有多个参考描述的原生数据集;二是现有模型在越南语语境中表达物体间空间关系的能力有限。本研究针对这两个挑战做出了两项关键贡献。首先,提出了HDUCap ,这是一个大规模越南语图像描述数据集,包含多样化的真实场景,每张图片配有人工撰写的五条描述。与现有资源相比,我们的数据集提供了更丰富的语言多样性,并具有更好的参考覆盖度。其次,提出了一种空间感知Transformer模型,该模型集成了位置编码嵌入模块以表示物体的全局位置,并结合可学习注意力模块以更有效捕捉物体间的相对空间关系。该方法在三种设置下进行了评估:域内评估、零样本迁移以及在公开越南语数据集上的混合数据训练。实验结果表明,该方法相比强基线方法取得了稳定提升,尤其在更高阶的n-gram指标和共识指标上表现突出,且在数据分布变化时仍能保持稳定。HDUCap数据集和所提模型将作为越南语图像描述生成的可复现基准,支持进一步的研究与方法比较。
引言 图像描述生成(Image Captioning, IC)是为图像生成自然语言描述的任务。它架起了计算机视觉(CV)与自然语言处理(NLP)之间的桥梁,在图像搜索、视觉障碍辅助工具、视频监控和人机交互等众多实际应用中发挥着重要作用[1]、[2]。一个典型的IC系统由两个核心模块组成:视觉编码器,用于从图像中提取有意义的特征(如物体级或网格级表示);以及语言解码器,用于根据这些特征生成词序列。
在过去十年中,基于英语的IC取得了重大进展。这些进步主要得益于大规模数据集(如MS-COCO [3]和Visual Genome [4])的可用性,以及深度学习模型的快速发展。早期系统采用CNN-RNN流水线[5],随后发展为基于Transformer的模型[6]和端到端预训练模型[7]。重要的突破包括注意力机制的应用[8]、通过Object-Relation Transformer进行空间与关系建模[9],以及向医疗和水下描述等特定领域的扩展[10]。
然而,越南语等低资源语言的IC发展却鲜受关注。尽管已提出多个越南语描述数据集,如UIT-ViIC [11]、VieCap4H [12]、KTVIC [13]和UIT-OpenViIC [14],但它们仍面临重要局限。大多数数据集领域覆盖范围狭窄(如专注于体育或医疗),规模较小(通常少于5000张图片),且由于每张图片仅有一条描述而缺乏语言多样性。部分数据集还依赖从MS-COCO等英语源机器翻译的描述(如COCO-VN),这可能产生语义错误或空间模糊的描述[11]。
与许多主要关注物体类别和全局场景内容的现有描述基准不同,越南语图像描述中通常包含空间表达,如" "(在左边)、" "(在前面)、" "(在中间)和" "(在附近)。这些表达常用于描述物体的排列方式、物体间的互动关系以及它们与周围环境的关联。因此,空间推理成为生成越南语描述中既准确又自然内容的重要因素。
尽管IC近年来取得了显著进展,越南语IC研究仍存在若干局限。首先,仍缺乏基于真实图像构建的大规模多样化数据集,且缺少多个人工撰写的描述。其次,许多现有数据集提供的空间信息有限,特别是与物体位置和几何关系相关的描述。第三,当前越南语描述模型尚未充分利用空间建模和几何感知注意力机制来支持更有效的语言生成。
近年来,BLIP-2 [15]和LLaVA [16]等多模态大语言模型在视觉-语言任务中取得了优异成果。然而,它们的空间理解能力主要通过大规模预训练数据习得,而非直接学习物体间的几何关系。与此同时,现有越南语描述数据集的空间描述仍然有限,未能提供足够的方位或几何相关信息。由于这些局限,当前模型在捕捉越南语图像描述中常见的空间和语言模式时可能存在困难。因此,越南语图像描述仍需要几何感知建模,尤其是在低资源场景下。
为克服上述局限,我们提出了HDUCap数据集,这是一个大规模越南语IC基准,包含15,000张真实场景图像。每张图片由人工标注者独立撰写五条描述。与以往的越南语描述数据集相比,HDUCap在设计时更加关注空间描述和物体交互。许多描述通过方位表达提及物体位置和关系,使该数据集更适合评估越南语描述生成中的空间理解能力。
基于这些特点,我们进一步开发了一种空间感知Transformer模型,以更有效地捕捉物体间的几何关系。所提模型集成了可学习几何偏置函数以建模相对空间依赖,并结合位置感知编码融合来在注意力机制中表示物体的绝对位置。通过结合绝对和相对空间信息,该模型在描述生成过程中提升了空间定位和上下文理解能力。
本文的主要贡献总结如下:
- 提出了大规模越南语图像描述数据集——HDUCap。该数据集包含15,000张自然场景图像,每张图片配有五条独立的人工撰写描述,强调空间锚定和交互感知描述。
- 开发了一种几何感知Transformer模型,以提升越南语描述生成中的空间推理能力。通过位置编码嵌入纳入绝对位置信息,并利用可学习注意力偏置建模相对几何关系。
- 在域内、零样本和混合数据集设置下进行了广泛实验。结果表明,与强基线方法相比,在描述质量和跨域泛化方面均取得了一致提升。
本文其余部分组织结构如下。第2节简要概述IC及越南语数据集。第3节描述构建HDUCap数据集的数据采集流程和标注方案。第4节介绍所提模型。第5节呈现实验评估结果。最后,第6节总结全文并展望未来研究方向。
章节摘要 相关工作 IC是一项位于CV与NLP交叉领域的多模态任务。由于其广泛适用于无障碍服务、教育和智能搜索系统,该任务受到了广泛关注。其主要目标是为图像内容生成自然语言描述。随着时间推移,IC方法已从基于模板和检索的系统演化为深度编码-解码架构、Transformer模型以及大规模视觉-语言模型。
HDUCap数据集 尽管在MS-COCO [3]和Visual Genome [4]等大型英语数据集的推动下,IC取得了显著进展,但非英语语言(尤其是越南语)的资源仍然匮乏。现有的越南语描述数据集要么聚焦于狭窄领域(如UIT-ViIC专注于体育[11],VieCap4H专注于医疗[12]),要么规模有限(如KTVIC仅含4,000张图片[13]),要么由于每张图片仅使用一名标注者而缺乏语言多样性。通过机器翻译构建的数据集
可学习几何感知描述架构 本节描述了一种几何感知描述架构,该架构基于Transformer模型和最新的双注意力方法。所提出的设计通过两项主要架构创新对这些基础进行了整合与扩展:(i) 引入可学习空间偏置函数以替代手工设计的几何嵌入;(ii) 通过位置感知编码融合显式编码绝对空间信息,如图4所示。
首先,视觉特征
数据集与协议 我们在现有越南语数据集和所提出的HDUCap上评估描述模型。公开资源包括UIT-ViIC [11]、VieCap4H [12]和KTVIC [13],它们提供了多样化的领域,但规模或语言丰富度仍有限。HDUCap(本文)包含15,000张实地采集的自然场景图像,每张图片配有五条强调空间关系的独立描述。在本研究中,我们将所提数据集按一定比例划分为训练集、验证集和测试集子集
结论与展望 本工作提出了HDUCap ,这是一个基于自然场景图像构建的大规模越南语图像描述数据集,每张图片配有多条独立描述。据我们所知,HDUCap是目前最大的开放域越南语图像描述数据集,其图像源自真实场景,且全部描述由人工撰写的越南语组成,未使用机器翻译标注。这一设计有助于保持自然语言使用习惯、文化语境和常见空间表达
作者贡献声明 Anh Cong Hoang: 论文撰写——审阅与编辑、论文撰写——初稿、项目管理、形式化分析、概念构思。Hoang Long Nguyen: 可视化、验证、软件。The-Anh Pham: 论文撰写——审阅与编辑、论文撰写——初稿、调查研究。Dinh Cong Nguyen: 论文撰写——初稿、指导、方法论、调查研究。
利益冲突声明 作者声明,不存在可能影响本文所报告工作的已知竞争性经济利益或个人关系。
Anh Cong Hoang|Hoang Long Nguyen|The-Anh Pham|Dinh Cong Nguyen