DFCap：基于动态融合模块的零样本图像标题生成技术

《IEEE Access》：DFCap: Zero-Shot Image Captioning With Dynamic Fusion Module

　　

摘要：

图像字幕生成是一项为视觉内容生成自然语言描述的任务，它将计算机视觉研究与自然语言处理联系在一起。尽管监督学习方法取得了显著的成功，但它们严重依赖于大规模的标注数据集，这限制了它们在资源匮乏场景中的应用。零样本图像字幕生成作为一种有前景的替代方案应运而生，它利用预训练的视觉-语言模型和仅文本的训练来泛化到未见过的图像。然而，现有方法常常受到视觉表示和文本表示之间的模态差异的影响，导致生成的内容不准确或出现幻觉。一种可能的解决方案是引入基于检索的策略，这些策略结合了外部文本知识，但其性能对检索样本的质量非常敏感。为了解决这些挑战，我们提出了DFCap，这是一个具有动态融合模块的新型零样本图像字幕生成框架。该模块能够自适应地整合视觉特征、文本特征和外部检索到的知识，有效减少检索到的噪声并提高字幕质量。在MSCOCO数据集上，该模型取得了30.4的BLEU-4分数、27.0的METEOR分数、108.0的CIDEr分数和20.7的SPICE分数。在Flickr30k数据集上，它取得了23.2的BLEU-4分数、22.1的METEOR分数、57.3的CIDEr分数和15.5的SPICE分数。在MSCOCO和Flickr30k上的广泛实验表明，DFCap在无需特定任务训练的情况下能够生成高质量的字幕，证明了其有效性和鲁棒性。