通过深度协同交叉融合技术提升基于Transformer的图像字幕生成能力

《Engineering Applications of Artificial Intelligence》：Improving Transformer-based image captioning via deep collaborative cross-fusion

图像描述生成与多模态融合优化研究，提出DSCT模型通过编码端稀疏交叉融合编码器处理复杂视觉特征并过滤冗余信息，解码端双特征调节注意力机制实现多模态深度协同融合，在MS COCO数据集上CIDEr达141.1%，验证跨模态语义鸿沟有效bridging。

　　

胡俊波|吴彤|李志新

教育部教育区块链与智能技术重点实验室，广西师范大学，桂林541004，中国

摘要

图像字幕生成是计算机视觉和自然语言处理交叉领域的一项关键任务，旨在为视觉内容生成准确且描述性强的句子。研究表明，增强多模态特征之间的相关性可以提高图像字幕生成的准确性。然而，现有的基于编码器-解码器框架的方法仅限于在编码或解码阶段融合多模态特征，难以有效弥合语义鸿沟。本文针对处理复杂图像特征、过滤冗余信息以及融合多模态特征等挑战，提出了一种深度协同交叉融合Transformer模型（DSCT），该模型在整个过程中采用全面的多特征融合方法来提升生成质量。具体而言，我们设计了一种稀疏交叉融合编码器（SCFE），通过预融合特征并利用稀疏性有效消除视觉冗余信息，从而解决了处理复杂图像特征和过滤冗余信息的问题，生成更精细的双模态视觉特征。此外，我们还引入了双特征调节融合注意力（DRFA）模块，在生成字幕的过程中精确调节视觉和语义表示的重要性及输入，促进多模态特征的深度融合，以解决多模态特征融合不足的问题。在MS COCO数据集上的实验结果表明，DSCT模型的性能与最先进的方法相当，在Karpathy测试分割上的CIDEr得分达到了141.1%，验证了本研究提出的创新方法的有效性。

引言

随着人工智能的快速发展（?zer等人，2024年；?zer等人，2025年），跨模态智能分析已成为计算机视觉和自然语言处理领域的研究热点。图像字幕生成作为这两个领域的交叉研究领域，旨在通过机器自动生成准确流畅的自然语言描述来全面理解图像内容（Cornia等人，2020年；Wei等人，2021年）。这在跨模态数据分析中是一项极具挑战性的任务。受到神经机器翻译进展的启发，编码器-解码器框架被广泛应用于图像字幕生成中。

近年来，Transformer因其独特的架构和强大的生成建模能力而在图像字幕生成任务中受到了广泛关注（Pan等人，2020年；X. Zhang等人，2021年；Xian等人，2022b年；Wei等人，2024年；Li等人，2023年；Hu等人，2024年）。Transformer利用注意力机制，能够同时关注图像和文本的不同部分，并传递全局上下文信息，从而显著提升图像字幕生成的性能。尽管区域特征在图像字幕生成任务中取得了巨大成功（Anderson等人，2018年），但它们被批评缺乏上下文信息和细粒度细节，而这些正是网格特征的优势所在。因此，如何结合这两种特征的优势以进一步提升图像字幕生成性能已成为当前研究的焦点。最近，在各种视觉-语言任务中，预训练在大量数据上的视觉-语言模型（VLMs）展现了出色的性能，包括视觉问答（Peng和Li，2024年；Peng和Li，2025年；Chowdhury和Soni，2025年；Farea和Emmert-Streib，2025年）、视频描述（Seo等人，2022年；Chang等人，2022年；Jing等人，2023年；Zhao等人，2024年）、情感分析（Zhuang等人，2025a年；Zhuang等人，2025b年；Jin等人，2025年；Zhang和Xiang，2025年）以及图像字幕生成（Hu等人，2022年；Hu和Li，2024年；Li等人，2025年；Zhu等人，2025年）。这些VLMs提取的视觉特征不仅具有强大的表示能力，还表现出独特的特性。例如，CLIP模型（Radford等人，2021年）通过对比预训练获得了富含细粒度细节和语义场景的跨模态网格特征。相比之下，VinVL模型（P. Zhang等人，2021年）采用了更强大的对象检测器来提取多样且丰富的区域特征，为图像提供紧凑的对象级表示。

鉴于各种类型视觉表示在图像字幕任务中的不同优势，研究人员致力于通过融合这些表示来构建更强大且互补的视觉特征。为了提高特征的有效性，一种策略是将区域特征与网格表示相结合。Luo等人（2021年）设计了一个局部受限的交叉注意力模块，利用几何对齐图来对齐和增强区域特征和网格特征，如图1(a)所示。通过引入局部约束来优化特征融合过程，提高了融合特征的质量。为了提升解码器在多模态信息融合方面的性能，如图1(b)所示，Jiang等人（2022年）提出了一个双流位置学习Transformer网络，采用自适应融合注意力机制替代传统的交叉注意力模块。这种机制旨在平衡并融合增强的区域特征和补丁特征，从而更有效地贡献于最终的图像字幕生成。然而，上述方法仍存在不足：首先，Luo等人的方法在解码阶段仅使用简单的交叉注意力机制，缺乏足够的跨模态推理能力；其次，Jiang等人的方法在编码阶段没有实现特征交互，未能充分利用各种类型视觉特征的优势来构建更强的特征表示。

为了解决上述问题，本文提出了一种深度协同交叉融合Transformer（DSCT）模型。该模型在编码器和解码器的不同阶段实现多层次和深度的特征融合，旨在提高图像字幕的准确性和流畅性。如图1(c)所示，DSCT模型采用深度信息融合策略，深入整合和优化多特征和多模态信息的融合过程，以实现更优越的图像字幕生成性能。

受到时间序列预测模型Informer（Zhou等人，2021年）的启发，我们在模型的编码阶段引入了稀疏交叉融合编码器（SCFE）。该编码器通过预融合特征并巧妙利用稀疏性原理，有效消除了视觉信息中的冗余部分，成功解决了处理复杂图像特征和高效过滤冗余信息的挑战，进一步细化了视觉特征的细粒度和双模态表示。在解码阶段，我们创新设计了双特征调节融合注意力（DRFA）模块。在生成字幕的过程中，可以使用该模块准确控制语义和视觉特征的比例和贡献，确保每个特征在最适合的时间以最适合的方式发挥作用。这极大地促进了多模态特征的深度融合和协同作用，有效解决了以往多模态特征融合方法中融合不足和协同效果不佳的问题。以下简要描述了本文的主要贡献：

• •
  我们提出了深度协同交叉融合Transformer（DSCT）模型，该模型从编码到解码采用全面的多特征和多模态信息组合方法，有效弥合了语义鸿沟，提高了图像字幕的准确性。
• •
  我们引入了稀疏交叉融合编码器（SCFE），在编码阶段实现了对复杂图像特征的精细处理和冗余信息的有效过滤，生成了更精细和信息丰富的双模态视觉特征。
• •
  我们设计了双特征调节融合注意力（DRFA）模块，在解码阶段精确调节视觉和语义特征的重要性，进一步增强了图像字幕的准确性和丰富性。
• •
  在广泛认可的MSCOCO公共数据集上的实验结果表明，我们提出的DSCT模型在集成设置中取得了143.2的出色性能，超越了当前同类中的先进方法，充分验证了其有效性和先进性。

相关研究

相关工作

本节将概述与我们的研究最密切相关的图像字幕领域的几项进展，包括基于注意力驱动的图像字幕生成方法、多特征融合优化策略以及基于视觉-语义关联的方法。

方法论

本文提出了用于图像字幕生成的深度协同交叉融合Transformer（DSCT），其框架如图2所示。基于Transformer架构，它包含$N$个融合模块。DSCT通过在编码和解码阶段引入稀疏交叉融合编码器（SCFE）和双特征调节特征注意力（DRFA）模块，实现了深度协同交叉融合，旨在提高图像字幕的质量。

在编码阶段，

数据集

我们的实验使用了MSCOCO 2014年的数据集（Lin等人，2014年），该数据集包含123,287张图像，分为训练集（82,783张图像）、验证集（5,000张图像，遵循Karpathy和Fei-Fei（2015年）对训练集的分割）和测试集（5,000张图像，同样来自训练集），以及40,775张用于在线评估的图像（这些图像未公开标注）。每张图像有五个字幕。在预处理过程中，获得了10,201个不同单词的词汇表。

局限性与未来工作

该模型基于编码器-解码器Transformer架构设计，通过稀疏交叉融合编码器和双特征调节融合注意力模块实现了多特征和多模态信息的深度融合。然而，仍有三个方面有待优化：首先，该模型目前依赖于CLIP和VinVL提取的网格和区域特征，这些特征的表示准确性有待进一步提高；其次，模型的

结论

本文提出了一种深度协同交叉融合Transformer模型（DSCT），确保了深度和全面的融合。具体而言，嵌入在DSCT模型中的稀疏交叉融合编码器（SCFE）有效解决了处理复杂图像特征的挑战，并成功过滤掉了冗余信息，从而生成了精细的双模态视觉特征。此外，我们还引入了双特征调节融合注意力（DRFA）模块，

CRediT作者贡献声明

胡俊波：撰写——原始草案、方法论、概念化。吴彤：撰写——审阅与编辑、可视化。李志新：撰写——原始草案、方法论、数据整理。

利益冲突声明

作者声明他们没有已知的可能会影响本文工作的竞争性财务利益或个人关系。

致谢

本工作得到了国家自然科学基金（编号：62276073）、广西自然科学基金（编号：2026GXNSFAA00641057）、广西研究生教育创新项目（编号：YCSW2024234）以及广西“八桂学者”创新研究团队的支持。