基于特征融合Transformer的多模态学习在图像描述生成中的跨模态对齐与语义增强研究

【编辑推荐】针对现有图像描述方法难以充分挖掘跨模态关联的问题，中国科学院研究人员提出特征融合Transformer多模态学习框架(MFFT)，通过交叉记忆编码块(CME)和解码块(CMD)实现区域/网格特征融合与语言先验学习，结合JSD损失预训练策略显著提升MSCOCO数据集上的描述准确性，为跨模态表示学习提供新范式。

　　

在计算机视觉与自然语言处理的交叉领域，图像描述生成始终面临着"语义鸿沟"的挑战。尽管人类能轻松用语言描述视觉场景，但机器要实现逻辑连贯的图像描述仍存在显著差距。传统基于CNN-RNN的架构受限于单模态特征提取和长程依赖建模，而现有Transformer方法虽引入视觉语言模型(VLM)如CLIP和VinVL，仍存在场景信息利用不足和特征对齐不精确两大瓶颈。

为突破这些限制，中国科学院团队在《Displays》发表研究，提出创新性的多模态特征融合Transformer框架(MFFT)。该研究通过交叉记忆编码(CME)实现区域/网格特征的互补对齐，利用混合交叉注意力解码(CMD)学习语言先验分布，结合JSD损失的预训练策略显著缩小视觉-文本模态差异。在MSCOCO基准测试中，该方法超越现有技术方案，为跨模态理解任务树立新标杆。

关键技术方法包括：1)基于Transformer的编码器-解码器架构；2)交叉记忆编码块(CME)整合VinVL区域特征和CLIP网格特征；3)含可训练记忆向量的解码块(CMD)；4)基于Jensen-Shannon散度(JSD)的预训练策略；5)MSCOCO标准数据集验证体系。

【Cross Memory Encoding block (CME)】
通过可训练记忆向量构建模态间"信息中转站"，在编码阶段实现区域特征(目标检测获得)与网格特征(对比学习获得)的深度交互。实验显示CME模块使视觉特征对齐误差降低23.6%，证明其能有效捕获跨模态共享语义。

【Cross Memory Decoding block (CMD)】
创新性地将全局记忆向量与混合交叉注意力结合，使解码过程同时关注视觉语义和语言分布先验。定量分析表明CMD使生成描述的BLEU-4指标提升4.2点，显著改善描述流畅性。

【Multimodal learning strategy】
提出的JSD损失预训练策略构建图像-文本联合表示空间，消融实验证实该策略使跨模态检索准确率提高15.8%，有效缓解模态偏差问题。

研究结论表明，MFFT框架通过三个核心创新点推动领域发展：1)CME模块首次实现区域/网格特征的参数化融合；2)CMD机制建立视觉-语言的双向推理桥梁；3)预训练策略为跨模态学习提供通用优化范式。讨论部分强调，该方法在医疗影像描述、无障碍技术等场景具有应用潜力，其记忆向量设计思路可扩展至其他多模态任务。值得注意的是，该研究仍存在对大规模预训练数据依赖的局限，未来可通过小样本学习进一步优化。