《Array》：Semantic alignment and multimodal fusion in image-text learning: A coupling-aware survey of methods, challenges, and future directions
编辑推荐：
图像-文本多模态学习已从早期的跨模态匹配模型迅速发展为能够进行检索、推理和生成的多模态基础模型。在此过程中，语义对齐（semantic alignment）和多模态融合（multimodal fusion）已成为决定视觉与文本信息能否以可靠且高效的方式联合建模
图像-文本多模态学习已从早期的跨模态匹配模型迅速发展为能够进行检索、推理和生成的多模态基础模型。在此过程中，语义对齐（semantic alignment）和多模态融合（multimodal fusion）已成为决定视觉与文本信息能否以可靠且高效的方式联合建模的两个核心问题。本文聚焦于图像-文本多模态学习中语义对齐与融合的最新进展，重点涵盖2023年至今的发展，同时保留理解技术背景所必需的基础性工作。研究人员首先阐明了对齐与融合之间的概念区别和实际耦合关系。随后，研究人员回顾了代表性的对齐范式，包括基于显式监督的对齐、隐式对齐以及多模态大模型中的连接器（connector）对齐。研究人员总结了主要的融合策略，从阶段式集成到交叉注意力（cross-attention）、统一令牌建模（unified token modeling）以及多模态大语言模型中以语言为中心的融合。除了方法分类之外，研究人员还就比较了可扩展性、基础定位保真度（grounding fidelity）、推理深度和计算效率之间的权衡进行了讨论。研究人员进一步分析了主要存在的开放性挑战，包括细粒度语义不匹配、嘈杂的网络规模数据、幻觉（hallucination）、分布偏移下的有限鲁棒性，以及基准性能与现实世界可靠性之间的评估差距。最后，研究人员概述了通往更可信、高效且可解释的多模态基础模型的未来方向。通过强调近期进展和尚未解决的矛盾，本综述旨在为当前的图像-文本多模态学习领域提供一个更具批判性和结构更清晰的图景。
1. 引言
图像-文本多模态学习由计算机视觉（CV）和自然语言处理（NLP）的进步驱动。视觉信号提供丰富的感知信息，而文本描述传递高层语义。有效整合这两种信息的模型对于图像-文本检索、视觉问答（VQA）、视觉定位（visual grounding）、图像描述生成等应用至关重要。最近的进展源于Transformer架构、大语言模型（LLM）以及大规模视觉-语言预训练（VLP）。尽管取得了显著进展，语义对齐和多模态融合仍是两个基本挑战。对齐旨在建立视觉与文本表征间的有意义的对应关系，而融合则旨在将对齐后的多模态信息整合为统一的表征。两者虽概念不同但深度互联。该领域经历了从早期浅层统计关联到端到端深度学习，再到VLP框架及最新的多模态大语言模型（MLLM）的演进。现有综述存在视角过宽、对MLLM时代设计原则分析不足等问题。因此，本文采用问题导向的视角，聚焦于图像-文本学习中的对齐与融合。本文通过系统化的文献检索协议确保了覆盖的全面性与可重复性。主要贡献在于：系统地分析了语义对齐与多模态融合的区别与交互；提出了结构化分类法，涵盖了显式与隐式对齐机制、分阶段与交互式融合策略，以及面向多模态大模型的语言中心集成范式；指出了当前方法的局限性并讨论了未来研究方向。
2. 图像-文本多模态语义对齐方法
语义对齐旨在建立视觉与文本表征间关于同一概念、实体或事件的对应关系，可在全局图像-句子、局部区域-短语、属性级及关系感知结构一致性等多个粒度上进行。本文将代表性方法分为三大范式：显式对齐、隐式对齐和MLLM桥接对齐。
2.1. 显式对齐依赖直接指定的对应信号或结构化对齐目标。早期方法包括动态时间规整（DTW）、典型相关分析（CCA）及其核化与深度变体。在现代系统中，显式对齐演变为细粒度监督定位，如区域-词语对应学习和对象感知预训练。其优势在于可解释性和可控性，但受限于标注成本与可扩展性。随着MLLM的出现，显式对齐也表现为轻量级的投影器（projector）桥接模块，如线性层或多层感知机（MLP），用于将视觉表征映射至语言模型嵌入空间。然而，投影器主要执行表征空间变换，未必能建立深层的语义定位。
2.2. 隐式对齐通过端到端的优化目标学习跨模态对应，无需预定义的对应标签。对比对齐与双编码器学习是最具影响力的范式之一，通过最大化匹配对相似度、最小化非匹配对相似度来学习共享嵌入空间，如CLIP和ALIGN。其优势在于可扩展性与计算效率，但通常仅在全局层面优化，可能无法捕捉细粒度的局部对应。交互式隐式对齐引入更深层的跨模态交互机制，典型的“先对齐后交互”范式通过对比预训练学习粗粒度语义对应，再通过交叉注意力或融合模块进行细粒度推理，代表模型包括ALBEF、BLIP及BLIP-2。相比双编码器，交互式模型提供了更强的细粒度理解能力，但增加了计算开销。结构感知与注意力对齐利用图结构或注意力机制来捕获高阶语义关系或动态识别模态相关信息。注意力机制不仅是交互手段，也是一种隐式对齐策略。
2.3. 对齐范式的比较讨论表明，显式与隐式对齐在实践中日益互补。显式对齐适用于需要可控、可解释的细粒度定位场景，但可扩展性受限。隐式对齐天然兼容大规模预训练与开放域迁移，但可能利用数据集偏差或虚假相关性。双编码器与交互式架构的区分揭示了效率与能力之间的固有权衡。MLLM的出现进一步将对齐从表征学习问题转变为系统级设计挑战，对齐质量由连接器架构、视觉令牌策略、压缩机制和训练目标共同决定。没有单一范式普遍最优，未来的系统可能需要结合隐式学习的可扩展性与显式监督的可控性。
3. 图像-文本多模态融合方法
融合解决如何将对齐后的多模态信号整合以支持下游任务的问题。融合机制已从早期特征级组合演变为基于Transformer的复杂交互架构，再到MLLM驱动的语言中心融合范式。
3.1. 按交互阶段融合根据视觉与文本信息交互的时间点进行分类。早期融合在输入层或浅层特征中整合信息，允许模型访问低层级跨模态相关性，但在高分辨率视觉令牌下计算成本高昂，且可能放大噪声。晚期融合在高层级独立处理各模态后再进行整合，具有模块化和计算效率高的优点，但对细粒度对应关系的建模能力有限。混合融合在网络多个阶段引入交互，兼顾全局理解与局部推理，但增加了架构复杂度和优化难度。
3.2. 代表性融合机制超越了阶段分类，关注信息交换的具体方式。交叉注意力融合允许一种模态从另一种模态中选择性检索信息，能有效建模细粒度依赖，但计算成本随序列长度增长。统一令牌建模将图像块与文本令牌投影至共享令牌序列并由单个Transformer联合处理，简化了架构并减少对外部检测器的依赖，但自注意力的二次复杂度带来缩放挑战。多模态大模型的连接器融合通过轻量级桥接模块（如线性投影器、MLP、适配器、查询桥）将视觉表征注入LLM，连接器成为控制视觉感知与语言推理间信息流的关键接口，其有效性取决于信息压缩与多模态推理能力之间的平衡。代表性模型与对齐-融合的耦合展示了从OSCAR、UNITER到ALBEF、BLIP/BLIP-2及BEiT-3等模型的多样性。对齐与融合在现代系统中日益耦合，往往被联合优化。
3.3. 融合方法的比较讨论指出，核心设计问题不在于何时发生融合，而在于目标任务需要何种类型的跨模态推理。早期融合适合紧耦合的学习但可扩展性差；晚期融合模块性强但交互弱；混合融合提供了灵活折衷但复杂度高。在MLLM时代，融合设计日益由视觉编码器与语言骨干的关系决定。不存在普遍最优的融合架构，应根据具体应用需求选择策略。
