引言
图像字幕生成旨在创建能够准确反映图像内容的自然语言描述。这是一种核心的视觉-语言能力，可用于生成可访问的替代文本、实现人机交互，以及支持后续的多模态推理任务，比如视觉问答和组合式视觉推理（Agrawal, Lu, Antol, Mitchell, Zitnick, Parikh, Batra, 2017, Antol, Agrawal, Lu, Mitchell, Batra, Zitnick, Parikh, 2015, Hudson, Manning, 2019）。与单纯的图像识别不同，字幕生成需要：（i）识别出重要的实体与属性；（ii）将语言符号与图像中的特定区域对应起来；（iii）构建能够体现空间布局与上下文关系的连贯句子。多项综述指出（Bernardi, Cakici, Elliott, Erdem, Erdem, Ikizler-Cinbis, Keller, Muscat, Plank, 2016, Hossain, Sohel, Shiratuddin, Laga, 2019），字幕质量不仅取决于物体检测能力，还与对场景的结构化理解以及强大的语言生成能力密切相关。
早期的神经网络方法将字幕生成视为一种编码器-解码器问题：卷积神经网络负责将图像转换为特征表示，而循环神经网络或长短期记忆网络则用于生成句子（Karpathy, Fei-Fei, 2015, Vinyals, Toshev, Bengio, Erhan, 2015）。尽管这类方法对常见物体效果不错，但当图像中存在多个相互作用的物体或需要处理长距离的语言依赖关系时，基于全局特征的流程往往难以胜任。注意力机制的出现改善了这一状况，它让解码器在每一步生成过程中都能选择相关的视觉信息（Xu et al., 2015）。后续研究进一步表明，区域级特征对于生成详细且具有现实依据的字幕至关重要，因为它们能够保留那些在全局聚合过程中会被弱化的以物体为中心的线索。
一个重要的进展是采用了自下而上的区域候选方法（通常来自Faster R-CNN算法，Ren, He, Girshick, & Sun, 2015），并结合自上而下的语言条件注意力机制（Anderson et al., 2018）。基于区域的字幕生成方法通过将词语与检测到的物体对应起来，提升了结果的精确度与可解释性。更近期的架构则通过更复杂的注意力设计以及类似Transformer的记忆结构或网格连接方式，进一步加强了不同区域之间的交互作用（Cornia, Stefanini, Baraldi, Cucchiara, 2020, Huang, Wang, Chen, Wei, 2019, Pan, Yao, Li, Mei, 2020）。尽管取得了这些进步，但在复杂场景中仍存在两个突出的实际难题。首先，模型生成的字幕虽然流畅，但却缺乏足够的现实依据，尤其是在视觉证据不明确时，可能会出现物体幻觉或错误的动作描述（Rohrbach, Hendricks, Burns, Darrell, & Saenko, 2018）。其次，许多处理流程主要依赖外观特征，往往未能充分利用探测器所提供的其他有用线索，比如明确的几何信息（位置/大小）以及超出原始外观层面的区域级语义信息。
图1展示了MLFF-DA的设计理念：通过引入明确的几何信息与区域级语义信息，超越仅依赖外观特征的字幕生成方式，进而通过对融合后的区域进行进一步处理，生成更具现实依据的字幕。
几何信息尤为重要，因为字幕常常需要体现空间关系（例如“在……之上”、“在……旁边”、“在……前面”），而且物体的状态与相互作用也依赖于空间布局。之前的研究已经尝试通过关系建模以及空间/通道注意力机制来增强字幕的现实依据（Chen, Zhang, Xiao, Nie, Shao, Liu, Chua, 2017, Yao, Pan, Li, Qiu, Mei, 2018b），不过几何信息通常是以隐式方式被加入的（比如通过位置编码或注意力偏差），而非像视觉与语义线索那样作为独立的一类信息被明确融合进来。与此同时，语义引导信息（如属性、标签或概念级信号）也被证明有助于提升词语选择的准确性，减少通用性过强的描述（Yao, Pan, Li, Qiu, Mei, 2017, You, Jin, Wang, Fang, Luo, 2016）。然而，语义信号往往被视为辅助标签或全局先验，而且区域级语义信息与探测器识别出的区域之间的整合，也常常没有以结构化、逐步的方式进行。
基于上述观察，我们提出了MLFF-DA，这是一种多层特征融合框架，它能够针对每个感兴趣区域明确整合三种互补的信息类型：（i）基于探测器的区域外观特征；（ii）从边界框属性中提取的标准化几何描述符；（iii）通过卷积神经网络编码器从截取的区域中提取的区域级语义嵌入。MLFF-DA并非简单地将各种特征直接拼接在一起，也不是依赖隐式的位置偏好，而是通过两阶段的双重注意力设计来实现逐步融合，这种设计表现为按特征逐项进行控制。第一阶段通过几何信息调节区域外观特征，从而引入空间结构；第二阶段则利用区域级语义上下文来进一步完善这种具备几何意识的表示形式。这样的设计旨在在保留探测器特征所提供的强大以物体为中心的先验信息的同时，提升空间的定位精度与概念选择的准确性。
为便于理解核心思想，MLFF-DA的主要内容可以概括为：每个感兴趣区域都会通过探测器识别出的外观特征、明确的几何信息以及裁剪后区域的语义CNN特征来表示；这三种信息会通过先考虑几何信息、再考虑语义信息的逐项特征控制机制逐步融合；最终得到的区域集合会在LSTM解码之前经过基于标准自注意力的上下文优化处理。因此，该方法的创新点在于采用了明确的多线索区域融合方式来实现具有现实依据的字幕生成，而传统的组件则仅用于上下文优化、模型训练以及解码过程。
除了区域内的融合之外，生成连贯的字幕还需要实现跨区域一致性：各个关键区域必须被整合到对整个场景的统一理解之中。为此，在所提出的MLFF双重门控融合机制之后，我们使用了类似Transformer的多头自注意力模块，对融合后的区域集合进行进一步优化，从而强化从局部到全局的依赖关系。我们并不声称这种优化模块是一种全新的理论上的注意力机制，也不宣称整个模型在计算效率方面有显著优势；该模块的作用仅仅是用来描述融合后各区域表示之间的上下文依赖关系。之后，字幕则是通过基于LSTM的解码器生成的（Hochreiter, Schmidhuber, 1997, Vinyals, Toshev, Bengio, Erhan, 2015），解码器会对优化后的区域特征应用注意力机制。我们在MS COCO数据集上对MLFF-DA进行了测试（Lin et al., 2014），结果表明，结合多线索融合与标准自注意力驱动的上下文优化机制，不仅可以获得具有竞争力的性能，还能产生易于理解的操作行为。
论文结构 第2节回顾了相关研究。第3节介绍了MLFF-DA，包括特征提取、融合以及上下文优化过程。第4节汇报了实验结果、消融实验、定性/可解释性分析、存在的局限性、综合讨论以及未来研究方向，第5节则是对全文的总结。
主要贡献：- •
我们提出了MLFF-DA，这是一种图像字幕生成框架，它能够为每个感兴趣区域明确整合三种互补的信息：探测器识别出的外观特征、标准化的边界框几何信息以及裁剪后区域的语义CNN特征。与仅依赖外观特征的区域字幕生成方法不同，该框架能够让字幕生成编码器直接获取空间布局与区域语义信息。
- •
我们设计了一种逐步式的双重注意力融合策略：首先让几何信息调节探测器识别出的外观特征，随后再让区域级语义嵌入进一步优化这种具备几何意识的表示形式。这种先处理几何信息、再处理语义信息的设计，为一次性简单拼接的特征整合提供了一种结构化的替代方案，有助于提升空间的定位精度、概念选择的准确性以及区域特征之间的区分度。
- •
我们在MS COCO数据集的Karpathy子集上，通过定量对比、消融实验、敏感性分析、定性示例、注意力可视化以及故障案例分析，验证了MLFF-DA的有效性。这些实验结果仅作为该方法的验证依据，并非意味着该方法本身在方法论上有什么新的突破。
Mohammad Alamgir Hossain|Md Bipul Hossen|Md Atiqur Rahman|Md Shohidul Islam|Md Ibrahim Abdullah|ZhongFu Ye
