图像字幕生成是一项专注于为视觉内容生成连贯且语义准确的文本描述的任务，在人工智能领域引起了广泛关注。它不仅需要识别图像中的物体，还需要捕捉物体之间的交互和关系，并以自然语言表达这种理解。因此，图像字幕生成通常被视为计算机视觉与自然语言处理交叉领域的核心问题，并已被广泛应用于各种视觉-语言任务中[1]。
在实践中，图像字幕生成通过对视觉内容提供高层语义描述而具有广泛的实际应用。它可以通过自动的图像到文本的叙述来辅助视障人士，通过使机器能够描述和解释场景来促进人机交互，通过从医学图像中自动生成医学报告提供支持，通过总结场景活动来助力智能监控，以及为大规模在线图像数据集生成描述性注释[2]。
深度神经网络架构的最新进展，特别是卷积神经网络和基于注意力的Transformer模型，显著提升了图像字幕生成系统捕获复杂视觉-语义关系的能力。这些发展凸显了神经表示学习在建模图像和文本之间的多模态交互方面的重要性。
为了进一步提升字幕生成性能，最近的研究越来越多地利用互补的上下文特征[1]、[3]、[4]，语义属性[5]、[6]，场景图信息[7]，以及大规模视觉-语言模型[8]、[9]来丰富语义表示，提高生成描述的質量和多样性。
传统模型依赖于MS COCO [10]、Flickr30K [11]或Visual Genome [12]等配对数据集，这些数据集构建成本高昂，且本质上仅限于训练期间观察到的物体。因此，这些模型通常难以描述新物体，这促使了通过受限束搜索（Constrained Beam Search, CBS）[13]、占位符[14]以及多任务学习[15]、[16]、[17]等方法对新物体字幕生成进行研究。尽管如此，这些方法仍然部分依赖标注数据。
为了解决标注瓶颈问题，非配对图像字幕生成引起了越来越多的关注。UIC从两个独立的来源——未标注的图像和独立的文本——学习语义对齐，而无需配对监督。这种方法不仅降低了数据集构建的成本，还扩展了其在低资源和特定领域场景中的适用性。
在非配对图像字幕生成中，大多数方法利用图像和文本之间的跨模态对齐作为字幕生成的桥梁，通常辅以改进技术来提升语言流畅度。为了建立这种多模态对齐，现有方法通常依赖于对抗学习框架[18]或预训练的视觉-语言模型如CLIP [19]，并进一步适配用于字幕生成[20]。然而，基于GAN的方法通常不稳定且容易出现模式坍塌，可能导致语义不一致的字幕。同时，基于CLIP的方法通常集成大型语言模型如GPT来进行字幕生成。尽管这些方法取得了很强的性能，但由于集成大规模预训练模型，所生成的系统在计算上负担沉重，导致资源消耗增加。
尽管取得了最新进展，非配对图像字幕生成仍面临重大挑战。缺乏直接的图像-字幕配对使语义对齐变得不稳定，而视觉和语言特征空间之间的内在差距阻碍了稳健的跨模态表示。此外，在缺乏配对监督的情况下，确保生成的字幕既语义准确又上下文相关仍然是一个开放性问题，尤其是对于细粒度的图像描述而言。
为了解决这些挑战，我们提出了一种新的非配对图像字幕生成（UIC）框架DAKAI（图1），该框架整合了三个核心组成部分：极值对齐（MMA）、动态自适应多任务学习（DAL）和柯尔莫哥洛夫注意力变换器（KAT）。MMA通过将对检测到的物体与非配对域中的名词短语进行对齐来构建伪图像-字幕对，提供初始训练信号。由于这些伪对本质上存在噪声，DAL在字幕生成之外引入了一个辅助监督任务——将图像映射到物体标签、属性或关系——从而增强语义接地并减轻噪声对引起的错误。此外，KAT通过在注意力机制中嵌入柯尔莫哥洛夫-阿诺德网络（KANs）来改进表示学习，使模型能够捕获超出传统线性投影范围的非线性依赖关系。
这些组成部分在DAKAI架构中统一整合，其中MMA、DAL和KAT相互补充，形成一个全面的UIC解决方案。在COCO–COCO、COCO–Conceptual Captions和Flickr–Conceptual Captions上的实验表明，在完全非配对训练设置下，DAKAI取得了具有竞争力的性能。
