图像到文本技术的进步：结合大型语言模型的MDE-Net实现上下文感知的文字生成

《Experimental Parasitology》：Advancing Image-to-Text: MDE-Net Coupled with Large Language Models for Context-Aware Captioning

　　杨阳|余登秀|C.L.菲利普·陈

摘要
图像到文本的转换是融合视觉与语言模型的活跃跨模态研究领域。目前，端到端的图像描述模型已取得显著进展。然而，传统的视觉网络存在感受野有限以及层次化特征退化的问题，这阻碍了在复杂场景中提取精细细节和进行精准识别。此外，由于现有数据集的标注相对简单，生成的描述在丰富度和表现力方面仍有很大提升空间。为解决这些问题，本文提出了多尺度判别增强网络（MDE-Net），该网络由两个主要部分组成。第一部分是集成内嵌多尺度注意力（IMA）模块的Transformer框架。与依赖多阶段处理或外部特征提取网络来丰富图像信息的方法不同，该框架直接在注意力头内部融合多尺度特征。第二部分在前述框架基础上加入了自适应频率融合（AFF）模块。该模块充分利用不同频率下细节与边缘信息的互补特性，有助于精确识别物体及其相互关系。此外，本文还引入了一种基于视觉引导的LLM优化模块，该模块利用语言先验在视觉关键词约束下提升描述的流畅性、词汇多样性及表达能力。在MS COCO数据集上，MDE-Net在各项标准描述指标上均优于基准模型，CIDEr得分提升了4.2分。进一步的消融实验和迁移性实验验证了所提模块的有效性，而受限的LLM优化则在描述丰富度和表现力方面取得了良好效果。代码地址：https://github.com/yangyanggit89/MDE-Net

引言
图像到文本的模态转换是多模态学习中的热门研究主题。深度学习方法的飞速发展推动了图像描述在理论和实验方面的创新成果（Gao等人，2025；Ma等，2023；Zhou等人，2025），其实际应用也日益广泛（Li等，2024；Reale-Nosei等，2024）。目前，端到端的文本生成模型大多采用编码器-解码器架构（Wang等，2022b），这让我们从特征提取和文本生成两个角度来思考这一任务。尽管取得了显著成就，但图像描述在处理复杂图像时仍面临两大挑战。首先，传统的外部融合特征提取网络仍无法有效捕捉图像中的多样详细信息，也难以在更细的粒度上精准关联和区分这些细节。其次，生成句子的质量取决于数据集本身的标注，而简单粗糙的手动标注也限制了生成句子的丰富度。

在丰富图像的详细信息方面，各种卷积神经网络（CNN）在视觉任务的特征提取中发挥着重要作用，基于CNN的图像到文本生成模型（如Jayaswal等人，2024）也颇受欢迎。在遥感图像描述领域，一些代表性研究进一步强调了数据集覆盖范围、多尺度表示以及变化感知视觉理解的重要性。例如，NWPU-Captions为遥感图像描述提供了大规模基准测试，而MLCA-Net则引入了多级跨模态对齐框架，以提升复杂航空场景下的视觉-文本语义一致性（Cheng等人，2022）。MC-Net（Huang等，2023）通过聚合多尺度上下文信息，提升了复杂场景布局下的描述生成能力，而MS-Net（Wang等，2022c）则通过对视觉特征之间的多尺度交互进行建模，增强了句子生成前的图像表示能力。此外，Change3D（Zhu等，2025）通过同时考虑变化检测和变化描述，将描述生成扩展到了双时间序列的遥感场景。这些代表性研究表明，优质的图像描述不仅需要语言层面的解码，还需要具备判别性的视觉基础、多尺度表示以及强大的物体级感知能力。

然而，传统CNN在特征提取过程中存在捕捉层次化图像特征和全局上下文信息的固有局限，从而导致图像描述任务的视觉表示不够理想。为解决第一个问题，研究人员采用了特征金字塔网络（FPN）（Lin等人，2017）及其变体（Tan等，2020）来融合多感受野特征，还有其他研究（Fang等人，2022；Huang等，2020）通过整合多个外部检测网络来丰富层次化信息。对于第二个问题，基于Transformer的架构，如视觉Transformer（Dosovitskiy等人，2021）和Swin Transformer（Liu等人，2021b），通过并行计算和全局建模能力彻底改变了全局-局部特征融合的方式，显著提升了各类视觉任务的性能（Korban等，2023；Liu等，2025）。这些进展表明，具有多尺度特征融合能力的视觉Transformer框架是全面丰富图像信息的重要研究方向。不过，许多现有的多尺度融合方法主要侧重于聚合多级特征，可能无法充分在注意力空间内建模细粒度的语义关系，从而无法在更微观的层面上实现图像语义的精准对齐。在本研究中，我们提出了一种基于Swin Transformer框架的独特特征提取网络，该网络融入了一种名为内嵌多尺度注意力（IMA）的固有特征融合机制。该模块在Transformer的注意力头内部直接进行多尺度特征缩放和融合，从而在像素级别建立图像信息之间的关联。通过结合Transformer架构的优势与跨尺度特征融合能力，且无需依赖外部网络，该网络能够生成更为细腻全面的视觉表示。

视觉表示的另一个挑战是完整识别图像信息并准确区分其各个组成部分。近期研究指出，频率分解技术是重要的分析方向。在图像处理中，小波变换（Zhang等，2019）和傅里叶变换（López-Randulfe等，2021）等技术可以将图像信息转换为频域形式。不同的频率分量反映了图像的不同方面。例如，高频信息能够捕捉边缘、轮廓和纹理细节，而低频信息则代表亮度或灰度渐变的区域，这些区域构成了图像的主体部分。在近期的研究中（Cong等人，2023；Lin等，2023），对频域特性的探索和应用为各类视觉任务带来了进展。为进一步研究图像中的频率间关系，探讨如何利用高频信息和低频信息构建更好的视觉表示，本文提出了自适应频率融合（AFF）模块。该模块通过二维离散小波变换将图像特征分解为多个频率分量，生成四个子带（LL、LH、HL、HH）。它通过统计分析在高频（纹理细节）和低频（结构语义）分量之间建立参数化关联，并利用可学习的缩放系数对它们进行自适应融合。这种机制通过在完全可训练的框架内动态调整跨频率交互，从而提升了特征表示能力。

基于上述两种方法，我们提出了多尺度判别增强网络（MDE-Net）。MDE-Net的设计理念并非简单地将多个现有组件附加到编码器-解码器描述系统中，而是在语言优化之前建立一种判别性的视觉增强流程。具体而言，MDE-Net首先通过多分辨率注意力亲和力构建来强化空间关系建模，然后通过自适应跨频率交互来调整结构和纹理特征。这样的设计旨在为后续的语言生成阶段提供更具判别性和视觉依据的信息。

为弥合增强后的视觉线索与自然语言生成之间的差距，我们的框架将这些表示与基于视觉引导且具备约束意识的LLM优化策略相结合。像GPT（Radford等人，2019）和LLaMA（Touvron等人，2023）这样的通用LLM能够为提升描述的流畅性和表现力提供有用的语言先验。但在我们的框架中，LLM并非作为独立的视觉知识来源，而是受到描述模型生成的视觉关键词和置信度分数的约束，从而使语言优化始终以图像证据为基础。

因此，本工作的核心思想是协调设计三种互补的机制，而非简单的系统级组合。IMA在注意力亲和力空间中建模多粒度视觉关系，AFF通过自适应的高低频调整来增强物体的判别性特征，而LLM优化模块则利用由此产生的视觉证据作为句子生成的约束条件。这种分工使得模型能够在受控的流程中同时提升视觉表示能力和语言表达能力。图1直观展示了该模型生成描述的有效性。本研究的主要贡献如下：
• IMA在注意力亲和力空间中建模多粒度视觉关系。
• AFF通过自适应高低频调整来增强物体的判别性特征。
• 我们利用基于视觉引导的LLM来生成丰富且具有上下文意识的描述。

本文的后续结构如下：第2节回顾相关研究，第3节详细介绍所提出的方法，第4节阐述实验设置与定量结果，第5节分析所提方法的计算复杂度，第6节对提取的特征进行可视化分析，第7节对生成的描述进行定性评估，第8节将我们的方法与现有模型进行比较，最后第9节总结全文并探讨未来发展方向。

相关研究
本节回顾与我们的方法相关的研究，包括图像到文本生成模型、多尺度特征提取网络、频域分解与融合技术，以及生成式大型语言模型的最新进展。

方法
本文主要致力于通过提升图像表示能力和优化文本生成方法来提高图像到文本任务的性能。第3.1节介绍了基准模型和我们的模型的核心框架。第3.2节阐述了MDE-Net的两个核心组件：IMA机制和AFF模块。第3.3节探讨了如何利用LLM生成更流畅、更具描述性的描述。第3.4节说明了用于训练的主要方法。

实验
在本节中，我们将介绍实验中使用的数据集，以及第4.1节中提到的评估指标。随后，第4.2节详细说明实验设置和训练策略。第4.3节针对MDE-Net开展了多种消融实验，包括验证各模块的有效性、分析不同超参数的影响，以及在其他数据集上的可控迁移性验证。

计算复杂度分析
我们进一步从参数数量、FLOPs、推理延迟、GPU内存消耗以及Token生成速度等方面分析了所提方法的计算复杂度。由于所提框架同时包含视觉描述模型和Qwen2-7B-Chat优化阶段，我们分两部分报告效率测试结果。首先，表11比较了在相同编码器-解码器设置下、不考虑LLM优化阶段的各类视觉模型版本。

可视化分析
为更好地了解所提出的IMA和AFF模块如何提升物体识别能力和跨模态对齐效果，我们从三个角度提供定性可视化结果：（1）IMA模块的注意力图，用于分析多尺度注意力行为；（2）AFF模块的频率感知响应，用于展示自适应频率融合效果；（3）特征图可视化，用于体现经过优化的判别性表示。

定性分析
图8展示了所提出的基于约束的优化过程的定性示例。除了基准描述和最终描述外，该图还展示了所提描述模型提取的顶级视觉关键词及其标准化重要性权重。这些关键词是在LLM优化之前获取的，被用于在第3.3节所述的提示词中形成硬约束和软指导。在常规情况（顶部行）中，提取的关键词对应于图像的中心区域。

与最先进模型的比较
本节将我们的框架与几种已发表的代表性图像描述方法进行比较，表14总结了定量对比结果。为保证公平性，此次比较与我们控制的消融实验有所不同。在4.3.1–4.3.5节中，模型架构、输入分辨率、训练计划、数据集划分以及解码设置均保持不变，仅更换目标模块。而表14则汇总了其他研究报道的结果。

结论
本研究提出了一种全新的图像到文本生成框架，该框架包含两个核心阶段：视觉表示增强和语言生成。其主要组成部分MDE-Net将Transformer架构与内嵌多尺度注意力（IMA）机制以及自适应频率融合（AFF）模块有机结合。具体而言，IMA机制能够在多头注意力子空间内实现跨尺度特征融合，从而提升视觉特征的精细程度。

CRediT作者贡献声明
杨阳：概念设计、方法设计、初稿撰写。余登秀：审稿与编辑。C.L.菲利普·陈：写作——审阅与编辑。利益冲突声明作者声明，他们不存在任何可能影响本文所汇报工作的已知财务利益或个人关系。