融合粒度感知结构化条件与语义记忆的敦煌壁画图像描述生成

《Neurocomputing》：Granularity-aware structured conditioning with semantic memory for dunhuang mural captioning

　　

**要点：**
- 粒度感知条件化协调视觉证据与领域知识。
- CLIP–DINO融合结合互补的语义与结构视觉线索。
- 双路径前缀对齐将全局规划与局部定位分离。
- 结构化语义记忆通过视觉证据验证检索到的概念。
- 该模型实现了6.15 ± 0.48的CIDEr分数，并将幻觉率降低了24%。

**引言**

图像描述得益于视觉-语言预训练和基于前缀的生成方面的最新进展 [32]、[45]、[51]。当视觉类别、文本描述和预训练数据共享相似分布时，这些模型取得了令人瞩目的性能。然而，将它们应用于标注有限且语义结构复杂的专门领域仍然充满挑战。敦煌壁画描述代表一个具有挑战性的领域适应场景，其中准确的描述可以支持数字化存档、语义检索、学术解读和智能文化遗产管理。

与自然景观不同，敦煌壁画展现出高度风格化的视觉模式、部分退化和强烈的图像学惯例。其配对的图文标注有限，许多重要概念涉及历史、艺术或宗教知识，无法仅从视觉外观中直接推断。因此，壁画描述不能被当作一般的物体描述任务来处理。可靠的描述模型必须同时考虑多种类型的证据：用于句子级规划的全局语义解释，如朝代、艺术风格和场景类型；用于细粒度元素的局部视觉定位，包括手势、装饰、乐器和图案；以及在视觉相似的图像或图案对应不同文化含义时的领域感知知识选择。

视觉信息处理涵盖图文检索和视觉问答 [32]、安全图像处理 [9]、[62] 以及图像描述 [54]。在图像描述中，预训练的视觉编码器和语言模型为生成图像的自然语言描述提供了可迁移的表示 [45]、[54]。将这些模型应用于敦煌壁画仍然充满挑战，因为视觉风格与自然景观不同，配对标注稀缺，且文化相关概念难以区分。

现有的描述方法通常通过单一的视觉嵌入、前缀投影或检索的文本上下文来整合这些异构信号。尽管这种统一的条件策略对自然景观有效，但在壁画场景中可能会使不同的语义角色纠缠在一起，增加生成泛化描述或视觉不支持概念的风险。

图1(a)说明了这一局限性，我们称之为**粒度混淆**：句子级规划、词级定位和外部知识被压缩到单一的嵌入或统一的前缀表示中。在敦煌场景中，这种混淆引入了三个耦合的挑战。

**编码。** CLIP [51]提供了强大的语言对齐的全局语义，但在捕捉风格化壁画中的细粒度局部结构方面效果较差。相比之下，DINOv2 [47]保留了局部视觉模式和空间细节，但缺乏直接的语言对齐。因此，仅依赖任一表示可能导致对壁画证据的建模不完整。

**对齐。** 需要单一的视觉到语言投影来同时支持句子级语义规划和词元级视觉定位。这在保持连贯的全局描述和保留生成过程中的细粒度视觉细节之间造成了冲突。

**知识。** 检索增强描述方法 [34]、[54]引入外部文本知识来丰富生成，但检索到的概念往往在没有充分验证的情况下被纳入。对于壁画，相似的视觉元素可能代表不同的历史或文化概念，未经验证的知识可以产生看似合理但不正确的描述。

外部语义记忆只有在检索到的概念得到当前图像支持并根据其语义角色进行处理时才是有用的。在壁画描述中，文化上合理的候选项可能在视觉上是错误的，而将属性、姿态、手势、服饰、环境和风格混合在一个池中会将检索噪声传播到生成中。因此，有效的记忆除了检索之外，还需要结构化组织和基于摘要的相干性评估。

这些挑战因壁画数据集规模有限而进一步加剧。敦煌壁画数据集仅包含约 张训练图像，使完整的端到端适配容易过拟合，并可能削弱预训练视觉-语言模型中编码的可迁移知识。同时，通用文本语料库对专业壁画术语和文化概念的覆盖不完整或存在噪声。因此，有效的解决方案应该重用预训练表示，同时明确分离视觉语义、局部定位和领域特定知识。

**多模态表示学习的动机。** 壁画描述需要将视觉证据与语言描述和领域概念对齐。全局上下文和局部结构细节支持描述的不同方面，在领域偏移下可能无法由单一的预训练视觉编码器同等保留。我们将CLIP的语言对齐视觉特征与DINO的互补自监督特征相结合，然后将融合表示映射到句子级和词元级的语言条件。

为了解决这些挑战，我们提出了一种用于敦煌壁画描述的**粒度感知结构化条件框架**，如图1(b)所示。该框架根据其语义角色组织多模态信息，而不是将所有信号压缩到统一的表示中。首先，CLIP–DINO融合模块将语言对齐的全局语义与互补的局部结构线索相结合。其次，双路径视觉-前缀对齐架构将融合表示映射到独立的句子级规划和词级定位流。第三，结构化语义记忆机制在将检索到的领域概念纳入作为规划级指导之前，通过基于组件的语义评估将其与文本图像摘要进行验证。融合视觉表示支持两条对齐路径，而重新排序的语义记忆为句子级路径提供额外的偏差。这种设计允许领域知识增强全局解释，同时保持与局部视觉证据的一致性。

在敦煌壁画基准上的实验表明，所提出的结构化条件策略提高了描述质量和事实一致性。完整模型在四个随机种子中实现了 CIDEr，相对于最强基线降低了 的幻觉率。该框架也能有效迁移到自然景观描述中，在任务特定微调后在MS-COCO上实现了 CIDEr。

本文的主要贡献总结如下：
- 我们将敦煌壁画描述建模为结构化条件问题，并明确分离全局语义规划、局部视觉定位和领域知识引导。
- 我们开发了一种粒度感知的视觉-前缀对齐框架，结合CLIP–DINO融合与双路径句子级和词级映射，以提高层次化的视觉-语言对齐。
- 我们引入了一种结构化语义记忆机制，在将检索到的领域概念用作规划级指导之前对其进行验证，减少不受支持的语义生成。

**章节片段**

**图像描述**

图像描述经历了三种广泛的范式。早期的检索和基于模板的方法 [16]、[18]、[29]、[48]、[64]提供了可解释性，但在预定义清单之外的泛化能力较差。具有注意力的编码器-解码器模型 [2]、[41]、[66]、[71]学习视觉-语言对齐，Transformer描述器 [20]、[22]、[42]、[49]、[72]通过建模全局依赖关系和物体关系进一步提高了性能。基于前缀的架构 [12]、[33]、[68]通过条件化……

**方法**

给定输入图像，目标是生成最大化概率的标题。忠实的壁画描述必须编码：(1) 用于句子级规划的全局语义意图（场景类别、艺术风格、历史时期）；(2) 细粒度视觉定位，使词汇选择得到局部化视觉证据的支持；(3) 领域感知的语义正确性，纳入仅从像素中不完全可观察的文化知识。我们的框架通过解决这三个需求……

**实验设置**

**数据集。** 我们在高分辨率的敦煌壁画文本数据集上进行评估，该数据集涵盖北凉、北魏、西魏、北周、隋、唐、五代、宋、西夏、元各朝代以及安西榆林石窟部分壁画中的历史、人物、藻井图案和宗教内容。

该数据集包含原始训练集中的1130张图像和留出测试集中的286张图像，每张图像都配有详细描述。由于原始数据集……

**结论**

本研究调查了在敦煌壁画图像引入的领域偏移下的知识增强图像描述。与自然景观描述不同，壁画描述需要模型协调异构信息源，包括全局语义解释、局部视觉证据和领域特定知识。为了解决这一挑战，我们提出了一种粒度感知结构化条件框架，根据其语义角色分离这些信号。

**CRediT作者贡献声明**

屈舒怡：写作——审阅与编辑、方法论。方宏宇：写作——初稿。彭盛林：写作——审阅与编辑、项目管理。王军：监督、资源。胡琪瑶：形式分析。彭先林：概念化、形式分析。彭金叶：经费获取、项目管理、资源。

**利益冲突声明**

作者声明他们没有已知的竞争经济利益或个人关系可能会影响本文中报告的工作。

**致谢**

本工作得到陕西省重点研发计划（项目编号：2024GH-ZDXM-44）和陕西省博士后研究资助（项目编号：234012300004）的支持。资助者提供了研究活动的财政支持，但未参与研究设计、数据分析、结果解释或手稿准备。

屈舒怡目前是西北大学信息科学与技术学院的讲师。他于英国利物浦大学获得博士学位，于中国西安西北工业大学获得学士学位。他的研究兴趣包括图像修复、图像生成以及AI在文化遗产中的应用。

屈舒怡 | 方宏宇 | 彭盛林 | 王军 | 胡琪瑶 | 彭先林 | 彭金叶