DVR：通过子问题反馈实现多模态大语言模型的动态视觉重读

《Neurocomputing》：DVR: Dynamic visual re-reading for multimodal large language models via sub-question feedback

　　张玉瑶|陈泽峰|张海寨|陈国瑞|杨昌|李志江中国武汉430072，武汉大学信息管理学院摘要多模态大语言模型在推理过程中通常使用单次视觉编码器，将图像压缩为静态表示。这种模式限制了表示的灵活性，使得视觉感知无法与推理路径动态匹配。相比之下，人类解决多模态问题时往往采用多步推理，并在每一步中动态关注最相关的视觉证据。受此启发，我们提出了动态视觉重读框架DVR，该框架能够在推理过程中实现自适应的、基于问题的视觉重编码。DVR将复杂查询分解为一系列子问题，并在其推理轨迹中通过触发句明确指示何时重新查看图像。当触发条件满足时，子问题的语义上下文会被注入视觉编码器，从而实现跨模态交互，逐步引导模型聚焦于相关视觉证据。通过逐步分解问题和迭代视觉重编码，DVR能够在整个推理过程中动态调整视觉注意力，从而支持对复杂查询的结构化推理。为有效结合推理分解与视觉感知，我们引入了一种双路径训练策略，将标准分支与由子答案监督的重编码分支相结合。在五个基准测试上的实验表明，无论模型规模和结构如何，该方案均能带来优于基线的性能提升。定性注意力可视化进一步显示了视觉焦点的子问题对齐变化，凸显了动态视觉重读在结构化多模态推理中的有效性引言多模态大语言模型在图像-文本联合推理领域取得了显著进展，能够处理从视觉问答到复杂图表解读等各种任务[1]、[2]、[3]。尽管如此，它们的视觉处理流程仍存在一个根本性局限。大多数多模态大语言模型使用单次视觉编码器，在推理前将图像压缩为一组固定的视觉标记，生成的静态视觉表示无法随着中间推理状态的变化而更新。因此，模型调整视觉感知以适应多步推理需求的能力受到限制。现有的视觉编码器各有优势但又不完整：SAM和DINOv2擅长捕捉结构和低级特征，而基于CLIP的编码器则具备强大的语义对齐能力，但对细节的敏感度较低。当局限于静态编码策略时，这些架构缺陷会加剧“视觉衰减”现象，即模型在长时间推理过程中越来越依赖文本先验，而较少利用视觉证据[4]、[5]、[6]。这一局限对于那些需要迭代或选择性视觉支撑的任务尤为有害，比如几何推理[7]以及多跳视觉推理，这类任务的不同推理步骤需要在不同视觉线索之间切换注意力[8]、[9]。相比之下，人类的推理过程特点是视觉观察与认知推断之间的反复互动，感知证据通过概念性思考不断得到细化[10]、[11]、[12]。受此启发，近期的一些研究试图在推理过程中重新注入视觉信息——例如通过重新输入图像标记或在中间步骤添加视觉特征[13]、[14]、[15]。然而，这些方法依赖于外部触发机制：视觉重编码的时机和方法由系统架构预先确定，而非由模型动态启动。因此，它们缺乏与自主、类人推理相匹配的适应性和可解释性。一种更为原则性的方法应该是让多模态大语言模型能够像人类认知策略那样，自主决定何时以及为何重新查看图像。这种思路需要两项核心能力：（1）将复杂问题分解为一系列更简单的子任务；（2）根据需要明确要求重新分配视觉注意力。尽管问题分解技术在单模态环境中已被广泛研究[16]、[17]，但其与多模态大语言模型中的动态视觉重编码的结合仍需进一步探索。现有的视觉问题分解方法通常基于图像的文本描述而非原始像素，这会导致信息丢失[18]、[19]。此外，当前最先进的多模态大语言模型在生成高质量、有依据的子问题或选择性判断分解必要性方面仍面临困难[20]。为解决这些局限，我们提出了DVR（动态视觉重读）框架，旨在为多模态语言模型建立语言与视觉之间的感知-推理闭环。与传统单次处理方式不同，DVR通过将复杂查询分解为有依据的子问题，并在推理过程中动态调整视觉注意力，从而模仿人类的问题解决方式。具体而言，DVR使模型能够主动将复杂的视觉任务分解为一系列子问题；必要时，它会将每个子问题重新输入视觉编码器，以触发基于问题的重编码。这一机制确保视觉表示始终与推理过程不断演变的语义意图保持一致，而非在整个推理过程中保持静态。例如，当模型生成诸如“左车道上有多少辆红色汽车？”这样的子问题时，它会发出“让我们再次仔细看看图像”的触发语句。这一信号会促使系统在当前推理步骤的指导下重新处理视觉输入，从而使特征聚焦于与任务相关的区域和属性。通过分解与重编码的循环迭代，模型逐步积累证据，从而产生基于结构化感知的响应。为无需大规模交叉数据集或新型输入格式即可实现这种交互，DVR采用了双路径训练策略。通过将标准的单次处理分支与基于触发条件的重编码分支相结合，模型学会了在保持与现有训练模式及有限数据预算兼容的前提下，自主重新查看视觉输入。我们的主要贡献如下：•我们构建了一个标注有人类可读触发信号的多模态问题分解数据集，使模型能够在推理过程中学习多步推理，同时明确知道何时需要重新查看视觉输入。•我们提出了DVR动态视觉重读框架，该框架允许模型根据中间子问题来控制视觉重编码，从而使视觉表示能够根据不断变化的推理需求进行自适应优化。•我们开发了一种双路径训练策略，将推理分解与视觉感知相结合，以端到端的方式共同优化子问题生成、触发预测、视觉重编码和答案解码，同时仍能与标准的多模态训练模式保持兼容。章节节选问题分解问题分解已成为提升大语言模型推理能力的一种重要策略。最小到最大提示法[17]表明，将复杂问题分解为一系列更简单的子问题，可使模型泛化到比提示示例中更难的题目上，在符号操作和组合泛化任务中取得了显著成果。进一步发展这一理念的是分解式提示法[21]，它通过……问题定义设 为图像集合， 为复杂的开放式视觉查询集合。多模态回答系统是一种映射关系，其中 代表文本回答集合。对于每一对 和 ，对应的回答 需要满足以下特性：1. 流畅性与连贯性：用流畅的自然语言书写，且是对 的连贯回应。2. 视觉支撑与一致性：有 中的视觉证据作为支撑，且在语义上与 保持一致。3. 传统的一次性视觉编码：在……整体框架我们提出了DVR动态视觉重读框架，该框架使多模态语言模型能够将多步推理与自适应视觉感知相结合。给定一张输入图像和一个问题，模型会按照4.2节描述的分解方案进行自回归解码，生成中间推理步骤和子问题。在生成过程中，模型可能会发出预定义的、人类可读的触发句，明确指示需要重新查看图像实验本节我们将介绍实验设置，包括数据集、模型、基线方法以及评估指标。主要结果如表1所示，所提出的DVR变体在所有五个多模态基准测试中均表现出色，优于原始模型检查点以及简单微调后的基线模型。虽然利用多模态推理数据集进行监督微调的“FT”变体已经取得了显著的性能提升，但整合DVR后，其在不同模型架构和参数规模下都能带来持续的改进。对于采用Vicuna架构的LLaVA-v1.5系列模型，DVR实现了……结论我们提出了动态视觉重读框架，该框架通过让模型在生成过程中能够主动重新查看视觉输入，从而提升多模态推理能力。DVR将问题分解与可解释的触发机制相结合，通过发出特定的自然语言句子来触发确定的视觉重编码事件。每次触发时，模型都会提取子问题的隐藏状态，将其投影到视觉特征空间中，然后通过……CRediT作者贡献声明张玉瑶：撰写——初稿、验证、方法论、研究分析。陈泽峰：可视化、方法论、数据整理、概念设计。张海寨：监督、资源协调、研究分析。陈国瑞：验证、方法论。杨昌：验证、监督。李志江：可视化、方法论、数据整理、概念设计。利益冲突声明作者声明不存在任何可能影响本文工作的已知财务利益或个人关系。张玉瑶目前就读于武汉大学信息管理学院，攻读数据科学硕士学位。她的研究兴趣包括多模态大型模型的视觉理解以及大型模型推理能力的提升。