《Information Fusion》:MRDU: Multi-page Document Understanding via Context-Aware Visual Token Pruning and Fusion
编辑推荐:
•问题引导选择分布在文档页面中的证据。•无需独立的检索模型即可选择相关页面区域。•文本和视觉证据在三个详细程度级别上进行结合。•实验揭示了准确性与压缩之间的任务依赖性权衡。引言多模态大语言模型(MLLMs)已推动光学字符识别、文档视觉问答(DocVQA)及相关文档理解任务的发
- •
问题引导选择分布在文档页面中的证据。
- •
无需独立的检索模型即可选择相关页面区域。
- •
文本和视觉证据在三个详细程度级别上进行结合。
- •
实验揭示了准确性与压缩之间的任务依赖性权衡。
引言
多模态大语言模型(MLLMs)已推动光学字符识别、文档视觉问答(DocVQA)及相关文档理解任务的发展。无需OCR的系统,如Qwen2-VL [1]、InternVL2 [2]和mPLUG-DocOwl 1.5 [3],可以直接处理文档图像。然而,将它们从单页扩展到长文档仍然代价高昂:密集文本、布局、表格和图形需要高分辨率输入,而生成的视觉标记序列可能会耗尽语言模型的上下文预算。
一种常见的应对方法是检索-然后回答的流程,如图1所示。例如,CREAM [4]对OCR派生的文本块进行排名,而M3DocRAG [5]、SV-RAG [6]和DREAM [7]检索多模态页面表示。检索减少了上下文长度,但造成了两个相互关联的风险。首先,页面级选择可能会保留大量不相关区域。其次,在答案生成之前被省略的证据无法在下游恢复,当答案依赖于微小的视觉细节或分布在不同页面上的证据时,这尤其成问题。
视觉标记减少提供了一种互补的途径,其中以PruMerge [8]和FastV [9]为代表的基于注意力的方法减少了冗余的视觉输入。大多数方法是为单个自然图像开发的,在那里稀疏的对象级证据可能已经足够。文档则包含细小的文本和布局关系,其相关性既取决于问题,也取决于周围的页面结构。因此,面向文档的减少机制必须平衡来源选择、跨模态相关性和全局-局部信息保留。
我们通过MRDU(多页无检索文档理解)来解决这个问题。这里的"无检索"意味着MRDU不使用外部索引,不使用单独训练的检索器,也不使用检索-然后读取的级联。MRDU仍然明确选择证据,但它是在回答模型的前向传播内部进行的,以问题为条件,在子页面粒度上进行,并且基于模型稍后读取的相同表示。因此,我们将MRDU描述为不使用独立的外部检索器,而不是不执行证据选择。它比传统的多模态解耦检索方法更细致,同时,由于它不经过完整的模型信息传输,因此具有端到端的信息效率传输。
MRDU将多页推理解释为查询感知分层信息融合。一个源级模块结合全局布局和查询条件表示来路由相关页面磁贴,确保文档的二维结构信息不被破坏,并引导模型找到相关的页面片段。然后,一个特征级模块使用文本到视觉的亲和力来合并重要锚点周围语义相关的局部标记,以在减少不相关视觉标记的同时最大化保留相关信息。最后,结构化视觉提示在答案生成期间保持全局、文本感知和局部表示可区分,使大语言模型能够准确理解结构化信息。所有页面仍由视觉骨干网络编码;主要的计算节省来自于缩短语言模型处理的序列。
我们的贡献总结如下:
- •
我们将多页文档理解表述为一个预算约束的融合问题,其中页面磁贴是视觉来源,问题标记提供跨模态指导,全局和局部表示提供互补的语义级别。
- •
我们引入了不相关磁贴修剪(IPP),一种模型内源路由机制,其排名范围是文档中页面磁贴的整个集合,使得不同页面上的区域竞争一个共享预算。页面级检索或单图像标记修剪都不会做出这种跨页面决策。
- •
我们开发了相关标记合并(RTM)和结构化视觉提示,其中查询感知锚点指导冗余局部标记的软聚合,而全局、文本感知和局部表示在答案生成期间保持可区分。
- •
在跨基准测试共享的一个保留规则下,MRDU在六个基准测试中的四个上取得了最佳列出的结果。在匹配的标记预算下相同骨干网络的消融实验、三个种子的重复运行、证据覆盖审计和组件级成本分析显示了收益的来源以及剩余成本的所在位置。
章节片段
相关工作
我们回顾多级信息融合、多页文档理解以及视觉标记压缩,包括其与参数空间效率方法的关系。
方法
在本节中,我们提出MRDU,一种用于高效多页文档理解的模型内融合框架。如图2所示,该架构包括一个视觉编码器、一个双分支投影器、一个由粗到细的路由和合并机制以及一个大型语言模型(LLM)。
MRDU通过两个阶段逐步减少视觉冗余:(1) 不相关磁贴修剪(IPP),它在粗粒度页面磁贴(宏观磁贴)级别路由信息,和 (2) 相关标记合并(RTM),
实验
我们首先描述实验设置和保留协议,然后报告基准测试结果、消融实验、证据覆盖和证据类型分析、效率、错误和代表性案例。
结论
在本工作中,我们提出了MRDU,一个将多页文档理解视为回答模型内部的预算约束、查询条件信息融合的框架,不使用独立的外部检索器。MRDU将双分支投影器与文档范围的页面磁贴路由(IPP)、文本引导的标记合并(RTM)和结构化视觉提示耦合。在跨基准测试共享的一个保留规则下,它在六个基准测试中的四个上取得了最佳列出的结果,并且在相同骨干网络的
在稿件准备过程中使用生成式AI和AI辅助技术的声明
在本工作的准备过程中,作者使用ChatGPT对文稿进行语言润色和结构格式化。作者根据需要审查并编辑了输出内容,并对已发表文章的内容承担全部责任。
CRediT作者贡献声明
张金旭:方法论。喻永琪:数据管理。范启源:数据管理。朱昊轩:调查研究。刘炳辰:调查研究。张宇:资金获取。
利益冲突声明
作者声明他们没有任何已知的竞争财务利益或个人关系可能影响本文中报告的工作。
张金旭|喻永琪|范启源|朱昊轩|刘炳辰|张宇