PARES：基于证据监督的感知可答性多模态文档问答重排序方法

《IEEE Access》：PARES: Page Answerability, Reranking, and Evidence-Supervised Selection for Multi-Page Multimodal Document Question Answering

　　

摘要：

文档问答（Document QA）已从单页问答扩展到跨多页文档集合的问答。检索增强的多页多模态文档问答（multi-page MDQA）系统通常在生成答案之前检索候选页面。强大的多模态重排序器可以改善候选评估，但在大规模语料库的每一页上应用它们在计算上是不切实际的。因此，一个实际的流程使用高效的检索器获取小的候选集，然后仅对这些候选应用更强的联合编码进行重排序和选择。智能体MLLM流程提供更强的页面处理能力，但通常依赖于重复的大模型调用，并且为页面选择提供有限的显式证据。我们提出了PARES：页面可答性、重排序和证据监督选择，这是一个感知可答性的多模态重排序器，使用证据监督来对检索到的候选页面进行重排序和选择。PARES使用边界框和生成器条件证据监督，联合预测页面相关性、逐页可答性和补丁级证据分数。我们在受控重排序和端到端系统设置中评估了PARES。在MMDocRAG测试数据集上，PARES达到了33.1的F1分数，而SimpleDoc为30.6，同时将重排序组件的内存占用减少了90.1%（从56.87到5.61 GiB），完整阶段的分配峰值内存减少了77.2%（从125.54到28.57 GiB）。