面向解释性视觉问答的上下文感知因果推理

《Neural Networks》：Context-Aware Causal Reasoning for Explanatory Visual Question Answering

　　

摘要 解释性视觉问答（Explanatory Visual Question Answering, EVQA）是一项多模态推理任务，旨在回答与视觉相关的自然语言问题，并生成易于用户理解的多模态解释。尽管当前的EVQA方法能够生成语法正确且用词恰当的解释，但它们仍面临解释幻觉的挑战（即错误的解释得出了正确的答案）。为了解决这一问题，我们提出了一种新颖的上下文感知因果推理（Context-Aware Causal Reasoning, CACR）算法。具体而言，我们首先利用多模态大语言模型并设计提示策略，生成高质量的图像描述作为补充证据，以帮助生成正确的解释。然后，我们提出了一个结构因果模型（Structural Causal Model, SCM），以建立描述、解释和答案之间的因果关系。最后，我们将SCM转化为深度变分推断网络框架，实现因果推理，以确保解释基于与答案相关的视觉证据。大量实验表明，与六种最先进的SOTA方法相比，CACR显著降低了解释幻觉的风险，在解释质量方面比最佳基线方法平均高出2.22%。

引言 视觉问答（Visual Question Answering, VQA）（Anderson, He, Buehler, Teney, Johnson, Gould, Zhang, 2018, Antol, Agrawal, Lu, Mitchell, Batra, Zitnick, Parikh, 2015, Yu, Yu, Cui, Tao, Tian, 2019）旨在回答与视觉相关的语言问题。相比之下，解释性VQA（EVQA）不仅生成直接答案，还提供易于用户理解的解释以阐明推理过程（Chen and Zhao, 2022）。解释为答案提供证据支持，以减少用户的不确定性。EVQA在可解释AI系统（Ye et al., 2023）中架起了视觉理解（Kim, Lee, Wu, Jung, Lee, 2021, Xie, Zheng, Fang, Cai, Li, 2024）与自然语言推理（Devlin et al., 2018）之间的桥梁。

尽管多模态大语言模型（Multimodal Large Language Models, MLLMs）（Yan, Xu, Li, Tian, Bi, Wang, Xu, Zhang, Huang, Huang, et al., 2023, Ye, Xu, Ye, Yan, Hu, Liu, Qian, Zhang, Huang, & Zhou）越来越多地被应用于该领域，但它们在生成令人满意的解释方面面临重大挑战。具体来说，这些模型难以解释它们如何得出答案。即使明确提示它们展示推理过程，它们往往也只是描述图像而已。简单地增大模型规模或调整提示词并不能解决核心局限：所提供的解释并不始终可靠或易于用户使用。因此，探索不依赖于MLLM的替代方法来研究EVQA，以建立答案与解释之间的因果关系并控制推理过程，至关重要。

现有的EVQA方法可分为事后解释模型和推理过程中解释模型。事后模型将答案预测和解释生成视为两个独立的过程，忽略了它们之间的联系（Chen, Zhao, 2022, Li, Tao, Joty, Cai, Luo, 2018）。为使解释能够影响答案的推理过程，Xue等人（2023）将多模态框架（Li, Yatskar, Yin, Hsieh, & Chang, Tan, & Bansal）用于因果推理并与变分推断网络相结合。他们提出了变分因果推断网络（Variational Causal Inference Network, VCIN）作为首个推理过程中解释模型的工作，旨在解决答案与解释的一致性问题。

然而，由于模型的推理过程并未强制要求解释与视觉证据保持一致，VCIN生成的解释往往与实际视觉内容脱节，从而产生幻觉性解释。解释幻觉是指模型输出的解释不正确或无效，却由于虚假相关性巧合地得出正确答案的现象。这是解释与答案之间的关系问题，而非其中任一方独有的属性。如图1所示，虽然VCIN提供了正确答案，但生成的解释中视觉关系不正确。因此，当前模型缺乏有效机制来确保支持正确解释生成的关键视觉证据的正确性，导致解释与视觉事实之间的不匹配。

从视觉理解的角度来看，VQA中所有可信的证据都应该存在于图像中。我们可以假设，如果存在一个能够完整覆盖视觉上下文（物体、属性、关系）多模态语义的图像描述，那么所有解释的可信证据都应该存在于该描述中。合理利用图像描述来增强解释的可靠性似乎是一个可行的选择。图像描述在EVQA模型中的应用并非新近发展。早期工作，如VQA-E（Li et al., 2018），探索了将图像描述作为问答的回顾性解释，但描述本身与问答过程无关。随着推理链（Qiu, Huang, Xie, Liu, Gu, Zong, 2025, Zhang, Yang, Wu, Zhao, Chen, Yang, He, 2025）在VQA中日益受到重视，使模型能够从数据中提取推理证据已成为EVQA中的关键问题。因此，我们可以将图像描述作为全局视觉上下文信息引入，为解释提供更多证据。

然而，在实际应用中，获取理想的图像描述并非易事。高质量描述的生成在很大程度上依赖于充分的前期知识（Pi et al., 2024）。传统方法往往成本高昂且容易出错。强大的MLLM可以提供信息丰富的描述，但存在大量无法量化的幻觉。因此，缺乏高质量的描述限制了模型获取可靠证据的能力。因此，我们需要应对挑战一：如何获取高质量描述以增强解释性证据的呈现？此外，在现有的EVQA方法中，图像描述主要用于生成答案作为问题主干的补充（Pramanick et al., 2025），忽略了描述对生成解释的视觉证据支持。由此生成的解释缺乏可靠的视觉证据。因此，我们需要应对挑战二：如何将图像描述整合到推理过程中，使得解释来自其对应的视觉证据？

为应对上述挑战，我们为EVQA提出了一种新颖的上下文感知因果推理（CACR）框架。我们的主要贡献如下：

- 针对挑战一，我们设计了一种有效的提示策略，利用冻结的MLLM生成高质量的图像描述，并将其作为解释推理的静态补充证据基础。
- 针对挑战二，我们首先设计了新的SCM，以建立描述、解释和答案之间的因果关系。然后，我们提出了一个深度变分推断网络框架，实现描述与解释的联合推断，以确保解释来自其对应的视觉证据。

大量实验表明，与六种最先进的模型相比，CACR显著降低了解释幻觉的风险，在解释质量方面比最佳基线方法平均高出2.22%。据我们所知，虽然已有相关的VQA研究探讨推理形式的证据链（Qiu, Huang, Xie, Liu, Gu, Zong, 2025, Zhang, Yang, Wu, Zhao, Chen, Yang, He, 2025, Zhao, Li, Qi, Sun, Zhu, 2024），但我们首次开发了一个从图像描述中提取解释性证据的推理过程中EVQA模型。

相关工作 与传统VQA方法（Anderson, He, Buehler, Teney, Johnson, Gould, Zhang, 2018, Hudson, Manning, 2019）不同，后者通过黑盒过程（Chowdhury and Soni, 2025）推断答案，EVQA强调问答的可解释性。具体而言，EVQA关注通过多模态解释来证明答案的能力，以及用多模态（Chen and Zhao, 2022）解释来论证答案的能力。

符号表示 EVQA旨在根据给定的问题和相关图像回答问题，并生成推理过程的多模态解释。输入可表示为（Q, I）。Q=q1q2...qm 是由总共m个词组成的文本问题，qi 是问题中的第i个词。图像I可以用RGB张量表示。EVQA模型的输出可表示为（A, E, C）。A是从预定义的词典集合{a1, ..., aU}（总共U个答案）中选择的答案。E=e1e2...en 和 C=c1c2...cm 是解释...

提出的CACR方法 在本节中，我们介绍在CACR框架内基于深度变分推断的描述生成过程和新的SCM。第4.1节详细说明了使用MLLM提示预提取图像描述的方法。第4.2节介绍了所提出的SCM，随后第4.3至4.4节展示了其基于深度变分推断的实现。第4.5至4.7节描述了实现因果路径的神经网络模块，包括上下文生成器...

数据集 在我们的实验中，我们根据解释类型和评估目标，精心选择了一系列当前EVQA领域的权威基准数据集。常见的EVQA数据集可根据其解释形式分为自然语言解释数据集和多模态解释数据集。由于CACR的核心在于多模态解释的因果推理，多模态解释数据集GQA-REX（Chen and Zhao, 2022）...

结论与未来工作 为了解决解释幻觉问题，本文提出了用于EVQA的CACR模型。我们首先利用MLLM并设计提示策略生成高质量描述。然后，我们设计了新的SCM以建立描述、解释和答案之间的因果关系。之后，我们将SCM转化为深度变分推断网络，利用描述和多模态解释的因果推理来预测答案。大量实验表明...

CRediT作者贡献声明 缪佳丽：原创性撰写、方法论、概念构思。黄晓玲：审阅与编辑、方法论。余奎：审阅与编辑。史业城：可视化、验证、方法论。王翔：审阅与编辑。曹福远：审阅与编辑。

利益冲突声明 作者声明他们不存在任何已知的竞争性经济利益或个人关系，这些关系可能影响到本文所报告的工作。

致谢 本工作得到了国家重点研发计划（资助号2021ZD0111801）和中国国家自然科学基金（资助号62376087）的支持。

缪佳丽|黄晓玲|余奎|史业城|王翔|曹福远