《Neural Networks》：Brain-VQA: Human Brain Visual Pathway Inspired Visual Question Answering for Enhanced Multi-Modal Cognition and Reasoning
编辑推荐：
•我们提出了Brain-VQA，这是一种受生物学启发的VQA框架，它整合了双流视觉认知机制（腹侧“是什么”和背侧“在哪儿”），以此模拟人类的视觉推理过程。•Brain-VQA采用了多步骤规划机制来指导场景图的构建与推理过程的推进，从而提升了模型的可解释性及推理准确性。•整个推理过
- •
我们提出了Brain-VQA，这是一种受生物学启发的VQA框架，它整合了双流视觉认知机制（腹侧“是什么”和背侧“在哪儿”），以此模拟人类的视觉推理过程。
- •
Brain-VQA采用了多步骤规划机制来指导场景图的构建与推理过程的推进，从而提升了模型的可解释性及推理准确性。
- •
整个推理过程都是通过脉冲神经网络来实现的，这样的设计不仅具备生物学上的合理性，还能提升模型的推理能力。
- •
在CLEVR、GQA以及VQAv2等测试集上的大量实验表明，该框架具有出色的性能，较强的泛化能力，以及稳健的推理效果。
引言
视觉问答（VQA）旨在让模型能够根据给定的视觉图像回答自然语言问题，这需要同时对图像内容与语言查询进行处理，从而给出有依据的答案。因此，VQA已成为评估视觉-语言理解能力的典型任务。得益于大规模表征学习以及端到端训练方法的发展，如Shi等人（2019年）和Wang等人（2021年）的研究成果，视觉-语言模型在各类VQA测试集上的性能都得到了显著提升，Kamath等人（2021年）也对此进行了相关研究。尽管取得了如此快的进展，但目前仍不清楚现有的VQA系统究竟是否真的实现了多模态认知与推理，还是仅仅利用了视觉模式与语言线索之间的表面关联。大多数现有方法侧重于大规模表征学习以及直接预测答案，Guo等人（2021年）的研究便是如此，但它们很难揭示视觉信息与语言信息是如何在认知层面被整合的，以及中间推理过程是如何形成的。在那些需要针对物体属性与关系进行结构化、多步骤推理的任务中，这一局限性尤为明显，因为准确答案的得出不仅依赖于物体的识别，还依赖于跨模态的连贯推理。
现有的VQA模型大多采用端到端架构，这类架构会将视觉输入与语言输入直接映射为答案，通常会借助注意力机制或跨模态融合机制来实现，Zhu等人（2023年）也做了相关研究。虽然这样的设计有助于提升最终预测的准确性，但却难以让人了解其背后的认知过程，因此很难判断模型究竟是在对视觉证据进行推理，还是在利用数据集中的特定关联。这样一来，这些系统的内部决策过程就基本上处于隐含状态，其中的中间推理步骤既没有得到明确体现，也没有被系统地分析过。
在那些需要结构化、多步骤推理的任务中，基于关联的预测与真正的推理之间的区别就更加明显了。在这样的场景下，模型必须逐步识别出相关的物体，追踪它们的属性与关系，并在多个推理步骤中整合信息，才能得到正确答案。CLEVR Johnson等人（2017年）以及GQA Hudson和Manning（2019年）等测试集正是为了满足这些要求而设计的，因为它们注重组合式问题、关系依赖性以及逐步的逻辑运算。因此，通过在这些数据集上的表现，可以更准确地判断某个VQA系统是否具备有意义的多模态认知与推理能力。
来自生物视觉处理的见解也为这类表征方式的选择提供了进一步的支持。如图1所示，早期的视觉通路会通过视网膜–LGN–V1–V2这一层级结构，逐步将密集的视网膜响应转化为稀疏且以事件为驱动的神经活动，Zou等人（2023年）对此进行了研究。随后，视觉处理会分化为两条互补的路径：腹侧路径负责以物体为中心的语义处理，Maus和Layton（2022年）对此有过研究；而背侧路径则侧重于空间关系、注意力以及与任务相关的信息筛选，Zou等人（2023年）也涉及了相关内容。像前额叶皮层这样的更高阶区域则会整合来自这两条路径的信息，从而支持上下文相关的多步骤推理，Sakagami等人（2006年）对此进行了研究。虽然这些生物机制并未被直接复制，但它们为将多模态推理分解为结构清晰、功能独立的计算过程提供了概念性的框架。
基于这些观察结果，我们提出了Brain-VQA，这是一个结构化的视觉问答框架，旨在明确建模多模态认知与推理的关键组成部分。Brain-VQA并非直接从融合后的表征中预测答案，而是注重那些可解释的中间过程，包括结构化的场景理解以及由查询引导的多步骤证据筛选。通过将视觉信息与语言信息划分到不同的处理路径中，并让中间推理过程得以清晰呈现，该框架在保持模型简洁高效的同时，也提升了答案生成过程的透明度。
我们的主要贡献如下：
- •
我们提出了一种结构化的VQA框架，该框架能够明确展现中间阶段的认知与推理过程，从而实现透明且可分析的多步骤视觉-语言推理，避免了通过端到端的答案预测来隐式地进行推理，因为这种方式无法让人们清楚了解视觉感知、语言理解以及中间推理步骤是如何形成与处理的。
- •
我们引入了一种基于脉冲信号的早期视觉处理机制，用以解决在面对冗余且编码密度高的视觉特征时进行逐步视觉推理的难题。这种机制能够生成时间上较为稀疏、以事件为驱动的表征，从而使模型在顺序推理过程中能够聚焦于那些具有关键信息的离散视觉事件。这样的设计保留了脉冲神经网络的动态特性，降低了多步骤推理过程中常见的不稳定性，同时也克服了限制现有模型性能的常见缺陷。
- •
受到人类视觉系统功能结构的启发，我们设计了双流架构：腹侧路径负责实现结构化的、以物体为中心的场景理解，而背侧路径则负责在查询的引导下进行多步骤的视觉观测。通过明确区分视觉认知与由问题驱动的推理过程，我们的设计能够产生可解释的推理轨迹，从而展现视觉证据是如何被逐步筛选并整合的，这解决了现有多模态架构中的一个关键问题，因为在那些架构中，感知、信息融合与推理往往是紧密交织在一起的。
- •
在CLEVR、GQA以及VQAv2.0上的大量实验表明，明确对多模态认知与推理过程进行建模，不仅能够在保持模型规模较小的同时带来稳定的性能提升，而且Brain-VQA还表现出更好的泛化能力以及逐步骤推理的能力，这些表现与视觉处理模式存在一定的一致性。这些结果说明，我们的框架能够实现对视觉与语言信息的结构化推理，这与那些仅依靠模糊表征学习的模型有着本质区别。
章节节选
解决视觉与语言之间的表征不匹配问题
现代VQA系统面临的一个核心挑战是，目前还不清楚现有的模型究竟是否真的实现了多模态认知与推理，还是只是在利用视觉模式与语言线索之间的表面关联。大多数现有方法都侧重于端到端的答案预测以及大规模表征学习，但它们很难揭示视觉感知、文本理解以及中间推理过程之间是如何协调工作的，尤其是在处理某些特定任务时。
Brain-VQA的整体结构
Brain-VQA的总体架构如图3所示，其中的视觉感知模块与多模态认知模块都是通过脉冲神经网络来构建的，Maass（1997年）对此进行了相关研究。
以常见的积分-放电型脉冲神经元为例（见图4(a)），这种脉冲神经元会随着时间的推移不断积累输入信号（即脉冲s1、s2……属于{0,1}集合），只有当其膜电位超过特定阈值时，才会释放出0或1的离散脉冲，Maass（1997年）对其进行了详细阐述，
数据集
我们在三个广泛使用的视觉问答测试集上对Brain-VQA进行了评估，这三个测试集分别是CLEVR Johnson等人（2017年）设计的、GQA Hudson和Manning（2019年）设计的，以及VQAv2.0 Goyal等人（2017年）设计的。CLEVR数据集包含大约85K张图像，以及约850K个合成查询，每个查询都是经过精心设计的，用于测试诸如计数、比较以及空间关系等组合式推理能力。该数据集中的图像均为合成图像，由具有可控属性的简单几何对象构成。
局限性
需要强调的是，Brain-VQA中的生物映射仅仅是一种近似方式，并非与人类视觉通路完全等同的机制。具体来说，我们简化了生物系统中存在的复杂递归、自上而下的调控机制以及神经调节机制，而且所采用的训练算法（即反向传播算法）也与符合生物学规律的学习规则有所不同。此外，那些基于神经科学原理的评估结果也仅能体现出部分表征上的相似性而已，
结论
在这项工作中，我们提出了Brain-VQA，这是一种受大脑结构启发的视觉问答框架，它整合了基于脉冲信号的层次化感知机制、类似腹侧视觉通路的图像解析机制、类似背侧视觉通路的查询引导型规划机制，以及多步骤推理模块。该模型的设计目的在于为VQA任务提供结构化的视觉与文本表征，从而支持真正的认知与推理过程，而非仅仅依赖视觉模式与语言线索之间的表面关联。
在CLEVR等测试集上，
CRediT作者贡献说明
周永奇：软件开发、资源准备、项目管理、方法设计、研究实施、形式化分析、数据整理、概念构思。荣欢：监督指导、软件开发、资源准备、研究实施。陆振宇：监督指导、项目管理、资金筹集。陈忠峰：软件开发、形式化分析、数据整理、概念构思。崔英杰：概念构思。
利益冲突声明
作者们声明，他们不存在任何已知的、可能影响本文研究结果的财务利益关系或个人关系。
致谢
本研究得到了中国国家自然科学基金（重点计划）（项目编号U20B2061）、中国国家自然科学基金（项目编号62102187）、中国国家自然科学基金（项目编号61906110）、中国国家自然科学基金（项目编号62162031）、江苏省自然科学基金（基础研究计划）（项目编号BK20210639）以及江苏省研究生科研创新项目（项目编号SJCX23_0406）的支持。
周永奇|荣欢|陆振宇|陈忠峰|崔英杰
