CMGR:基于跨模态图谱的视觉问答系统

《Neurocomputing》:CMGR: Cross-modal graph routing for knowledge-based visual question answering

【字体: 大 中 小 】 时间:2026年05月19日 来源:Neurocomputing 6.5

编辑推荐:

  魏莉|李志新教育部教育区块链与智能技术重点实验室,广西师范大学,桂林541004,中国摘要基于知识的视觉问答(KB-VQA)要求模型整合视觉内容、语言查询和外部知识以进行准确推理。现有方法通常存在跨模态对齐不足、可解释性有限以及在零样本问题上表现不佳的问题。为了解决这些问题,我们

  
魏莉|李志新
教育部教育区块链与智能技术重点实验室,广西师范大学,桂林541004,中国

摘要

基于知识的视觉问答(KB-VQA)要求模型整合视觉内容、语言查询和外部知识以进行准确推理。现有方法通常存在跨模态对齐不足、可解释性有限以及在零样本问题上表现不佳的问题。为了解决这些问题,我们提出了一个跨模态图路由(CMGR)框架,该框架通过构建的跨模态图进行逐步推理。具体来说,CMGR包括三个核心组件:(1)场景知识图构建(SKGC),它将图像场景图与通过跨模态语义相似性过滤的外部知识三元组融合;(2)动态图路由(DGR),它利用视觉-语言联合嵌入来指导实体转换和分数传播,确保模态之间的细粒度对齐;(3)自适应答案预测(AAP),它统一实体和关系评分,以处理已知和未知的答案。在三个基准数据集上的实验表明,CMGR的性能优于现有方法。CMGR通过透明的推理路径展示了强大的可解释性。

引言

视觉问答(VQA)已成为一个核心的跨模态任务,它将计算机视觉和自然语言处理联系起来,使机器能够协同理解视觉内容和语言查询[1]、[2]、[3]。作为多模态学习的基础任务,VQA衍生出了多种研究范式,其中基于图的推理方法[4]、[5]由于其明确的推理过程而成为研究热点。随着对集成外部知识的智能系统(例如,智能助手、医学图像分析和多媒体检索[6])需求的增加,基于知识的视觉问答(KB-VQA)已成为一个关键的研究方向。与仅依赖图像内容和问题语义的传统VQA[7]不同,KB-VQA要求模型融合外部知识(例如,ConceptNet[8]和WebChild[9]等结构化知识图)来回答超出视觉信息范围的问题[10]、[11]。如图1所示,与大多数没有明确推理路径的方法不同,我们的方法通过跨模态动态图路由实现了透明且准确的推理,使其更符合现实世界的决策场景。
尽管在KB-VQA方面取得了显著进展,现有方法仍面临三个未解决的挑战。首先,跨模态不对齐仍然是一个瓶颈。传统方法要么将视觉特征(例如,图像区域)和文本特征(例如,问题关键词、知识三元组)视为独立输入[12]、[13],要么采用粗粒度融合策略(例如,简单连接或后期融合)[14],无法捕捉模态之间的细粒度语义关联。例如,基于GNN的方法如Mucko[12]和KRISP[6]在知识子图上进行推理,但缺乏来自视觉-文本联合线索的指导,导致图像区域和知识实体之间的不匹配。其次,可解释性有限阻碍了实际应用。多模态大型语言模型(LLMs)如LLaVA[15]和BLIP-2[16]取得了有希望的结果,但它们像“黑箱”一样运行,推理过程隐藏在变换器层中——这对于需要透明决策的高风险场景(如医学问答[17]、[18])来说是不可接受的。即使是像MGRN[4]这样的可解释的基于图的方法也缺乏明确的跨模态推理轨迹,难以验证视觉和语言线索如何指导知识路由。第三,零样本适应能力差限制了泛化能力。基于答案分类的模型(例如,MuKEA[11]、ConceptBert[19])依赖于预定义的词汇表,无法处理未见过的答案(即训练数据中不存在的答案)。尽管基于LLM的生成方法[15]、[16]在一定程度上缓解了这个问题,但它们难以有效整合外部知识,导致零样本性能几乎为零(例如,LLaVA在KRVQA零样本子集上的准确率仅为0.59%[15])。
为了解决这些挑战,我们借鉴了人类的推理模式:人类首先构建场景的结构化心理模型,检索相关的外部知识,然后通过跨模态线索进行逐步推理。受此启发,我们提出了一个用于KB-VQA的跨模态图路由(CMGR)框架,该框架通过场景知识图构建和跨模态引导的路由明确地模拟了这一推理过程。
本工作的主要贡献总结如下:
  • •
    我们提出了场景知识图构建(SKGC),它将图像场景图与通过余弦相似性过滤的外部知识三元组融合,保留与问题相关的知识,从而解决了噪声和冗余问题。
  • •
    我们设计了动态图路由(DGR),它使用视觉-语言联合嵌入来指导实体转换,通过逐步路由动态更新实体激活分数,确保推理的可解释性。
  • •
    自适应答案预测(AAP)统一了实体和关系评分,使得可以从场景知识图中自然地选择答案,以处理零样本问题。
  • •
    在三个基准数据集上的广泛实验表明,CMGR的性能优于现有方法。

章节片段

基于知识的视觉问答(KB-VQA)

KB-VQA扩展了传统的VQA[7]、[20](视觉-语言跨模态理解的基础任务),要求整合外部知识。现有方法可以根据其技术路线分为三类主要范式:基于图的推理方法、基于LLM的生成方法和知识整合方法。

方法论

本节详细介绍了用于基于知识的视觉问答(KB-VQA)的跨模态图路由(CMGR)框架。我们首先对任务进行了形式化描述,然后详细阐述了每个核心模块,最后提出了训练目标。

实验

为了全面评估所提出的跨模态图路由(CMGR)框架的性能,我们在三个KB-VQA基准数据集上进行了广泛实验。本节详细介绍了实验设置、主要结果、消融研究、参数敏感性分析和错误分析,重点验证了核心组件的有效性以及相对于现有方法的优越性。

结论

本文提出了CMGR,一个用于KB-VQA的跨模态图路由框架。通过构建动态场景知识图,用跨模态线索指导逐步路由,并统一实体/关系评分,CMGR解决了跨模态不对齐、可解释性和零样本问题。在三个基准数据集上的实验展示了其先进的性能。
未来的研究方向将集中在:(1)整合开放领域非结构化知识(例如,维基百科文本)以扩展

CRediT作者贡献声明

魏莉:撰写——审阅与编辑,撰写——原始草稿,可视化,方法论,概念化。李志新:撰写——审阅与编辑,撰写——原始草稿,方法论,数据整理。

利益冲突声明

作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。

致谢

本工作得到了中国国家自然科学基金(编号62276073)、广西自然科学基金(编号2026GXNSFAA00641057)和广西研究生教育创新项目(XYCB2025029)的支持。
魏莉目前在中国桂林的广西师范大学计算机科学与工程学院攻读博士学位。他的研究兴趣包括因果推理、多模态学习和计算机视觉。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号