SoftHGNN:用于通用视觉识别的软超图神经网络

《INTERNATIONAL JOURNAL OF COMPUTER VISION》:SoftHGNN: Soft Hypergraph Neural Networks for General Visual Recognition

【字体: 大 中 小 】 时间:2026年04月26日 来源:INTERNATIONAL JOURNAL OF COMPUTER VISION 9.3

编辑推荐:

  视觉识别依赖图像令牌语义及复杂交互建模,传统自注意力方法虽有效但无法捕捉高阶关联且存在冗余计算。本文提出轻量级可插拔的Soft Hypergraph Neural Networks(SoftHGNN),通过连续可微的软超边实现高阶关联建模,结合可学习原型与稀疏超边选择机制(仅激活top-k重要超边)及负载均衡正则化,显著提升计算效率与语义连续性。实验表明其在三任务五数据集上均实现性能提升。

  

摘要

视觉识别依赖于理解图像元素的语义以及它们之间的复杂交互关系。主流的自注意力方法在建模全局成对关系方面非常有效,但无法捕捉现实世界场景中固有的高阶关联,并且常常面临计算冗余的问题。超图通过建模高阶交互关系扩展了传统图的结构,为解决这些局限性提供了一个有前景的框架。然而,现有的超图神经网络通常依赖于静态且固定的超边分配方式,这导致了超边的冗余,并忽略了视觉语义的连续性。在这项工作中,我们提出了软超图神经网络(SoftHGNN),这是一种轻量级的、即插即用的超图计算方法,用于现有视觉处理流程中的后期语义推理。SoftHGNN引入了“软超边”的概念,其中每个顶点通过连续且可微分的参与权重与超边关联,而不是固定的二进制分配。这些权重是通过测量顶点特征与一组可学习的超边原型之间的相似性来生成的,从而产生适应输入且语义丰富的软超边。利用软超边作为消息聚合和传播的媒介,SoftHGNN增强了特征表示中的高阶上下文关联。为了进一步提高在增加软超边数量时的效率,我们引入了一种稀疏超边选择机制,仅激活最重要的前k个超边,并结合了一个负载均衡正则化器来确保超边的合理利用。在五个数据集上的三项任务中进行的实验结果表明,SoftHGNN能够高效地捕捉视觉场景中的高阶关联,显著提升了性能。我们的框架源代码可在此处获取:https://github.com/Mengqi-Lei/SoftHGNN。

视觉识别依赖于理解图像元素的语义以及它们之间的复杂交互关系。主流的自注意力方法在建模全局成对关系方面非常有效,但无法捕捉现实世界场景中固有的高阶关联,并且常常面临计算冗余的问题。超图通过建模高阶交互关系扩展了传统图的结构,为解决这些局限性提供了一个有前景的框架。然而,现有的超图神经网络通常依赖于静态且固定的超边分配方式,这导致了超边的冗余,并忽略了视觉语义的连续性。在这项工作中,我们提出了软超图神经网络(SoftHGNN),这是一种轻量级的、即插即用的超图计算方法,用于现有视觉处理流程中的后期语义推理。SoftHGNN引入了“软超边”的概念,其中每个顶点通过连续且可微分的参与权重与超边关联,而不是固定的二进制分配。这些权重是通过测量顶点特征与一组可学习的超边原型之间的相似性来生成的,从而产生适应输入且语义丰富的软超边。利用软超边作为消息聚合和传播的媒介,SoftHGNN增强了特征表示中的高阶上下文关联。为了进一步提高在增加软超边数量时的效率,我们引入了一种稀疏超边选择机制,仅激活最重要的前k个超边,并结合了一个负载均衡正则化器来确保超边的合理利用。在五个数据集上的三项任务中进行的实验结果表明,SoftHGNN能够高效地捕捉视觉场景中的高阶关联,显著提升了性能。我们的框架源代码可在此处获取:https://github.com/Mengqi-Lei/SoftHGNN。

相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号