HGNet：基于超图协调的多尺度空间依赖感知图像分类融合方法

《Pattern Recognition》：HGNet: Hypergraph-coordinated multi-scale spatial dependency-aware fusion for image classification

　　周旭东|王年|张岩|景典•提出了一种新型的HGNet分类网络架构。•该超图更新策略能够捕捉空间依赖性。•正交化模块可减少多尺度特征之间的冗余。•我们对HGNet的有效性进行了理论分析。•大量实验验证了HGNet的竞争力与稳定性。

引言
图像分类[1]、[2]长期以来一直是计算机视觉领域应用最广泛的任务之一。现有的大多数分类模型通过卷积神经网络（CNN）从输入图像中提取特征，然后利用池化层和全连接层将高维图像特征映射为低维类别概率，如图1(a)所示。尽管这些方法在特征提取速度方面具有优势，但这种直接映射策略忽略了特征之间的空间依赖性，导致在分类过程中丢失判别信息，从而限制了模型预测类别概率的能力。细粒度图像分类模型[3]通常通过注意力机制或掩码从图像中提取局部信息，使模型在分类时能更专注于与图像标签相关的显著特征。然而，在处理包含复杂信息的图像时，这类模型的处理方法可能无法完全捕捉到图像的上下文和全局特征。视觉变换器（ViT[4]）的引入利用具有全局感受野的自注意力机制来提取图像特征，提升了基于判别信息预测类别概率的能力。不过，自注意力机制在捕捉局部特征方面效果较差，尤其是在处理小图像或细微的局部结构时。在这种情况下，ViT的性能甚至可能低于CNN，而且其庞大的参数数量进一步限制了部署的灵活性[5]。因此，在提升提取多尺度判别特征的能力的同时平衡模型规模与分类性能，仍是现代图像分类领域的关键挑战。

近期研究强调了超图神经网络（HGNNs）[6]、[7]在处理结构化数据方面的优势，以及其在捕捉节点间复杂依赖关系方面的有效性，特别是在需要建模空间关系的任务中。现有的基于HGNN的分类模型[8]通常将图像视为节点，通过捕捉节点间的关系来建模数据的拓扑结构，从而实现有效的视觉表示学习。虽然这些方法在元学习和小样本学习等领域取得了成功，但在推理时往往受到严格输入要求的限制。为了解决图像分类任务中的这些难题，并充分利用图的强大拓扑建模能力，我们将特征块视为节点，在特征空间中构建多尺度超图。基于这种超图构建方法，我们的模型通过交替更新节点和超边，捕捉不同尺度特征之间的空间依赖性，并通过多尺度超图更新逐步学习细粒度的局部依赖性和更广泛的结构依赖性。

此外，一个不可忽视的问题是，作为同一图像的不同表示形式的多尺度特征[9]、[10]不可避免地存在信息冗余，这会大大降低特征表示的效率。近年来，多尺度特征提取已成为提升图像分类及其他计算机视觉任务模型性能的常见策略[11]。这些方法旨在从不同的感受野中捕捉视觉信息，提升图像特征的表示能力。例如，EfficientNet[12]引入了融合多尺度卷积模块，利用标准卷积核在不同分辨率下训练图像，以提取多尺度特征，从而丰富整体特征表示。DenseNet[13]则采用密集连接来促进跨层特征传播，通过融合不同尺度的特征进一步提升网络从图像特征中提取判别信息的能力。尽管这些多尺度特征提取技术取得了成功，但它们往往忽视了同类特征之间的冗余，进而影响特征表示的效率以及训练过程的平稳性。为解决这一问题，我们提出了一种多维正交化模块，通过正交化消除多尺度特征之间的冗余信息，使不同尺度上的每个特征都能专注于有效表达其判别信息。

基于上述讨论，我们提出了一种新型的基于超图的分类网络（HGNet），如图1(b)所示。与依赖复杂训练策略的方法不同，我们的创新侧重于架构层面。HGNet将超图嵌入到卷积骨干网络中，使其能够利用拓扑特性捕捉高阶空间相关性。与在样本空间中构建超图的现有基于HGNN的分类方法不同，HGNet在每幅图像的特征块之上构建超图，捕捉特征空间中的高阶依赖性，因此更适用于一般的图像分类任务。一方面，通过构建多尺度超图并采用稀疏的超图更新方式，我们有效地捕捉了特征块之间的空间依赖性。通过依赖感知融合，我们提升了模型识别判别特征的能力，能够在特征映射过程中保留更多关键信息。另一方面，通过多维正交化模块，我们减少了多尺度特征之间的信息冗余，促使每个特征专注于表达其所在尺度上的判别信息。此外，我们的理论与实证分析充分证明了多尺度超图和正交化模块的有效性，也为HGNet出色的分类性能提供了理论依据。最后，为了在效率与性能之间取得平衡，并使HGNet能够适应更多现实场景的需求，我们构建了两种不同版本的模型：HGNet_T和HGNet_B。主要贡献总结如下：
•我们提出了HGNet这一图像分类网络架构。它利用超图更新和依赖感知融合来捕捉空间依赖性，提升了模型识别判别信息的能力。
•HGNet通过引入多维正交化减少了多尺度特征之间的信息冗余，使各尺度特征能够专注于表达自身的显著信息。
•我们对HGNet的有效性进行了数学分析。基于信息瓶颈理论，我们验证了它的特征提取性能以及各个模块的有效性。
•我们在多个基准数据集和真实世界数据集上进行了全面的对比实验和消融实验，证明与基线方法相比，我们的方法具有出色的竞争力和稳定性，且能够灵活地应用于现有的分类骨干网络。

片段摘录
图像分类
随着深度学习的快速发展，图像分类模型的性能取得了显著进步[14]。最初，LeCun等人[15]提出了LeNet，为图像分类及更广泛的计算机视觉领域奠定了基础。尽管其分类性能有限，但LeNet为后续的深度学习架构提供了重要启示。后来，Simonyan等人[16]推出了VGGNet，通过改进结构提升了特征表示能力。

HGNet的整体结构如图2所示。与注重优化策略的方法不同，HGNet被设计为一个模块化架构，具备完全可微分性，可通过反向传播进行端到端优化。它由三个主要部分组成：骨干网络、多尺度超图模块以及多维正交化模块。骨干网络通过密集连接机制提取包含更多信息的图像特征。多尺度超图

HGNet的版本
我们根据不同应用场景的需求构建了两种版本的HGNet，即HGNet_T（小型）和HGNet_B（基础型）。表1总结了HGNet各阶段的网络架构及对应特征维度。具体而言，“HGNet_T”是一种带有图的分类网络，包括特征提取骨干网络、通道压缩模块、p=2的图模块以及一个线性层。“HGNet_B”则是一种带有多尺度超图的分类网络，包括……

局限性及未来工作
局限性。尽管HGNet在分类性能方面表现良好，但仍存在一些问题需要进一步研究。首先，在理论分析中，我们主要给出了直观推导，其中部分内容依赖于某些近似和假设，这可能限制了证明的严谨性。其次，虽然我们在ImageNet-1K上进行了实验，但HGNet在图像尺寸更大、分辨率更高的场景下的分类性能仍有待验证。

结论
在本研究中，我们设计了一种新型的分类网络架构——HGNet，它能够捕捉特征之间的多尺度空间依赖性。该架构通过在特征空间中构建多尺度超图，并采用具有依赖感知融合的更新策略，提升了模型在特征提取过程中识别判别信息的能力。多维正交化模块的引入则消除了多尺度特征之间的冗余……

CRediT作者贡献声明
周旭东：撰写——初稿、软件、方法论。王年：撰写——审阅与编辑、研究、形式分析。张岩：可视化、监督、资金获取。景典：撰写——审阅与编辑、可视化、数据整理。

利益冲突声明
作者声明没有已知的可能会影响本文所述工作的财务利益或个人关系。

致谢
本研究得到了安徽省重点研发计划（2022k07020006）以及国家心理健康与心理关怀中心重点项目（GXDXK2025A-02）的支持。周旭东目前是安徽大学电子与信息工程学院的博士研究生，他的研究兴趣包括模式识别和图像处理。