《Journal of Imaging》:Semantic Topological Multi-Scale Part Network for Fine-Grained Visual Classification
编辑推荐:
细粒度视觉分类(Fine-Grained Visual Classification,FGVC)旨在区分高度相似的子类别,其性能在很大程度上依赖于对判别性局部部件及其结构关系的精确建模。然而,现有基于视觉Transformer(Vision Transform
细粒度视觉分类(Fine-Grained Visual Classification,FGVC)旨在区分高度相似的子类别,其性能在很大程度上依赖于对判别性局部部件及其结构关系的精确建模。然而,现有基于视觉Transformer(Vision Transformer,ViT)的方法易受背景噪声干扰,且依赖显式空间坐标的关系建模方式在目标发生姿态变化与非刚性形变时难以维持稳定的结构表示。针对上述问题,研究人员提出语义拓扑部件网络(Semantic Topological Part Network,STP-Net)。首先,设计先验引导部件聚合器(Prior-Guided Part Aggregator,PGA),利用基础模型提供的前景先验引导判别性部件发现,增强目标区域响应并抑制背景干扰。其次,设计拓扑感知语义图卷积网络(Topology-Informed Semantic Graph Convolutional Network,TIS-GCN),在隐式语义空间中动态构建部件间拓扑关系,实现对复杂结构变化的鲁棒建模。此外,引入语义–空间交叉注意力(Semantic–Spatial Cross-Attention,SSCA)机制,建立语义关系与空间特征间的双向交互,并结合全局上下文自适应门控(Global-Context Adaptive Gating,GCAG)机制完成多尺度特征融合。在CUB-200-2011、Stanford Cars、Stanford Dogs与NABirds四个主流细粒度视觉分类基准上,所提模型Top-1准确率分别达到92.7%、94.9%、95.2%与92.3%。综合消融研究与可视化分析进一步验证了该方法在背景抑制、结构关系建模及判别性特征学习方面的有效性。
研究背景方面,细粒度视觉分类(FGVC)致力于在广义对象类别内区分亚类,如不同鸟类物种或不同汽车型号,其核心难点在于类间差异微小而类内变化显著。现有基于视觉Transformer(ViT)的方法虽借助自注意力机制提升了识别性能,但仍面临两方面根本局限:一是自注意力缺乏显式对象级归纳偏置,易将高权重分配给显著的背景噪声,导致模型依赖虚假上下文而非真实语义部件;二是现有关系建模普遍依赖欧氏距离、相对角度或极坐标等显式几何坐标构建部件图结构,在目标发生大幅非刚性形变时坐标剧烈波动,造成图结构不稳定甚至拓扑关系崩塌。为缓解背景共适应与结构失稳,研究人员开展本研究,提出语义拓扑部件网络(STP-Net),在Swin Transformer骨干上融合基础模型前景先验与语义拓扑推理,实现鲁棒判别性表示。该研究发表于《Journal of Imaging》,其意义在于为复杂场景下细粒度识别提供兼顾前景感知与形变不变结构建模的新框架。
关键技术方法上,研究人员以Swin-Base为分层多尺度骨干,在训练阶段调用SAM 2(sam2_hiera_b+)生成前景掩码作为空间先验但不嵌入可训练架构,推理阶段完全移除。核心模块包括:先验引导部件聚合器(PGA)将前景先验转为语义偏置并借可学习温度参数调节注意力分布以聚合部件原型;拓扑感知语义图卷积网络(TIS-GCN)在语义特征空间以余弦相似度动态建邻接矩阵,经两层图传播与残差增强获拓扑不变关系;语义–空间交叉注意力(SSCA)以空间令牌为查询、部件令牌为键值实现双向交互,并借PartDrop与二次归一化重标定空间响应;全局上下文自适应门控(GCAG)沿通道维动态校准多阶段拼接特征;训练采用主辅双头监督联合标签平滑交叉熵、辅助深监(ADS)与梯度–注意力一致性(GAC)损失。实验在CUB-200-2011、Stanford Cars、Stanford Dogs、NABirds四个公开基准按官方划分进行。
研究结果各小节结论如下。整体架构小节表明,STP-Net在四级Swin特征上并行接入PGA、TIS-GCN、SSCA,经GCAG融合后由主辅分类头输出,训练借Lcls、Laux、Lgac联合优化,SAM仅训练期离线提供掩码。先验引导部件聚合器小节通过式(1)–(7)说明,前景掩码Mi与特征逐元乘增强目标感知,先验偏置bp注入投影,温度T调控注意力锐度,最终聚合出K个不依赖空间分辨率的部件原型,消融显示单独引入PGA较基线Swin-Base在CUB提升0.28%。拓扑感知语义图卷积小节通过式(8)–(14)证明,以Query-Key语义相似度替代几何距离建动态邻接Aij,两层传播配LayerScale λ与残差可得形变稳定拓扑,GCN深度消融显示两层最优(92.68%),三层四层因过平滑下降至92.38%与92.20%。语义–空间交叉注意力小节式(15)–(21)显示,PartDrop随机丢弃部件节点,跨注意力将语义关系重映射回空间网格,二次归一化权向量wsp调制空间令牌,使鸟头、狗脸、车灯等区域响应增强。层次融合与多目标监督小节式(22)–(26)指出GCAG较静态GAP/GMP在CUB达92.68%,ADS扩展至stage1-3仅增0.07%但稳定浅层梯度,GAC约束SSCA显式注意力与Grad-CAM隐式显著图一致。
实验比较小节报告,STP-Net于CUB-200-2011、Stanford Dogs、NABirds分别获92.7%、95.2%、92.3%居首,Stanford Cars获94.9%略低于P2P-Net的95.4%;FLOPs仅49.5G,远低于TransFG(130.2G)与ACC-ViT(162.9G),参数量115.6M,SAM开销不计入。消融小节证实PGA、TIS-GCN、SSCA累计较基线提0.75%;SAM仅训练期用较训练+推理省时且精度略高(92.56% vs 92.54%)。可视化小节Grad-CAM对比显示STP-Net热图聚焦鸟喙、狗鼻、车前脸且边界清晰,多阶段响应由纹理离散演进至语义集中。
讨论与结论翻译部分,研究人员总结:为应对细粒度视觉分类中背景干扰严重、局部判别信息难提取及部件间结构关系建模不足的挑战,本文提出语义拓扑多尺度部件网络(STP-Net)。该方法基于分层多尺度特征表示,引入先验引导部件聚合器(PGA)利用基础模型前景先验引导网络关注判别性目标区域并抑制背景噪声;设计拓扑感知语义图卷积(TIS-GCN)在隐式语义空间动态构建部件间关系,实现对姿态变化与非刚性形变的鲁棒结构建模;采用语义–空间交叉注意力(SSCA)建立语义关系与空间特征的有效交互,并结合全局上下文自适应门控(GCAG)完成多尺度融合。在CUB-200-2011、Stanford Cars、Stanford Dogs、NABirds四个基准上的实验表明该方法取得优异且稳定的分类性能,消融与可视化验证了各模块在定位关键判别区域与学习结构感知语义表示上的有效性。总体而言,STP-Net通过融合基础模型先验、多尺度部件建模与语义拓扑关系学习,增强了细粒度目标的特征表示与分类能力,为细粒度视觉分类中的结构化表示学习提供了有效方案。