面向少样本细粒度图像分类的频率引导双路径表示增强

《Pattern Recognition》:Frequency-guided dual-path representation enhancement for few-shot fine-grained image classification

【字体: 大 中 小 】 时间:2026年10月24日 来源:Pattern Recognition 9.1

编辑推荐:

   ## 摘要 - 我们提出了一种DFIA网络,该网络显式分解高频和低频分量,以利用它们的互补信息,从而提高频率线索的利用率,并增强FS-FGIC中的判别性特征表示。 - 我们首次将WST引入FS-FGIC,以获得稳定的频率分量。对于低频分量,我们提出了LFA模块以增强语义表示

  ## 摘要- 我们提出了一种DFIA网络,该网络显式分解高频和低频分量,以利用它们的互补信息,从而提高频率线索的利用率,并增强FS-FGIC中的判别性特征表示。- 我们首次将WST引入FS-FGIC,以获得稳定的频率分量。对于低频分量,我们提出了LFA模块以增强语义表示一致性。对于高频分量,我们设计了FSBI模块以自适应融合高频和空间特征,提高了模型对细粒度细节的敏感性。- 在四个细粒度数据集上的实验结果表明,DFIA优于现有的最先进方法,突出了其在FS-FGIC任务中的有效性。## 引言细粒度图像分类(FGIC)旨在区分更大类别中视觉上相似的子类别,例如各种鸟类物种和汽车型号。由于类间差异细微,且类内特征对光照、姿态和背景杂乱等因素敏感,该任务需要模型从图像中准确提取细微的判别性特征。随着深度学习的发展,通过大量标注数据的训练,该任务的性能得到了显著提高。然而,收集和标注此类数据集既耗时又昂贵,这限制了FGIC在许多标注样本稀缺的实际场景中的部署,例如生态监测和工业检测。因此,许多研究人员将注意力转向了少样本学习(FSL)。FSL方法通常依赖于元学习或度量学习等策略,通过从相关基础任务中学习可迁移的知识来缓解过拟合,从而在极少训练样本的情况下实现令人满意的分类性能。近年来,随着研究人员将FSL原理引入FGIC任务,各种有效的少样本细粒度图像分类(FS-FGIC)方法已被提出。FS-FGIC将FSL原理扩展到FGIC,但引入了更严峻的挑战。由于训练数据稀缺,以及细粒度图像类间差异细微、类内变化复杂的特点,学习足够判别性的表示变得特别具有挑战性。在这种情况下,现有模型可能会面临特征表达能力有限的困境,即学习到的表示无法捕获足够的判别性线索来区分细粒度类别。现有的FS-FGIC方法通常通过设计复杂架构或利用跨层信息来增强特征表示,但很少在表示学习过程中显式建模频率信息。先前的研究表明,低频分量主要捕获全局结构和粗粒度语义模式,而高频分量编码局部纹理、边缘和精细细节,这些对于区分细粒度类别至关重要。然而,卷积神经网络(CNNs)固有的谱偏差鼓励它们在训练期间优先学习低频模式。我们的实验(图1、图2)进一步表明,随着网络深度的增加,提取的表示逐渐表现出减弱的高频响应,并越来越由低频分量主导。这种频率不平衡可能通过减少互补细粒度线索的利用而限制特征表达能力。具体来说,图1表明频率信息的变化会影响FS-FGIC性能。随着高频信息逐渐减弱,粗粒度分类性能保持相对稳定,仅有轻微波动。相比之下,对于FS-FGIC任务,高频信息的减少伴随着显著的性能下降。图2进一步表明,现有的特征提取模型倾向于随着网络深度增加而表现出减弱的高频响应,表示越来越由低频分量主导。对于FS-FGIC任务,这种转变可能降低特征判别性和类间可分性,可能导致在少样本细粒度场景中观察到的性能下降。基于这些观察和先前的研究,频率不平衡可以被认为是与FS-FGIC中判别性表示学习有限相关的潜在因素。受这些观察的启发,我们提出了一种双频分解与交互注意力(DFIA)网络。通过显式建模频域和空间特征并促进它们的交互,所提出的网络旨在保留判别性高频线索的同时,保持低频分量的全局结构信息,从而改善判别性特征表示。如图3所示,该网络由三个主要组件组成:小波散射变换(WST)模块、低频注意力(LFA)模块和频域-空间双向交互(FSBI)模块。WST模块是首次将WST纳入FS-FGIC,它将空间特征分解为多尺度频率表示,提供平移不变性,并鲁棒地提取低频和高频分量,同时保留全局结构信息并捕获细粒度细节。LFA模块利用低频分量引导空间特征的增强,提高语义一致性并增强全局判别性表示学习。FSBI模块自适应融合高频和增强的空间特征,同时减轻潜在的噪声干扰,从而增强对细粒度差异的敏感性。最后,结构化通道融合策略平衡频率和空间特征的贡献,进一步增强判别能力。本文的贡献总结如下:1. 我们提出了一种DFIA网络,该网络显式分解高频和低频分量,以利用它们的互补信息,从而提高频率线索的利用率,并增强FS-FGIC中的判别性特征表示。2. 我们首次将WST引入FS-FGIC,以获得稳定的频率分量。对于低频分量,我们提出了LFA模块以增强语义表示一致性。对于高频分量,我们设计了FSBI模块以自适应融合高频和空间特征,提高了模型对细粒度细节的敏感性。3. 在四个细粒度数据集上的实验结果表明,DFIA优于现有的最先进方法,突出了其在FS-FGIC任务中的有效性。## 章节摘要### 少样本细粒度图像分类自Wei等人的开创性工作首次引入FS-FGIC以来,这个具有挑战性的问题在计算机视觉研究中引起了广泛关注。早期方法主要通过度量学习技术提高图像对之间的关系匹配。值得注意的是双线性相似网络(BSNet),它结合两种不同的度量来学习更少但更具判别性的区域,以及深度最近邻神经网络(DN4)。### 方法论在本节中,我们首先定义FS-FGIC学习任务。随后,我们描述了我们提出的方法,并概述每个组件及其详细描述。### 数据集我们在四个细粒度图像数据集上评估我们的方法,每个数据集分为基础集、验证集和novel集。遵循先前工作,所有图像调整为84×84。数据集简要描述如下:**CUB-200-2011** 使用100个类别进行元训练,50个进行元验证,50个进行元测试。图像使用提供的边界框进行中心裁剪。**Stanford Dogs** 包含120个狗品种的20580张图像。我们采用70/20/30的类别划分进行元训练。### 讨论在少样本细粒度图像分类任务中,现有的特征提取网络倾向于强调低频分量,同时经常忽略高频分量,这可能导致特征表达能力有限。为了解决这个问题,我们提出了一种名为DFIA的新型网络架构。我们的工作提供了几个显著的优势。首先,我们从频率角度重新审视了FS-FGIC问题,并证明了高频和低频之间的谱不平衡...### 结论在本文中,我们提出了DFIA,这是一个用于解决具有挑战性的FS-FGIC问题的新型框架。所提出的框架集成了三个互补的组件。WST模块将特征表示分解为不同的频率分量,实现高频和低频信息的显式建模。LFA模块进一步增强信息性低频结构,帮助保留对细粒度识别重要的全局结构线索。FSBI模块...### 作者贡献声明**Liyun Yu:** 写作-审稿与编辑,写作-原稿,资金获取,正式分析,数据整理,概念化。**Ronghao Guo:** 资金获取,正式分析,数据整理,概念化。**Ziyu Guan:** 调查,资金获取,正式分析,数据整理,概念化。**Wei Zhao:** 调查,资金获取,正式分析,数据整理,概念化。**Yaming Yang:** 验证,资金获取,正式分析,数据整理。### 利益冲突声明作者声明,他们没有已知的竞争经济利益或个人关系,这些关系可能会影响本文报告的工作。### 致谢本工作部分由国家自然科学基金(资助编号62425605、62133012、62672389和62303366)和陕西省重点研发计划(资助编号2025CY-YBXM-041和2024CY2-GJHX-15)支持。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号