基于多尺度特征混合器的少样本细粒度视觉识别

《Pattern Recognition Letters》：Few-shot fine-grained visual recognition with multi-scale feature mixer

　　

• •
  MsF-Mixer设计了一种新的提取-评估-融合流程来解决FS-FGVR问题。
• •
  MsF-Mixer引入离散小波变换（DWT）以保持来自多个领域的信息细节。
• •
  MsF-Mixer复用经评估的先验知识为多尺度融合提供指导。

引言

深度学习在计算机视觉领域推动了革命性突破，特别是在各种视觉识别（VR）任务中[1]。作为VR的一个子领域，细粒度视觉识别（FGVR）[2], [3]提出了更具实际意义的挑战，旨在识别统一类别中子类内判别性模式的差异（即不同种类的鸟类）。然而，由于缺乏手动标注的专业知识，足够的细粒度数据训练参考可能是不切实际的。在元学习范式的推动下，小样本细粒度视觉识别（FS-FGVR）已成为解决该领域数据稀缺问题的重要研究方向[4], [5], [6], [7], [8]。

由于细粒度场景中类内方差大、类间差异小的特点[6], [7], [9]，从细粒度的动态变化中获得鲁棒的类表示至关重要。基于多尺度学习的FS-FGVR方法展现了令人印象深刻的性能，引导深度模型从不同尺度中提取并融合多种表示，从而保持判别性细节[10], [11], [12]。例如，ITAM [11]设计了一种三分支跨维度注意力机制，同时提取和融合空间与通道的成对交互。BfCCN [12]使用两个独立网络进行多尺度特征提取，将最后两个尺度融合作为最终输出。

尽管该领域取得了上述进展，当前方法仍存在两个局限性：多尺度提取不足和不恰当的融合选择。一方面，在多尺度特征提取过程中，现有方法[11], [13]主要关注捕获细粒度数据在空间域中的判别性模式，但却抹除或稀释了高频信息中的纹理细节和边缘[14]。另一方面，现代基于多尺度学习的框架倾向于使用统一的融合策略（如加法或拼接）来组合这些多尺度特征以进行最终预测[12], [15], [16], [17]。然而，不同尺度的特征具有不同的特性，对类别预测的影响也各不相同。因此，使用统一的融合策略来组合这些特征可能并不合适。我们的目标是通过两个关键改进来增强基于多尺度学习的FS-FGVR框架：(i) 从空间域和频率域中提取和保留判别性细节，以及 (ii) 在最终特征融合之前引入一个尺度感知的评估阶段，以显式建模不同空间尺度的不同特性。

在本文中，我们提出了一种名为多尺度特征混合器（MsF-Mixer）的新型框架，该框架有效地设计了一种新的提取-评估-融合流程，以增强FS-FGVR中多尺度学习的能力。该流程可通过三个顺序的高效组件来实现：多域特征采样模块（MFSM）、层级特征控制模块（HFCM）和通道特征选择模块（CFSM）。首先，我们在MFSM中引入离散小波变换（DWT）[18]，以保持来自空间域和频率域的多尺度表示的高频分量（即纹理、边缘）。其次，我们在HFCM中开发了一种特征复用策略，该策略优化从层级特征中派生的先验知识，然后将这些先验知识从浅层到深层循环传递。最后一步由CFSM通过基于评估表示的自适应多分支特征融合策略来实现。在标准FS-FGVR基准上的大量实验证明了所提出的MsF-Mixer的有效性和高效性。主要贡献总结如下：

• •
  我们提出了一种名为多尺度特征混合器（MsF-Mixer）的新型框架，设计了一种新的提取-评估-融合流程来增强FS-FGVR中多尺度学习的能力。
• •
  在MsF-Mixer的设计中，我们利用离散小波变换进行多尺度表示提取，旨在保持来自空间域和频率域的更多信息细节（即纹理或边缘）。此外，我们提出了一种由评估协议引导的特征复用策略，以实现更好的多尺度特征融合。
• •
  我们在公开的FS-FGVR数据集上评估了所提出的方法，包括CUB、裁剪的CUB、Aircraft和Oxford Flowers。全面的实验结果证明了我们的MsF-Mixer的高效性和有效性。

章节摘要

少样本分类

少样本学习（FSL）[19]近年来受到了广泛关注，现有研究主要通过三个关键方向来解决数据稀缺的挑战：数据增强、优化和度量学习。基于数据增强的方法[20], [21]通过对抗学习和元增强扩展到少样本场景。基于优化的方法[22], [23]专注于设计训练过程，使模型能够有效识别

问题定义

我们在元学习范式中形式化FS-FGVR问题。通常，我们首先将标注数据分为两个集合，即元训练集$D_{\text{train}}=\{(I_i,y_i),y_i\in C_{\text{train}}\}$和元测试集$D_{\text{test}}=\{(I_i,y_i),y_i\in C_{\text{test}}\}$。具体而言，C_train和C_test分别表示基类和新型类。特别地，FS-FGVR采用N-way K-shot元任务进行回合训练。这里，N表示类别数量，K表示每个类别关联的样本数量。对于每个

数据集

为了评估所提出方法的有效性，我们在标准FS-FGVR基准上进行了对比实验，包括CUB [31]、裁剪的CUB、Aircraft [32]和Oxford Flowers [33]数据集。具体而言，CUB数据集包含来自200个类别的11,788张鸟类图像，分为100个类别用于训练，50个用于验证，50个用于测试。Aircraft数据集包含100个类别，随机划分为训练集、验证集和评估集，数量分别为50、25和

特征复用的有效性

为了更好地理解所设计的特征复用策略，本节对多种表示的表示能力进行了全面分析。首先，我们分析了不同尺度的基本特征的表示能力。如表3所示，我们将来自多个尺度（即42×42、21×21、10×10、5×5）的特征作为最终测量表示。我们可以发现，随着表示分辨率的降低，获得了更好的预测

结论

在本工作中，我们提出了一种新型框架——多尺度特征混合器（MsF-Mixer），为FS-FGVR设计了一种新的多尺度流程（提取、评估和融合）。MsF-Mixer的关键洞察包括：首先，我们将离散小波变换引入提取步骤，以捕获和保留来自空间域和频率域的判别性细节。其次，我们在最终特征融合之前设计了一个尺度感知的评估阶段，以显式建模不同的

CRediT作者贡献声明

Tianqi Ye：撰写初稿，验证，方法学，调查研究，数据整理。Jian Li：监督，资源，资金获取，概念化。Jieqi Sun：撰写——审阅与编辑，可视化，监督，调查研究，概念化。Tingting Qi：撰写——审阅与编辑，资源，项目管理，正式分析。

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系，这些利益或关系可能会影响本论文中报告的工作。

致谢

本工作部分由国家自然科学基金重点项目（编号：12431016）、国家自然科学基金（编号：12471408）、陕西省人工智能联合实验室（编号：2022JC-SYS-05）、国家海外高层次人才引进计划（编号：G2023041032L）、陕西省教育厅创新团队项目（编号：21JP013）和陕西省自然科学基金基础研究重点项目（编号：2023-JC-ZD-02）以及能源数学与

Tianqi Ye|Jian Li|Jieqi Sun|Tingting Qi